数据风云、十年变迁（DTCC有感）

近日参加2019 DTCC大会，几日下来，可谓收获多多。了解技术趋势，感知行业动态，不禁想动动笔，写点个人感受。以下内容，仅代表个人观点，如有偏颇，欢迎指正。

1.国产数据库，百花齐放

关键词：振兴

2018年，国产数据库蓬勃发展，百花齐放。在本次大会的厂商站台，就可见一二。从国产数据库来看，三种不同发展路径，都有不错的进展。

• 传统国产，多年积累，逐步成熟。以达梦、南大通用、金仓等为代表的国产传统数据库，经过多年积累，逐步成熟。虽然较国外大厂仍有所差距，但已可应用在关键生产领域。本次展会上，达梦高规格发布了DM8.0产品，并邀请了诸如高层领导、学者(倪光南、方滨兴院士)、典型用户(中航信等)参加，可谓大手笔。随着近些年对基础软件的逐步重视，国家扶持、资本关注，利好消息不断。
• 新兴国产，弯道超车，硕果累累。以PingCAP、巨杉为代表的新兴国产厂商，近些年来发展喜人。这些新兴国产企业，起点高、包袱少，站在巨人肩膀上，直接对标国际一流厂商。资本市场也颇为认可，估值不断推高。解决了资本问题，面向广阔的国内市场，这些厂商也在很多领域推广使用，并逐步切入传统金融等高端市场。
• 开源融合，门槛较低，推广迅速。以热璞、翰高、星格瑞为代表的开源融合厂商。其核心以开源数据库（主要是MySQL、PG）+自研，或收购商业源码（例如Informix）+自研的方式，在细分市场，均取得了不错的成绩。

2.云数据库，巨头博弈

关键词：博弈

至于云数据库，近些年来发展更为迅速。从阿里-李飞飞分享披露的数字，目前全球云数据库占比为8%多一点，其余为传统数据库份额。据Gartner预测，在未来5年，云数据库份额将扩大到20~30%的市场。面对千亿美元的市场，这数字无疑是巨大的。因此各大云厂商均不遗余力的推出、完善自己的云数据库产品。以AWS的aurora为起始代表，各大厂商纷纷跟进。从这一点来看，国产云厂商（以阿里、腾讯、华为等为代表），在这一领域已均有较大投入，甚至发展超过国外云厂商。阿里的Polardb、腾讯的CynosDB、华为等，其他包括金山、京东、平安、青云等，均拿出了自己的产品。未来数年，云厂商巨头们将在这一领域，竞争加剧。其背后原因是，面对广大的企业用户市场，作为底层支撑的数据库至关重要，各家无疑均需占据这一技术制高点。

3.国际大厂，纷纷没落

关键词：没落

记得在4~5年前，DTCC大会还会设置Oracle、SQLServer、DB2等专场；但近些年来，这些国际大厂已渐渐势微。作为传统商业数据库的老大，Oracle可以说是保留了最后尊严。本次大会，做了开场演讲并设置了小展台。但作为一点不和谐声音，似乎Oracle近期的裁员风波更能引起大家的热议。不可否定的是，以Oracle 19c为代表最新版本，其技术底蕴仍然无人撼动，其自治化思想令人惊叹（如之前我转发的AI自动创建索引）。但其昂贵的价格、傲慢的态度、僵化的服务，常常让人诟病。且随着国家自助可控的战略要求及Oracle自身在云战略的短视，未来在中国市场，其必然受到一定的影响。至于其他厂商，似乎除了在个别传统领域尚有使用外，几乎已经听不到任何声音。

4.分布式数据库，悄然成熟

关键词：成熟

如果说几年前，分布式还是实验室里的"玩具"，那么近几年来其已悄然成熟。在众多领域已经开始推广，甚至在金融等高端领域也有所涉及。其技术细节上，各家实现上也各有差异。这类不谈所谓"真假"分布式的问题，因为目前还缺乏统一的认识。去年国家信通院搞的分布式数据库标准的制定，正在试图从国家层面规范这一领域的标准。从应用角度来看，分布式数据库无疑是一个"银弹"，其针对三个核心问题：性能、容量、高可用均有不错的解决。对于过度依赖传统大型商业数据库的企业来讲，无疑是一个新的选择。但我们也要清醒地看到，现有分布式数据库还无法与传统单机数据库，达到同样的使用感受。在应用架构、结构设计等诸多领域，还需要多多关注。

5.云原生数据库，大势所趋

关键词：未来

云数据库的概念，已然存在多年；但近年来云原生数据库随着AWS的aurora的出现，其已成为云数据库的必然发展阶段。可以说云原生数据库是云数据库的"2.0"版本。至于什么是云原生，可以参考CNCF的12条准则，其技术表现上以“存储与计算分离”等特征为代表。其核心可概括为计算能力弹性扩展、存储能力按需分配。实现上其往往表现为强大的存储层、精简的引擎层及新兴硬件架构的引入。云原生思想的诞生，已然颠覆了传统数据库的开发思想，在学术上这部分仍然在快速发展阶段。从厂商表现上，各大巨头纷纷发力，阿里、腾讯、华为等均发布了产品，甚至初创企业-极数云舟也依靠多年积累推出了自己的云原生数据库。从使用者角度来看，云原生无疑颇具吸引力，想想秒级备份、分钟级扩展实例，DBA们梦里都会笑醒吧:)。当然我们也要看到云原生数据库与传统数据库，其设计理念差异较大，对于DBA们是需要做一定的技术贮备转型。

6.硬件与数据库结合，初试锋芒

关键词：软硬一体

随着云原生概念的兴起及近些年存储技术的变革，RDMA、NVMe、3D XPoint、GPU、FPGA等硬件技术与数据库相结合，为数据库的发展带来的技术上的变革。在相当长一段时间内，软件技术发展是领先于硬件架构设计的。但近些年来，随着上述这些硬件的出现，软件技术似乎落后于硬件的发展。如何与这些新兴硬件结合？如何适应更为强大的计算、存储、传输能力？在软件架构思想上，目前还处于探索期，相信在不久的将来，将有更加颠覆性的软件产品诞生。在这其中，数据库作为重资源的基础软件，受硬件发展影响更大，在这方面尤甚。

此外，本地大会还有新的风向，那就是软硬一体的代表-一体机方案，有渐热的迹象。作为一体机的始祖-Oracle Exadata，其昂贵的价格一直在国内受到某些质疑。近些年，国内的一体机产品(如浪潮、华胜等)也不断涌现，甚至听闻某云大厂的私有化部署也是以一体机方式交付的。不可否认，一体机模式将软硬一体发挥到了极致，其快速交付、简洁运维、性能极致颇具吸引力。这种趋势，未来值得关注。

7.数据多态，成为必然

关键词：多态

关系模型，从70年代诞生到现在火了40多年。在描述数据方面，关系模型无疑是不错的一种选择。但近些年来，随着场景的不断多元化，非关系类数据越来越多，如何处理这样数据，成为各家必须面临的问题。于是，我们看到两种处理方法：

• 一是以Redis、MongoDB为代表的NoSQL产品逐步火热，在特定场景下其优势非常明显。从本次大会安排的场次，也可见其火热度。针对这一现状各大云厂商也都纷纷推出了自己的云端NoSQL产品，占据这一逐步火热的市场。
• 二是以PG、MySQL为代表的关系数据库产品，纷纷开始支持非关系模型，所谓“多模”数据库开始涌现。相较于前者，其熟悉的运维体系、一致性的使用体验，无疑是具有一定优势。

8.混合场景，尚待发展

关键词：混合

作为数据处理，TP类和AP类需求之前是严格区分的。旧的做法是通过ETL方式，抽取数据到大数据平台进行处理。这种方式的弊端在于数据延时。即使辅助以流式处理等手段，其时效性仍无法满足某些场景。面对这种情况，混合处理（HTAP）应允而生，其特点是数据存储一份（可能为多态），通过不同的计算引擎，分别进行处理。一些大厂和新兴数据库厂商均做此方面的努力。但从目前来看，尚达不到成熟使用状态，例如资源隔离等技术难点还需攻克。

9.数据库、大数据、AI，数据融合

关键词：融合

数据，作为企业的核心资产，在未来将愈发重要。如何将企业内数据融合、集中、发挥出数据更大的价值，成为企业面临的共性问题。随着前些年阿里的“中台”战略的提出，为解决这一问题提出一种新的解决模式，各大公司纷纷仿效。从本次大会上看，从前端的数据汇聚、到中端的数据处理、再到后端分析乃至整体的数据治理，多个方向均有相关主题。特别是数据治理专场，人员爆满，可见对此话题的关注。

10.云平台建设趋热

关键词：云化

从今年主题来看，纯自动化平台类分享已经较少，云化主题较多。一方面，随着前些年的建设，很多公司运维平台已初具规模，分享意义不大；另一方面，不少公司已考虑建设私有云或上公有云，建设重点发生变化。云化的主题，相较过去有所增加。特别是AI与平台建设结合方向，受人瞩目。

11."ToB"市场竞争加剧

关键词：蓝海

有人说，2019年是"ToB"发展的元年。相较于ToC市场，ToB还可算是一片蓝海，但此领域竞争已然加剧。在此市场中的两类玩家（云厂商、传统服务商）又有所不同。一方面，云厂商加大投入，抢占先机。它们拥有技术优势，但缺乏企业服务经验；其通过人员招募或收购线下企业，快速布局。另一方面，传统服务类企业纷纷转型，扩大服务领域范围。它们拥有成熟的服务经验，但缺乏足够的技术底蕴。它们的策略是通过合纵连横，与新兴企业合作，补齐短板。于是我们可以看到，某大厂收购数据服务公司；某服务商与初创公司合作等新闻，正是基于上述考虑。国内的ToB市场发展，还处于初始阶段，类似国外千亿级别的巨头公司尚未出现。未来数年，非常看好整个市场的发育，机会多多。

12.DBA技能要求分散，发展多元

关键词：多元化

从本次大会来看，传统DBA的市场未来将受到较大冲击。一方面，云化、平台化建设，将运维工作大大减少；另一方面，企业对于数据应用的需求，也从基础的"可用"逐步过渡到"用好"、"提效"、"增值"阶段。传统运维类DBA，需要扩宽自己未来发展方向，如何适合快速变化的外部环境。这一话题，可参考我之前的文章"DBA发展的十三大方向"。