跨云数据管理平台DMS：构建Data+AI的企业智能Data Mesh
Data+AI管理平台DMS：助力企业构建智能Data Mesh
内容介绍：
一、DMS Data+AI管理平台
二、DMS开放式数据服务OneMeta
三、DMS数据智能开发
四、DMS云原生的AI数据平台
本次分享介绍DMS瑶池的多模数据统一管理平台，在DMS过去一年里，做了非常重要的功能。本次分享为以下几个部分，首先总体的介绍DMS平台的架构，其次三个部分重点介绍DMS今年发布的几个重要能力。第一统一的元数据管理OneMeta，第二是OneOps，第三希望把数据的Ops，就是 Data Ops 和 AI和Machine Learning ops两个统一的结合，在DMS平台上面做统一的透传。
一、DMS Data+AI管理平台
1.面向场景的RAG应用：
在过去的就是22个月中，见到了launch language model就是LLM非常蓬勃的发展，随着算力、算法和数据这三驾马车在整个AI浪潮中发挥着自己各自非常重要的作用，比如在算法层面，看到了非常多的迭代，在算力和数据规模不断提升的同时，AI能力的极速发展。数据作为整个AI平台的底座，它的高效的访问、高效的处理以及管理非常重要，那么在瑶池数据库加上AI的vision里面，在最底层对于多模数据的管理。有行存有列存有向量数据，然后还有一项流数据Iot device的数据等等，我们在多模数据的管理上花了非常多的功夫，借助云原生的能力把数据管理的效率提升到一个新的境界。
那么在此之上我们搭建了跨元数据的统一管理，通过元数据的统一管理，重点突出了三个重要的关键词：第一是统一，当客户的数据资产分布在不同的地方，不同的云，不同的生态里，都可以总体的统一视图，让客户可以看到自己所有的数据资产。第二个关键词是交互，对客户来说，简单的好用的交互的体验是非常重要的，我们通过Notebook和数据编排这样两个核心的能力，把数据交互的体验推上了新的一个高峰。
第三个是智能，该平台不单单是为AI智能去服务，同时也希望能够AI帮助客户提供更高效、更好用的数据管理，通过capacity、agent，把数据的管理、操作，比如自动化完成SQL、自动语言自动的转成co等等能力提供给客户。下面是为整个数据资产打非常好的基础，在上面可以去开发更高效的，不管是传统的Machine Learning算法，还是更新颖的像lom的AI paradigm，去提供端到端的AI的服务，然后进行像模型管理、办法管理、像向量数据库，以及支持去搭建整个从底data到上面AI的一个完整平台。
为了实现这样的vision，于是发布Data+AI驱动多模的数据管理平台，（DMS平台）。他两个核心的能力，第一个是OneMeta，提供开放的统一的元数据的管理平台，它作为底座，去支撑One Ops。One Ops是用database把数据开发，比如etl等等的处理，与通过特征向量、machine learning算法提供进一步的数据价值的挖掘结合在一起提供One Ops的数据开发，同时结合智能、赋能的像NL2SQL的能力去提供智能的data match。
2.DMS+X：统一、开放、多模的Data+AI数据管理服务
（1）DMS+PolarDB+AnalyticDB
提供DMS平台结合数据库其他的一些非常核心的引擎，比如DMS+PolarDB+AnalyticDB组合的情况下，在垂直场景提供一站式的为客户价值直接去实现的能力，比如说PolarDB和AnalyticDB，通过ADB是AnalyticDB的ETL的能力，把特征向量抽取，通过PolarDB里面内嵌的AI的推理能力，在垂直的场景上完成智能营销的运作，得到的结果是可以提供两倍的效果提升，准确率提高了50%。
（2）DMS+AnalyticDB+百炼
在另一个垂直场景下，比如DMS+AnalyticDB+百炼，通过AnalyticDB的配件向量数据库+百炼的RAG的能力完成搭建向量+SQL+全文搜索，然后支持百亿向量规模的企业级的RAG。
（3）DMS+Lindorm
Lindorm是一个多模的数据库，通过冷热温三层数据解耦的方式提供高效、经济的存储格式，DMS和Lindorm的结合形成非常热门的像To B或To C的智能搜索，完成了非常好的落地。
上述只是在不同的DNS加上x的parade里所选的三个典型案例，我们的vision是希望通过DMS横向统一的平台加上垂直的向量行列的存储引擎提供在垂直场景下真正的客户的价值。
二、DMS开放元数据服务OneMeta
1.Data+AI数据管理趋势——分布式管理
接下来介绍开放源数据服务（OneMeta服务）。OneMeta服务起源于观察，我们发现对于数据管理有一个趋势，这个趋势是更多的开始向分布式的管理演进，像在之前比较厚重的一个集中式的管理，其实已经开始面临一些问题，然后更多的企业已经被迫或者是主动的向分布式的管理模式演进，把中台做薄，把这个权责分担给各个业务域，可以去提供倍速的交付效率提升，同时实现数据的民主化。那么在这样的趋势里看到对于Data Mesh，其实会有像对于领域所有权的数据产品化、联邦数据治理、自助数据平台，还有跨云数据共享不同的领域能力的需求，这里面实施的一个关键是统一开放的元数据服务。
2.DMS企业数据管理Data Mesh
如何去实现统一元数据服务呢，首先是concept（Data Mesh），Data Mesh是通过一个例子，它下面是数据源，这个数据源可以分布在不同的生态、不同云的部署里。可以有不同的数据下游（不同的应用、数据消费、自助服务、机器学习等等）。如何能够提供把数据的处理权都分布下发给各个数据域，但是仍然能够有完整的数据地图呢？就是最核心也是当中中间这个跨云的元数据统一管理。
具体来说OneMeta，核心分为三层。在最底层的是跨云的数据源的支持，就是如何把各个不同的数据源里面的原数据给抽象上来，内部有对于阿里云数据的全生态的覆盖，也可以去做他云、自建、不同的数据的生态、MySQL、PolarDB等等，甚至是不同的一些元数据的生态。中间是开放的元数据服务，元数据服务生态非常重要，该服务不单单是给自己用的，客户也能在熟悉的场景和开发的流程里面能把元数据服务集成起来，在最上面提供的是value来数据治理。
三、DMS数据智能开发
1.DMS一站式智能数据开发DataOps
有统一的元数据平台以后，就可以搭建DataOps和MLOp，在DataOps里面有三个核心的点，第一是体验，体验从什么地方来体现呢？比如多引擎的支持，spark引擎的深度集成以及对于像data breaks在业界里面已经大家已经比较well adopted的一些生态的兼容性，那么这是体验；第二是开发效率。第三是安全的保障。
（1）DMS Notebook开发
第一是开发的体验，那么体验用什么承载的？是用Notebooks。Notebook提供多语言的智能开发能，不单是SQL、Python、NL2SQL。是完整的多语言的council去实现多个语言的统一开发。第二是编排调度，用编排调度把各个不同的子模块串联在一起，下面去对接存储和分析的引擎，而搭建了统一的开发平台。下面看间的demo。它串联了几个常见的步骤，比如从流数据里面把数据抽取出来，然后做聚合的处理，再把结果写入到OSS里边。完成后我们可以用SQL，通过spark进行数据的查询，在一站式的Notebook开发的一个界面里就完成了整个数据的抽取加工落盘查询的过程。
（2）DMS OneOps CICD
当有Notebook后，交互就变成了CICD的流程，实现了infrastructure as code的概念。这样有数据开发、模型开发结合在一起，这些数据都存储在gate里，可以用gateops来完成整个开发的持续集成和持续发布。
（3）DMS大小模型结合Copilot+Agent
接下来讲述大小模型结合提升数据开发的效率，用大模型和小模型各有优劣，大模型由于它非常好的泛化能力。冷启动效果，但是它的成本比较高，效率比较低；小模型恰好相反，它的成本比较低，速度也快，而在垂直的领域效果非常好，但是冷启动不太好，所以我们通过大小模型相结合的方式，用大模型泛化能力去保证冷启动的效果，同时在train过程中保证小模型效果能够逐渐起来，最后大部分的query能够用小模型来支持，小模型无法完全覆盖的场景再用大模型进行兜底。
2.最佳实践：钉钉使用NL2SQL智能问数
NL2SQL能力应用到了多个场景中，比如说在钉钉，NL2SQL的智能问数上线服务超过3000家的企业和组织，服务问数、ChatBot的场景。
最佳实践：Copilot助力聚水潭打造数据驱动的决策加速器
Demo演示：DMS的Copilot助力聚水潭打造数据驱动的决策加速器。
视频内容：聚水潭是中国领先的SaaS软件服务商，其核心产品是电商ERP。协同350余家电商平台为商家提供综合的信息化、数字化解决方案。聚水潭使用了DMS的Copilot解决方案来满足各方灵活取数需求，同时释放研发人力资源。以一个场景为例，需求方要基于销售大区和合同版本维度统计近七天访问全局概览页面的Top 3商家类目，通过DNS界面只需输入这段文本需求DataCopilot即可生成相应的SQL代码，将代码粘贴到SQL控制台即可执行，同时根据用户的个性化需求，Data copilot还给出了历史知识库引用，进一步提升回答准确度，此外面向不需要写SQL的用数人员DMS Copilot还提供了AI应用，以自然语言交互方式获取数据，实现零代码操作，只需提出问题即可获得所需结果，同时提供了SQL代码供参考，还支持一键生成图表，查看数据变化趋势，通过AIAgent实现低门槛自助取数。
在demo中可以看到DMS Copilot帮助从一个natural language自然语言的query去生成SQL，甚至完成整个ChatBot的打造。最后介绍DMS云原生的AI平台以及如何完成MLOps。
四、DMS云原生的AI数据平台
MLOps核心的价值是提供一站式就是从data到Machine Learning和AI的全链路的打通，包括全链路血缘的打通、全链路安全、全链路的治理。然后ZeroETL和Onemeta整个用户的数据资产，在平台里面完成全生命周期的管理。应用在垂直场景里，一方面帮助客户更高效的、更快的完成核心算法的优化以及AI智能体的构造，另一方面引擎最核心的AI推理的能力结合在一起，去提供GPU 3倍的性能的加速。
1.DMS模型管理与服务MLOps
这部分介绍MLOps，希望把管理能力进一步推向在AI和ml里面的元素和元数据的管理。比如进行特征工程的管理、模型的仓库管理以及模型的评估、版本管理、上线的迭代等等，然后从数据处理到模型开发，模型训练，模型评估到模型推理，在整个一个ml的生命周期中，每个算子都进行polish，然后任务编排把这些算子串联在一起，给客户提供带有业务逻辑的运维的体现。
2.阿里云瑶池：DMS+PolarDB&AnalyticDB一站式DataOps+MLOps
把DataOps和MLOps放在一起打造OneOps的平台。用其中一个案例来看该平台能够完成怎么样的任务。在PolarDB加上 ADB一站式的方案中，可以看到在这一侧我们将数据通过ZeroETL导入到ADB中，然后进行数据处理，上述是传统的DataOps范畴，当完成DataOps生成特征向量，再放到这一侧，开始进入到MLOps领域。有特征向量以后进行模型定时的训练，结束后进行部署，同时去看当前版本训练出来的模型是否有效果提升。通过workflow，MLOps来保证ML的开发流程是四环，最后提升到的效果是对于In-DB的Machine learning提供三倍的效果提升，对于像付费预测、大客户的流失，预测的精准度也有50%的提升。
3.DMS模型管理与服务MLOps
简单介绍在这个业务场景中完成的工作。在这里可以看到DMS一站式的平台，下面搭建Analyst DB去完成DataOps，下面搭建的PolarDB的AI节点去完成MLOps下面的推理能力。用户的数据发起以后，在ADB里面进行编排和调度，生成特征向量，这些特征向量给到PolarDB进行模型的训练和得出来结果，在线上可以为客户进行实时的分析来进行更精准的营销。
刚刚介绍整体都是对于数据库的操作和维护的体验，阿里的瑶池数据库有数据库运维的书（《云数据运维》）即将出版，有兴趣的同学可以了解一下。
宇视科技&DMS：打造新一代数智管理平台
内容介绍：
一、Data+AI时代的数据管理挑战与思考
二、宇视&DMS打造新一代数智管理平台
三、未来的规划
本次分享主要分为三个部分，第一是对现在Data+AI的这个时代我们的数据管理的挑战以及思考；第二是我们宇视科技与DMS现在做的数智管理平台的一个系统；第三是未来的规划。
一、Data+AI时代的数据管理挑战与思考
1.关于宇视
宇视科技成立于2011年的一家高新企业，全球AI oT产品解决方案和全站式能力的供应商，以ABCI技术为核心的引领者，多次获得国家的荣誉奖章。运维部是对企业内部是要做数据平台的，有数据平台保障的职责，主要在做平台的过程中要制定流程、规范、管理线上的数据的合法性和安全性以及做一些日常的监控、运维以及成本的管控。
2.Data+AI时代的数据管理挑战与思考
在这些过程中会碰到很多的挑战，比如碰到包括跨云多模的数据的管理，因为可能很多的数据都在不同的云上，甚至有些是在本地的机房自建的数据库，那如何去做这些管理，它的管理成本又非常的高，应该怎么去更好的去管理他们？另外是生态的封闭导致形成数据孤岛，多个数据平台都是相对比较独立的，如何把独立的数据平台里面的数据汇聚成想要的数据统一的治理；第三是如何通过AI的能力给数据平台做赋能，统一的治理的能力。基于上述的这些挑战，希望能够基于上面这些问题去构建面向Data+AI的数智基建，作为新一代的数智管理的平台。
二、宇视&DMS打造新一代数智管理平台
1.宇视数智管理平台
基于上述提到的这几个问题和阿里云的DMS的能力，内部已经在使用这个平台。底座是基于阿里云DMS的跨云多模数据统一管理的能力，支持接入35家以上的数据源。不管是阿里云的数据库还是他云的数据库还是自建的数据库，都可以在这个数据底座里统一纳入到一起管理。阿里云的DMS也提供了丰富的OpenAPI，可以给我们企业内部的系统做一些集成，可以在现有的系统内，通过简单的开发工作量把DMS的能力赋予到内部的系统里面来。第三EMS提供了一套治理的模型，OneOps的一站式Data+AI的开发，全链路的血缘支持Data+AI安全质量的规范的治理，一套系统下来，对于当前公司内部的平台来讲，已经实现了管理的成本90%的下降，开发效能、稳定性都有大幅的提升，安全合规也都是符合我们国家的法律法规以及安全标准的。
2.Data+AI管理底座
首先我们把所有的数据都纳管进来之后，有数据地图的功能，那有该功能后可以做到全局去搜索在往所有的数据源，通过提供的统一目录的功能去做到，按照不同的规格或者是不同的地域去区分数据源，方便拿来统一的管理和展示更多的信息，让操作的人更好的去理解这些数据，有AI的一个自动生成的能力，可以动态的更新业务的知识去丰富元数据的使用效率。数据治理也是这套治理的模型，它提供了一套对源数据统一管理的能力，也有一套完整的交付的全链路的血缘采集并且解析的一些功能，数据合规都是符合基础的法律法规，另外合规审计、常规审计、审计操作到人功能，保证我们在线上对这些数据的操作，每一条记录都是能够留存下来的。
3. Data+AI智能引擎
智能引擎像Data Copilot，可以做到SQL的续写以及AI自动生成SQL的能力，帮助开发人员能够快速的去生成SQL，通过这种交互式的一个对话，即使在运维操作的这个人对SQL不是特别的了解，也可以通过这种方式让大数据生成一套完整的SQL，筛选出自己想要的一个数据。然后逻辑数仓功能可以帮助我们去做到不移动数据的情况下完成数据的准备，因为很多的数据都落在不同的库里面，可以在不把这个数据迁出来的情况下，同时在多个库中把数据全部做一些汇聚集成去检索。数据仓库、数据湖的联邦查询都是能够支持的，也可以支持以JDBC提供这种开发访问，也可以去对这些数据做一键的加速。整体下来，不管是数据开发还是数据管理，对我们的效率以及成本都是有大幅提升的。
4. Data+AI一站式开发
因为现在平台内部也是分了几个阶段：开发阶段、CI阶段跟CD阶段，还有Runtime阶段。在开发阶段，开发人员可以依靠平台去一键式的生成想要的SQL，可以提前在DMS中把我们想要的SQL的规范先预制好，比如说它得有默认键，它得有哪几个比如说有些键一定要有默认值什么之类的规范都可以提前预制好，然后开发人员只需要在这个平台上手动一键式的去创建想要的SQL，它都会按照我们预制好的一些规范去自动生成，然后通过开发阶段测试没有问题之后会推到CI阶段，会制成通过我们的一些语法检查，通过编译构建流水线方式推到制品库中，在CD阶段通过在测试环境验证测试环境推到预发环境，预发环境推到生产环境等等多个步骤都可以通过OneOps的流水线去实现，在最终发布的阶段可以实现到一键部署到多套不同的环境中去，大幅的节省了人力。近期在AI的开发产品中体验新的这套模型开发的能力，靠AI去做一些数据清洗、数据的标注以及模型的一个开发。
三、未来的规划
目前第一阶段Data+AI的统一治理已经是度过了，基于DNS在公司内部打造了一套Data+AI的数智平台，把所有的企业的数据源都已经接入到这套平台里面，统一的降低了管理的成本；第二个阶段，希望能够通过数智平台去落地分布式的管理模式，同时能够借助这个平台提供的OneOps和AI的能力，赋予开发全面的提效；最后一个阶段希望接下来这个数字平台能够与我们企业数字化应用全面的集成，推动内部业务的创新，以形成持续的迭代以及优化机制，驱动数据一个创新。
分享到此结束。
