推荐 ｜ AllData开源数据中台项目

AllData数据中台是可定义数据中台，上层是Wujie微前端架构，底座是可插拔的后端架构。

AllData数据中台以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。

Github项目地址：https://github.com/alldatacenter/alldata

近日，AllData技术社区进行架构设计分享，AllData大数据中台创始人详细介绍了数据中台的2.0版本架构，包括对传统央企和轻量级行业公司的需求分析。

他强调了项目的可插拔性和可定义性，以及未来对更多开源框架的集成能力。AllData大数据中台创始人分享了团队的组成和资源，包括技术团队的商业化考虑和社区运营的投入。

他还提到了团队在开源社区的一些合作和经验。AllData大数据中台创始人讨论了项目调研的过程，包括对国内外开源开源组件的调研和对未来商业化的考虑。

他提到了团队在选型时考虑的因素，如品牌号召力、社区运营和开源项目的集成性。会议还进行数据中台2.0版本的人架构分享。

最后会议将总结经验教训，提取社区反馈和意见，以期使项目做得更好。

官方文档 ｜ 安装文档

一、开源版功能列表

AllData 1.0旧版架构

二、商业版功能列表

AllData 2.0新版架构

三、商业版新增功能列表

AllData 2.0新版架构-新增功能

四、会员商业版

4.1 商业版V1.0旧版架构 & V2.0新版架构

1、会员商业版线上环境地址，线上环境只对会员通道开放，成为会员：享受会员权益。

  线上环境：http://122.51.43.143:5173/ui_moat    账号：test/123456（此账号只能体验数据质量功能）

2、开源版与商业版不是同一个项目，开源版命名为alldata，会长期存在，商业版命名为sciencemoat, 由公司团队维护。

   2.1 开源项目可以用于公司内部调研用途，如需商业使用，需要购买会员商业版，开源AllData项目使用GPL协议。

   2.2 加入会员通道，购买商业版源码，可以商业使用AllData。商业版功能更多，保证稳定性，Bug比较少，由公司架构师团队维护。

3、V1.0新版架构 alldata架构

  3.1 开源版属于V1.0旧版架构，V1.0旧版架构使用Vue2 + SpringCloud前后端分离架构。

  3.2 扩展大数据组件能力有限，目前扩展了开源组件DataSophon，此功能仅在商业版提供源码，开源版本不提供源码。

4、V2.0新版架构 sciencemoat架构

  4.1 创始版，新版尊贵会员，新版高级会员，新版终身会员属于V2.0新版架构。

  4.2 V2.0新版架构使用Wujie微前端架构+后端可插拔架构。
  这套架构是全新会员商业版的核心优势，集成开源组件能力十分优秀，可以扩展支持到30-100+大数据开源组件。

主要讲述了Github数一数二的数据中台开源项目、同行产品调研，以及如何在这个领域进行交流。 会议提到，国内的大数据开发和产品团队在开源环境中的时间相对较慢，因为国内的大数据架构师或专家通常都在兼职，没有专门从事社区项目。 此外，会议还提到了一个公司组织，这个组织是为了满足项目需求而建立的，同时也需要维护下去。最后，会议提到了一些常用的开源组件，如Hybrid Olap、实时开发等。

六 功能效果

1 首页

2 数据集成（开源版有，商业版更稳定，bug比较少）

3 数据质量（开源版有，商业版更稳定，bug比较少）

4 数据标准（开源版有，商业版更稳定，bug比较少）

5 元数据管理（开源版有，商业版更稳定，bug比较少）

6 数据资产（开源版有，商业版更稳定，bug比较少）

7 数据服务（开源版有，商业版更稳定，bug比较少）

介绍了一个集成了数百个数据源的现代数据栈（Modern Data Stack）框架，也就是AllData 2.0架构框架，该框架旨在为用户提供一条龙的产品，包括数据采集、存储、计算、报表展示、数据服务和MLOPS等技术平台，挖掘出数据内在的价值。 技术架构设计方面，使用了一个最新的图，分别描述数据中台和数据平台两部分。此外，还介绍了框架中的一些功能，如消息能力、微服务、加载引擎等。 最后，提到了未来的一个架构，包括无界Wujie微前端框架、数据中台系统、数据服务等。

主要讲述了团队在开发过程中的一些工作内容和未来计划。首先，团队会先关注开源社区和商业化公司，并在各大B站、视频号和公众号上分享相关内容。其次，团队会持续进行架构优化和测试，以提高基础平台和大数据平台的稳定性。此外，团队还会分享一些典型案例，如可插拔架构案例，介绍如何提高效率和效率。最后，会议还提到了数据质量和数据管理的重要性，以及未来可能的发展方向。

8 数据比对（开源版有，商业版更稳定，bug比较少）

10 流程编排（开源版有，商业版更稳定，bug比较少）

11 系统监控（开源版有，商业版更稳定，bug比较少）

主要讲述了团队在开源框架研究方面的背景和成果，提到了一些开源项目和数据平台。 同时，介绍了团队在技术架构设计方面的思考和尝试。会议还分享了AllData 2.0新版架构集成开源大数据组件的实际案例，通过DataVines，Dinky，DataSophon大数据开源项目集成作为案例，分享大数据开源组件集成建设经验，包括无界Wujie开源框架-腾讯前端团队开发的开源框架以及后端可插拔服务“唯一框架”。 最后分享了一个关于数据中台的项目AllData，讲述了一个在2019年完成并已运行5年以上的项目。

13 数据平台（开源版没有，商业版提供源码）

14 数据平台(K8S)（开源版没有，商业版提供源码）

15 实时开发（开源版没有，商业版提供源码）

16 实时开发IDE（开源版没有，商业版提供源码）

17 离线平台（开源版没有，商业版提供源码）

18 新版数据质量平台(DataVines)（开源版没有，商业版提供源码）

19 新版BI平台(Datart)（开源版没有，商业版提供源码）

主要讲述了行业背景下的增长趋势放缓，以及数据中台的问题。讲者提到，行业增长放缓，市场规模达到百亿级别。2023年市场规模为183亿。同时，数据中台面临效率低下、数据量问题、集群资源等问题。讲者认为，基于现有技术和产品，未来需要解决转型问题，如DataOps加AI支撑。此外，讲者还提到了客户画像和需求场景，如传统央企、轻量级证券公司等。

在未来五年或十年内，如果其他外国软件或国内开源项目出现，我们可以提供一套框架快速集成到我们的平台上，以便快速进行数据迁移和任务重叠组件的选型。我们希望这些框架能用于调研未来的框架，以满足不同产品的需求。此外，我们团队致力于将数据中台做得更好，目前有80%的资源投入到开发上，还有销售经理、法务、财务等职位在做其他事情。我们的团队是一群人，致力于把这件事做好。

主要介绍了企业级生产流程中的生产系统，包括新版商业版2.0架构，保留很多原有功能，全新优化和升级产品功能效果、UI等。同时，提到了开源图、源码等内容，以及数据平台的功能。此外，还介绍了项目系统和新的架构图，并分享了工作流和系统使用体验。最后，提到了与多个开源社区的开源生态合作，希望未来能一起创造生态，提升项目功能。总的来说，会议对开源项目AllData架构设计进行了全面的探讨，包括项目的技术架构、团队资源、调研选型、案例分析以及AllData平台的技术架构分享。会议强调了项目的可插拔性和可定义性，以及团队在在开源社区的合作和经验。通过这次讨论，与会者对大数据中台的未来发展方向和潜在挑战有了更深入的了解。