一、 云计算+开源
“云计算+开源”能够共同打造会进化的DataOps，其原因在于：
• 云按需使用、随需等特性为开源软件的传播提供有利条件。
• 云计算为开源软件创造一种以SaaS方式提供服务的盈利模式，这种模式的可行性在中国及海外都得到了验证。
• 云服务是开源原生公司最佳的技术选择之一，能够真正给客户带来开箱即用、业务聚焦价值。
云时代的开源技术有以下三种发展趋势：
第一，云时代的开源技术多样。例如，阿里的云上产品有200多种，每一种产品都有其适用场景。云的基础设施如数据湖、计算引擎等都有其典型商业代表，包含几十甚至上百种技术。
第二，开源公司发展迅速。传统的Talend、Kettle近几年市值普遍上涨，新成立的Bigeye不仅市值迅速上升，而且作为云原生新创领域的代表，该公司已经成为全球主流技术公司。
第三，数据消费多样。分析师、科学家、业务人员诉求各不相同，业务使用场景也十分多样。不同的技术应对于不同的场景，存在不同的数据消费类型。
云时代数据生命周期的典型特征是数据源丰富多样，不仅包括应用数据、 API/SaaS、数据库数据，还包括其他各种各样的业务数据。
数据有独立的生命周期，涵盖了从数据加载、数据集成、数据存储、数据处理、数据分析到数据消费的全过程。
数据生命周期的每一个阶段都存在多种技术，DataOps主要针对数据处理和数据分析阶段。
DataOps结合DevOps技术基础，将开发、部署、运维进行一体化整合，以应对数据需求快速变化的特点，具备三个优点：
第一，缩短部署分析周期时间。
第二，减少数据缺陷。
第三，构建标准化同源数据协作平台。随着云数据湖的发展，越来越多企业开始上云，数据也从先加工变成了先上云，DataOps有助于构建标准化数据同源。
DataOps旨在降低用户使用和分析数据的门槛，让人人都能够“玩数据”。
二、 DataOps重构现代技术栈
DataOps正在从不同方面重构现代数据栈。
云、数据湖仓引擎方面，DataOps在云服务器、数据湖、数据仓库格式、实时数据引擎及源数据引擎都进行了创新。
新一代数据工作流编排与集成引擎主要完成两项工作，一种是数据工作流编排，另一项是数据同步与计算。这也正是DataOps要解决两件事情。
此外，新一代数据工作流编排与集成引擎之上还有各种OLAP引擎及数据应用模块。
数据工作流编排开源技术发展主要经历了以下三个阶段：
Crontab阶段：常见于Unix和Linux操作系统中，代码复用性低，无集群化部署，稳定性差，工作流编排无法满足数据要求。
Airflow阶段：面向工程师，使用代码编写工作流。扩展能力及多云异构能力较差。
新一代云原生开源工作流编排引擎阶段：不仅面向工程师，更面向普通用户，能够让工程师、分析师、科学家等普通用户简单地完成工作流编排。
数据工作流编排工具Apache DolphinScheduler的优点主要在于以下四个方面。
• 高性能、高可靠性。
• 简单易用性。用户能够通过界面简单操作完成交互。
• 使用场景丰富。
• 高扩展性及强云原生能力。
随着各个云的发展，越来越多的企业都在上云。多云成为趋势，数据需要同步到各个云之间。
新一代实时多源数据同步工具SeaTunnel作为数据集成引擎，能够完成各个云之间，库之间，以及数据源之间数据同步。其支持的数据源数量每年翻倍增长，已在100多家公司中推广使用。
一些企业已经选择了DataOps作为云原生方案，例如伊利和思科。
伊利集团在比较了Airfolw、Azkaban后，出于满足业务需求及稳定性的考虑，最终选择Dolphin scheduler作为大数据基础调度设施。
思科立足全球化部署，为满足各个国家、各个州的数据安全需求，最终选择从Airflow迁移到Dolphin schedule。
三、 DataOps未来
DataOps未来发展趋势主要可以概括为以下三点：
• 将会以云数据湖仓为核心。海外部分企业已经开始以云上技术作为核心，中国也有越来越多的企业正在上云。
• 将会提供云原生全套服务组件。能够让用户在云上完成各项功能。
• 将会设计低代码的交互界面。让技术越来越简单、易用。
DataOps与现代数据栈旨在提升分析及数据自服务的灵活性，最终让数据实现自服务。
云时代，DataOps的技术方向主要有以下四点：
• 容器化：这是云时代已经现实的技术。
• 敏捷与智能化：让数据编排随着血缘关系自动串联起工作流程。
• 开箱即用：云和开源技术都应具备开箱即用的能力，且开源技术应在上云之后能够更简单得实现该能力。
• 多云能力：多云对于云服务提供商而言是一个很大的挑战。
云和开源不仅是“加法”关系，更是“乘法”关系，依托云计算基础设施，开源技术能够发展得更好。
