息息相关的两大体系:数据中台与业务系统

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化DataV,5个大屏 1个月
简介: 数据中台对外输出的表现形式多种多样,最普遍的做法是BI分析,其次是与业务中台形成一套有机的整体,对业务产生真正的价值。数据中台的BI呈现 数据中台是以OneModel统一数据构建及管理方法论,OneID核心商业要素资产化为核心,实现全域链接、标签萃取、立体画像,数据应用服务整体解决方案。

前言:更多关于数智化转型、数据中台内容可扫码加群一起探讨
668d7f5941782665ed1f41529db3eb677f4b9379.png
阿里云数据中台官网 https://dp.alibaba.com/index


(作者:品鉴)

数据中台对外输出的表现形式多种多样,最普遍的做法是BI分析,其次是与业务中台形成一套有机的整体,对业务产生真正的价值。
数据中台的BI呈现

数据中台是以OneModel统一数据构建及管理方法论,OneID核心商业要素资产化为核心,实现全域链接、标签萃取、立体画像,数据应用服务整体解决方案。其数据服务理念根植于心,强调业务模式。

商业智慧BI是数据分析结果的最重要的一个表现形式,其与数据中台有非常紧密的关系,使用数据中台的数据处理能力和技术对数据进行分析,大部分情况都需要通过数据可视化的方式实现,但数据可视化有漫长的开发链路、从采集、存储、加工到呈现各种形态需要很多前后端的开发人员介入,而商业化BI可以大大缩短这个交付和开发周期,实现商业价值,数据中台可以视为一系列的商业业务行为的数据收集与信息加工,通过技术与算法模型实现最终的能够对综合营运、策略的定量化分析数据,通过BI可以量化的实现对关键性的指标进行评估。是协助企业制定出最佳的策略与目标的决策性支持工具。
image.png
图:BI大屏范例

因此数据中台与BI商业智能是相互相成,在现有体系下,BI市场呈现百花齐放的生态,国内有阿里云的QuickBI,帆软BI工具和永洪BI工具,国外已Tableau(最近被Salesforce收购),QlikView, PowerBI等工具。几乎在所有的数据中台中均需要引入BI工具:

  • 促进企业的决策流程:通过BI工具可以把数据快速的实现可视化,实现企业信息的集成和信息分析,把企业经营的和外部数据集成到一个蓝图中使得决策者能答复晶晶决策效率与改善决策质量。
  • 降低整体运营成本:BI工具能改善企业的信息获取能力,大幅度的降低IT人员在数据整理,撰写程序和制作报表的时间和人力投入,将数据交由业务人员来是实现。
  • 体统组织目标与行动:通过BI的数据分析和数据中台的技术支持,使得BI可以为从一线人员到业务决策人员共同使用,可以消除一线营销人员,业务人员决策人员信息需求与IT人员的认知差距,让一线业务人员能获得更直接的信息,全面改善企业运营,使得组织内的每个人目标一致。
    image.png

图1:人群圈选应用范例

商业智慧BI报表输出是数据中台最重要的表现形式,但不是唯一的表现形式,数据中台还有很多其他数据应用服务提供数据结果,通过人群圈选、企业参谋、企业数据App应用等可以方便实现企业对数据需求。

数据中台与业务中台的协同

业务中台和数据中台都是阿里巴巴首先推出中台理念的代表性产品,业务中台打破了传统的烟囱式的业务系统开发框架,”采用阿里巴巴的数据中台+业务中台双中台设计,采用企业级的业务协同,阿里内部25个事业部300+业务单元,把烟囱架构到统一微服务平台,从1000+系统到数十个商业能力敏捷创新,实际检验阿里在4周搭建盒马业务框架,实现了秒级数据智能,数据从采集、建构、展现只要2.5秒”, 行颠在2019年阿里云上海峰会的诠释非常精准的说明了数据中台与业务中台的关系。

业务中台是阿里巴巴中间件团队的经过集团内多年久经沙场的使用经验沉淀下来由多款分布式基础组件产品作为核心构建的企业云计算解决方案,包括EDAS(企业级分布式应用服务 Enterprise Distributed Application Service), 分布式数据库DRDS,消息组件MQ,应用监控系统(ARMS),云服务总线(Cloud service Bus),分布式事物中间件。其充分利用阿里云 IaaS 资源,引入整套成熟的分布式计算框架(包括分布式服务化框架、统一的会话框架,链路 追踪和稳定性组件等),以应用为中心,帮助企业级客户轻松构建大型分布式应 用服务。体现到包括服务治理、基础监控、应用监控和应用诊断在内的一系列配套管理服务,极大的提升企业客户对大型分布式应用的管理能力利用弹性伸缩轻松应对各种流量高峰。
image.png
图2:业务中台产品矩阵

业务中台的主战场是业务系统,满足业务系统开发需求,其核心是分布式系统和多中心分布式业务计算架构,满足的业务系统所要求的快速查询,业务交易。数据中台所面临的是海量数据计算问题,通过大数据计算实现对数据进行建模和分析,挖掘出有价值的信息,对业务中台有数据回刷和业务反辅,因此二者是相辅相成,是一个互补关系。

在众多业务交集中,千人千面的推荐应该是双中台联合的最佳典范,数据中台通过采集系统收集用户的行为,交易,个人基本属性等数据通过离线分析对用户进行标签处理,个人推荐算法模型根据历史数据计算出用户所感兴趣的点,根据用户间的细小差异结合商品或内容给出推荐信息,在用户再次登录时候,业务中台根据数据中台的推荐信息结合用户实时行为数据给出千人千面的实时推荐,这一业务模式有力的推动了新零售的业务的发展。
image.png
图3:业务中台与数据中台

商业智能报表是双中台合作另一个普遍结合点,数据中台擅长离线大数据计算,通过数据模型可以产生商业智能分析,对业务人员有商业决策的帮助,而业务系统往往有数据分析和报表呈现的要求,而这块会占用大量业务中台的计算能力从而影响正常的业务计算,因此二者结合既可以节省有限的计算资源又可以满足用户的商业智慧的要求。

数据中台与传统业务相比较,更偏向数仓业务,是完全替代数仓系统的业务系统,但与传统数仓不同,数据中台可以很好的与传统的业务系统可以形成互辅互成的关系。

数据中台通过在业务系统中数据中台可以通过数据回刷,应用嵌入,API数据服务方式实现对业务系统的补充。

数据回刷类型:很多业务系统都会用到统计数据,需要根据统计数据做业务触发,比如会员的升降级业务会触发权益的影响,这些统计任务由数据中台定时计算无论从效率上还是逻辑处理上都要更优一些,通过计算后回刷业务系统数据库触发业务系统。

应用内嵌型:商业智慧BI报表输出是数据中台一大产出物,通过OLAP计算效率更高、速度更快,而且对传统的业务系统的影响较小,传统的报表统计对业务系统的性能影响较大,如果报表统计需要追溯以月、年为计时间跨度计算会导致系统长时间高负荷运行影响业务订单的时效性,因此通过数据中台的OLAP离线计算方式以应用嵌入方式实现,比如阿里云很多业务采用数据中台BI实现统计报表功能,业务系统通过网页嵌入方式实现图表功能。

数据服务:在互联网企业有很多离散的数据查询业务,有些数据服务需要数据中台完成,数据中台通过多个数据服务提供这些服务,有些以API方式提供,有些以主题服务方式,有些以SDK内嵌方式,比如oneID用户查询,个人标签查询、业务统计数据查询等。在阿里云数据构建与管理Dataphin平台中以oneservice模块方式实现数据服务。

实时数字大屏:很多业务系统通过数字大屏实时反应业务现有状况和历史变化,通过实时流计算与业务系统相关联和OLAP的历史数据的统计实现业务中台与数据中台的完美结合,最典型的例子是阿里双十一的大屏。

数据搜索和推荐:搜索业务是一个特别的服务,搜索服务会实时接入业务系统的数据,同时搜索会提供一些高度相似的内容推荐服务,数据中台在其中扮演这重要的角色, 通过离线计算和多业务驱动数据形成独特的商品和个人特质化的推荐,给用户以良好的体验,最典型的例子是电商行业的千人千面商品推荐和影视产品的推荐。

在企业的IT服务中,数据中台弥补了业务系统的短板,形成了一套与业务合作机制,创新性的驱动业务流程和业务形态的变化:

业务监测:新一代大数据设计之初一个重要方向是通过数据中台的全局性的统计和监测,叠加算法预测实时发现业务系统的问题,现有业界IDC自主管理和运营通过大数据技术采集硬件系统,业务系统,数据库等日志实现对业务系统的监测和预测。另一方面,很多企业通过决策分析系统全面掌握业务的发展动向,适时对业务做调整,决策分析系统主要是由数据中台来完成的。

业务洞察:现代企业对企业的精细化运营提出更高的要求,对数据化运营的能力和效率提升的需求也日益迫切。因此需要对行业分析方法做沉淀和升级,实现以多视角,智能化业务判断,标准化运营和决策的要求,因此需要数据中台的统计和分析功能形成产品对业务系统形成业务洞察。

业务优化:通过对业务流程的优化可以实现效益的倍增效益,比如智能补货一直是供应链优化的一大热点,也是著名的历史难题。在经济大环境形势不太好(创收难)商家供应链专业程度低(供应链成本高)经营渠道多链路复杂(协同难度大)的大背景下,新型的数据中台汇集各路商家和供应链数据,使得数据赋能,流程优化成为可能。

业务数据变现:在当前数据安全规则下,通过智能推荐,流量经营可以增大业务盘子,实现对业务多样化的构想,实现业务的推动,而智能推荐和相关的标签均由数据中台产生。

时至今日,数据中台与业务中台的关联越来越紧密,逐步会变成一个整体,给企业以业务永动机的作用。


数据中台是企业数智化的新基建,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。目前正通过阿里云数据中台解决方案对外输出,包括零售金融互联网政务等领域,其中核心产品有:

官方站点:
数据中台官网 https://dp.alibaba.com
数据中台钉钉群二维码2.jpg


相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
6月前
|
Shell Android开发
Android系统 adb shell push/pull 禁止特定文件
Android系统 adb shell push/pull 禁止特定文件
529 1
|
6月前
|
监控 数据处理 索引
整合LlamaIndex与LangChain构建高级的查询处理系统
该文阐述了如何结合LlamaIndex和LangChain构建一个扩展性和定制性强的代理RAG应用。LlamaIndex擅长智能搜索,LangChain提供跨平台兼容性。代理RAG允许大型语言模型访问多个查询引擎,增强决策能力和多样化回答。文章通过示例代码展示了如何设置LLM、嵌入模型、LlamaIndex索引及查询引擎,并将它们转换为LangChain兼容的工具,实现高效、精准的问题解答。通过多代理协作,系统能处理复杂查询,提高答案质量和相关性。
246 0
|
3月前
|
开发框架 Unix Linux
LangChain 构建问题之在Unix/Linux系统上设置OpenAI API密钥如何解决
LangChain 构建问题之在Unix/Linux系统上设置OpenAI API密钥如何解决
48 0
|
4月前
|
索引 Cloud Native
云原生数据仓库问题之精确匹配查询如何解决
云原生数据仓库问题之精确匹配查询如何解决
51 0
|
6月前
|
存储 安全 Shell
Android系统 adb shell auth授权使用
Android系统 adb shell auth授权使用
440 2
|
Shell 语音技术 开发者
使用adb安装或卸载卸载手机系统应用
使用adb安装或卸载卸载手机系统应用
2111 0
使用adb安装或卸载卸载手机系统应用
|
编解码 算法 安全
蓝牙通讯数据传输,蓝牙UUID,BluetoothAdapter;adb input 模拟系统输入,adb logcat:抓包,抓日志,蓝牙通讯,adb命令实现
蓝牙通讯数据传输,蓝牙UUID,BluetoothAdapter;adb input 模拟系统输入,adb logcat:抓包,抓日志,蓝牙通讯,adb命令实现
416 0
|
Android开发 开发者 Windows
mac系统下 adb devices 不正常的处理办法
mac系统下 adb devices 不正常的处理办法
mac系统下 adb devices 不正常的处理办法
|
消息中间件 canal 关系型数据库
基于Apache doris怎么构建数据中台(四)-数据接入系统
在开发数据模型时,我们必须有一个统一的平台,能够像流水线一样,把数据一步步加工成数据模型。这其中涉及到数据萃取、数据聚合、作业调度等。
502 0
基于Apache doris怎么构建数据中台(四)-数据接入系统
|
数据采集 大数据 数据管理
功能大图之集成:如何将业务系统的数据抽取汇聚到数据中台
本文将介绍Dataphin的集成功能模块在产品大图中的定位,系统地介绍了集成的能力以及集成场景的关注要点。
634 0
功能大图之集成:如何将业务系统的数据抽取汇聚到数据中台