很长一段时间,BI和数据仓库几乎都是如影随形、难舍难分。企业如果想要实行“数据驱动决策-决策推动业务发展”的机制,就必须先有数据仓库充当中央存储库,供BI查询和调取,然后再在BI上进行数据的分析与可视化。
但数据分析和商业决策发展至今,企业想要实现数据驱动决策,是否还是无法绕过数据仓库?在现代商业环境中重新定义BI和数据仓库,我们又能不能找到合适的替代方案?
今天,我们就这个命题展开讨论,希望能给大家提供一些思路。
数仓:BI背后的引擎(或管道)
数据仓库:从字面意义上即数据的仓库,是为了把操作型数据集成到统一的环境中,以提供决策型数据访问。数据仓库关注的是解决数据一致性,可信性,集合性.......这些问题,把越来越复杂的业务数据转化成对于业务运营、业务分析来说简单易用的数据形式;数据仓库的终极目标是让数据应用人员(无论是CEO还是普通分析师)思考怎么使用数据仓库里的这些数据,创造更多的信息与价值;而不是发愁数据在哪里,数据对不对。
BI(商业智能):BI是分析数据并获取洞察力、从而帮助企业做出决策的一系列方法、技术和软件。相比数据仓库,BI中还包含了数据挖掘,数据可视化,多维分析,标签分类等方面。拿多维分析举个例子,数据仓库中只是提供了维度化的数据,但是基于某些工具,比如Ebay的kylen或者IBM的Cognos等,可以支持用户在一定范围内任意组合维度与指标,那这就上升到了决策支持的层面而不是“高级数据仓储”层面了,也就是使用了数据仓库的数据,但不是数据仓库的功能。
BI与数据仓库的相关性(图片来源于网络)
传统BI项目的构建路径决定了其必须依赖数据仓库才能进行数据分析。比如MicroStrategy,SAP BW,微软 Analysis Server, IBM的Cognos,Oracle的OBIEE,这些传统BI工具不具备使数据集成标准化的能力,数据仓库的存在就是帮助他们建立数据治理结构,解决数据冗余、不一致、错误、无法轻松访问等问题。
另一方面,BI对数据仓库的这种依赖其实存在着极大的缺陷。一般来说,数据仓库通常需要花费高经济成本、时间成本从规划到落地,但创造的价值大多数情况比较有限,ROI较低。搭建成功后,数据仓库也仅支持极少数特定类型的分析,如果企业业务出现调整或者需要处理新类型的数据,届时又将重新面临重大的开发工作。
从现代商业决策视角,重新审视BI与数据仓库的关系
在如今转向服务导向架构(SOA)(*由Gartner提出,以“服务”为基本元素来组建企业IT架构的方式。SOA要解决的主要问题是:快速构建与应用集成,现已成为解决企业业务发展需求与企业IT支持能力之间矛盾的最佳方案。)的技术大背景中,耗费巨大心力进行大规模的数据整合和数据集成操作是否还有必要?构建数仓的收益是否能大于你将付出的成本?
再加上企业数据体量不断提升,业务发展越来越迅速,对快速印证分析决策也提出了更高要求,更多的企业希望能够降低技术设施成本,做到近乎实时地访问操作源数据,在极短的时间内响应用户请求。
数据仓库和BI的体系结构(图片来源于网络)
于是我们看到了越来越多没有数仓的BI项目。一方面,敏捷BI的兴起,允许用户快速接入各类数据源,无需借助数仓即可实现数据导入-处理-分析的流程。而另一方面,新一代AI+BI智能数据分析平台,则在快速接入、敏捷分析的基础上,实现了更进一步的应用:
- 自带轻量的分布式数据存储与数据流处理模块,提供从数据抽取、数据建模、数据分析,到数据可视化、预警分发的一站式数据分析应用能力;
- 即便不抽取数据,也可实现多数据源的联邦动态分析(联动、钻取、动态参数等交互分析功能)。
在这个角度上来看,一定程度上可以在没有数据仓库的前提下实现智能数据分析,但是,这仅限于数据量有限的中小型企业,不意味着我们推荐直接拿数据分析平台上的数据存储当做数据仓库来用。
因为随着企业用户数据量、分析复杂度的不断提升,数据分析平台上轻量式数据存储与数据流处理模块是难以承受巨大的计算压力的,从企业长远发展的角度上考量,还是需要有计划地建设数据仓库或数据平台。
企业构建分析决策架构的敏捷策略
企业分析决策架构的未来前景,取决于业务驱动因素以及技术的发展方向。如今企业数据呈指数级增长,对实时分析的需求比以往任何时候都要强烈,鉴于此,如何兼顾快速落地与高可扩展性,有机结合数据仓库来构建企业分析决策架构,仍是摆在众多企业面前的一个巨大难题。
对此,我们推荐的最佳实践是:
- 在数仓尚未搭建或分析思路尚未成型时,直接在BI平台内快速构建分析应用,快速反馈、快速迭代,实现quick win。
- 在分析结果得到业务的印证后,再将数据沉淀和复杂分析逻辑逐步固化到数据仓库或数据平台里面实施,此时BI平台仅担负轻量的数据分析与可视化压力。
我们认为,数据分析的本质是为业务发展、商业决策而服务,而不是创建一堆无用的可视化图表。通过以上提到的这种敏捷开发,快速印证,不断沉淀的过程,将能够更大程度上确保企业分析决策架构的方向正确,获得业务端的认同,驱动业务发展,从而产生真正的商业价值。