大数据,为什么不是传统BI的简单升级?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

BI(BusinessIntelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。

大数据(Big Data),指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

不管定义如何不同,大数据与传统BI是社会发展到不同阶段的产物,大数据对于传统BI,既有继承,也有发展,从”道”的角度讲,BI与大数据区别在于前者更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。

基于这个特点,大数据很容易在生产中形成基于个体的评估和闭环反馈网络,BI则由于偏向宏观而难以在生产中贯彻执行从而产生实际价值,因此,当前的大量的新数据应用领域,实际BI是没有覆盖的,比如RTB广告、智能制造、个性医疗等等。

当然纯粹从思想的角度讲,两者在概念上是可以实现统一的,都遵循数据-信息-知识-智慧这个脉络,甚至在更高的层次,两者也是可以统一的,比如这个定义:“世界上万事万物都在被数据化,形成一个与现实世界相关联的数据世界,人类可以利用数据化的方式,应对和解决生存和发展问题。”

因此很多人说BI跟大数据没区别,的确是这样,没必要抬高大数据,但由此认为两者价值也差不多,那也有问题,它忽略了”术”的不同,由此造成应用的巨大差别。

举个例子:神经网络理论几十年前就有,为啥直到现在才有深度学习突破性的进展,关键是其”术”的能力提高了,一定程度讲,大规模数据并行处理让这个理论焕发了新生。

理念是一回事,付诸实践是另一回事,因此,我们还是要从“术”的角度来阐述大数据与传统BI的区别,事实上,传统BI,由于其术的限制,已经达到了一定瓶颈。

传统BI厂家喊了多少年的”帮助企业做出明智的业务经营决策”,现在除了一堆报表系统,搞了一些决策树等统计算法,还剩下什么呢?传统企业引入了那么多的BI咨询,写了那么多报告,真正发生过价值的有多少?BI已死也并非空穴来风。

如果搞BI的还在原有的地方转圈圈,不去变革,除了空喊我也是大数据,没有意义,因为数据价值最终还得看落地的能力。

大数据的4V特征大家都懂,大数据在量、维度、速度等方面相对于传统BI的改变的确让数据改造世界的能力发生了质的变化, 那么,大数据的“术”于传统BI到底有哪些变化?传统企业需要做哪些改变呢?

1、超越BI,拓展新的业务边界

大数据不是绣花枕头,它的第一要务就是解决业务问题,大数据一定程度上讲就是用全新的数据技术手段来拓展和优化业务,传统企业需要聚集一拨人来研究这个问题。

如果对外,想清楚新的商业模式,如果对内,想清楚在哪个场景,可以用大数据的手段来提升效率。

当前大数据可以产生价值的地方,从行业的角度看,互联网、制造业、公共服务、医疗保健、金融服务都有广阔前景。

从领域的角度看,广告、营销、风控、供应链都是大数据发挥价值的地方,对于特定企业,比如电信运营商,大数据也可以在网络优化等方面提供新的方法。

大数据应用场景是企业特别需要想清楚的地方,传统BI失败,一定程度讲,是技术推动业务导致的倒挂现象所致,是高估传统BI利用数据的能力所致,比如大量领域用传统BI产生不了生产力,当然也少不了忽悠。

大数据也面临这个重大问题,但应该看到,随着大数据概念的普及,应用领域的大幅延伸,企业的管理和业务人员对于数据的认识有了很大的转变,数据化的思维开始深入人心,对于大数据来说,是一个新的机会。

不业务,无大数据。

2、颠覆BI,打造大数据技术引擎

这是当前大数据领域最火的地方,很多企业纷纷在建设自己的大数据台,不外乎解决以下问题,以下仅举例。

比如用Hadoop、流处理等技术解决海量的结构化、非结构化数据的ETL问题,用Hadoop、MPP等技术计算海量数据的计算问题,用redis、HBASE等方式解决高效读的问题,用Impala等技术实现在线分析等问题。

本质是基于廉价的机器,采用去中心化,分布式的方式去解决海量结构,非结构化数据的存储、处理和读写的问题。

要理解这个,其实去读懂Google的三篇论文就可以了,分别是关于Google File System、Google Bigtable及Google MapReduce的。

但并不是每个企业都需要打造自己的大数据平台,量力而行吧,可以自研 ,比如BAT,也可以采购,比如传统大企业,也可以租用,比如用阿里云和AWS。

在技术上,传统BI的ETL、数据仓库、OLAP、可视化报表技术,都处于淘汰的边缘,因为它解决不了海量数据(包括结构化与非结构化)的处理问题,其所有的功能都可以被对应的大数据组件所替代,因此不再有发展前途,大多数企业即使没有大数据业务的驱动,但大数据技术的成本优势在那里,不做大数据也倒逼你用大数据技术,是不?

当然传统BI那套,也将长期存在,毕竟大数据的普及和应用是个漫长的过程,传统企业对于大数据技术稳定性的担忧也是个障碍,但企业至少要末雨绸缪了,趋势不可挡啊,大数据技术会越来越成熟。

我记得自己的企业1年前还在用DB2,仅一年的时间,GBASE就把它替换了。我们总是低估了技术革命对于我们自身的影响程度。

3、重塑BI,升级人员的知识结构

有了业务,也有了技术,再来看看人吧,很多企业在热火朝天的建设大数据平台,但建完之后,却发现仍然是个报表系统,或者仍然是原来的BI,领导一看,会感叹,不就是换了个马甲啊,大数据有啥用?

很多企业,它可以有很多的预算购买很贵的机器和软件,但对于引入人才和培养人才却有点力不从心,买了1个亿的大数据硬件和软件,却希望原来的BI班底就能带来大数据应用的繁荣,那也是差强人意的事情,新品装旧酒,原来班底能搞定公司的报表系统就已经很好了。

为什么传统BI人员搞不定?

大数据需要有人专门研究和探索,传统BI人员时间精力有限,此为其一,不是否定BI人员的能力,只是表达不要奢望BI人员既做个合格的报表哥,又是个大数据创新达人,企业要能做些取舍。

大数据的数据处理,涉及太多新的技术,传统BI只要懂点SQL就可以活的很好了,但现在看看,不同的应用场景需要不同的大数据处理方法了,而且不再有人机交互那么好的客户端了,至少要懂流处理、HADOOP、列式或分布式键值数据库吧,大数据对于BI人员的技能要求其实大幅提高了,此其二。

大数据更强调全量了,原来的BI挖掘人员,搞一些样本在单机上运行个R就很欢乐,但现在不行了,针对5000万用户搞个三度交往圈试试?传统方式在BI时代大都尝试过了,只有更新方法,才能带来新的机会,比如,至少要求建模师会在SPARK上开发算法程序吧,对于用户画像、产品标签化、推荐系统、排序算法都应有所理解,此其三。

人才是大数据的核心要素,没有人的投入,不能奢望有啥产出,需要多点人才的引入和培养,少点大数据的心灵鸡汤,大数据绝对不是大忽悠,如果有所怀疑,就问问你这个企业有多少人是在做大数据研究和实践的。

因此,大数据相对于传统BI,不是简单的PLUS的关系,它涉及了思想、工具和人员深层次的变革,BI人员既不要一提大数据,就嗤之以鼻,认为它是新包装的马甲,其实就那么回事;也不需妄自菲薄,以为搞大数据就那么高大上,它的确是BI大多数思想的传承,传统BI对于数据的处理思想,都可以用于大数据。

顺应大势,更新自己,奋起直追,重装上阵,是BI应有的态度。


本文作者:傅一平

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
8天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
9天前
|
分布式计算 大数据 BI
ClickHouse与大数据生态整合:从ETL到BI报表
【10月更文挑战第27天】在这个数据驱动的时代,企业越来越依赖于数据来做出关键决策。而高效的数据处理和分析能力则是支撑这一需求的基础。作为一位数据工程师,我有幸参与到一个项目中,该项目旨在利用ClickHouse与Hadoop、Spark、Flink等大数据处理框架的整合,构建一个从数据提取(Extract)、转换(Transform)、加载(Load)到最终生成商业智能(BI)报表的全流程解决方案。以下是我在这个项目中的经验和思考。
23 1
|
11天前
|
人工智能 供应链 搜索推荐
大数据分析:解锁商业智能的秘密武器
【10月更文挑战第31天】在信息爆炸时代,大数据分析成为企业解锁商业智能的关键工具。本文探讨了大数据分析在客户洞察、风险管理、供应链优化、产品开发和决策支持等方面的应用,强调了明确分析目标、选择合适工具、培养专业人才和持续优化的重要性,并展望了未来的发展趋势。
|
1月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
166 1
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
29天前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
2月前
|
人工智能 Cloud Native 数据管理
重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
阿里云发布首个AI多模数据管理平台DMS,助力业务决策提效10倍
297 17
|
6月前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3月前
|
SQL 人工智能 分布式计算
飞天发布时刻:大数据AI平台产品升级发布
阿里云飞天发布时刻产品发布会围绕阿里云大数据AI平台的新能力和新产品进行详细介绍。人工智能平台PAI、云原生大数据计算服务MaxCompute、开源大数据平台E-MapReduce、实时数仓Hologres、阿里云Elasticsearch、向量检索Milvus等产品均带来了相关发布的深度解读。
|
5月前
|
分布式计算 资源调度 监控
【大数据】Hadoop 2.X和1.X升级优化对比
【大数据】Hadoop 2.X和1.X升级优化对比
90 0

热门文章

最新文章

下一篇
无影云桌面