大凯哥说大数据(系列一):没有云计算就没有大数据

简介: 今天给大家带来的是大凯哥说大数据系列—没有云计算就没有大数据,告诉大家怎么利用云计算最高效的发掘数据的价值。

本文作者:肖凯,驻云科技COO,联合创始人,前IBM资深架构师,前EMC资深架构师。负责驻云云计算架构和运维团队,面向企业提供云计算咨询与运维服务,拥有超过10年的系统开发、架构设计、企业级技术咨询的经验。


以下正文


最近很多人跟我聊大数据,有客户,有朋友,还有应聘者。聊得越多却越怕谈大数据,为什么呢?比如有人跟我说他在做基因数据的大数据分析,我听到眼睛一亮,因为十几年前读书的时候做过一些基因序列分析方面的事情,知道这个很有价值但由于当时分析手段很落后也只得作罢,于是我赶紧问,你怎么分析?他说我把几千个人的基因数据片段拆分为多个维度,根据病例基因样本,放到Excel里XXXXX......


我顿时一口鲜血,#@%^#&^@#*......


这个例子虽然有些夸张,不过确实也能反应现在跟别人聊大数据时的困惑,做报表的说我做大数据分析,做工具的也说我做大数据分析。

那到底什么是大数据分析呢?


大数据分析应该至少具备三个特征:1. 客观  2. 实时 3. 多维


什么是客观? 比如我们要分析一群人当中哪些可能有抑郁或自杀倾向, 使用调查问卷是过去常见的手段,但调查问卷看起来是客观的,实际上却颇有偏颇。因为人在做问卷的时候本身就会根据问题本身进行一些主观倾向性的回答,并不一定是客观的。那么什么是客观的呢?这个人的日常行为、作息时间、朋友关系等,这些都是客观的数据。只有通过客观数据得到的结果才是准确的。如果数据不是客观数据,分析手段就算再先进,结果也不会太准确。


什么是实时?数据是有价值的,但是数据在不同时间段价值差别就非常大了,过了黄金时间段,数据就成垃圾。比如警察叔叔在抓捕逃犯时的交通监控数据,会随着时间的推移价值越来越低。再比如我们春晚时参与抢红包互动的用户访问情况和分布数据,过了那几个小时,业务上所期望带来的广告价值就成为0了。


什么是多维?事物有多个维度,比如我们要分析一个人的征信情况来判断借款给这个人的风险是多少?只是收集他的收入情况、公司、学历、历史银行还款记录等基本信息是不够的。实际上一个人除了这些数据维度,还有更广阔的维度,比如他的消费习惯、购物情况、朋友数量和分布、所在公司的状况等等。所以数据一定要有足够多的维度分析才更精确,更有价值。

说完这些可能有同学就会问了,你说的这几点在人类历史中,计算机出现以来都一直存在啊,为什么10年前没有大数据分析,最近几年大数据分析才热门起来呢?

没错,其实数据一直都在人类社会活动中不停地产生,大数据一直都存在,那么为什么今天我们才发现大数据的价值呢?有人问数据到底有没有价值?答案一定是有的,但是挖掘数据价值的投入产出比就不好说了。因为可能分析数据要100元,但是产生的结果价值也许只有50元。


这就是为什么以前人们上网、购物、玩游戏,产生的数据也很多,但是大部分的数据都没有产生价值,因为以前开采数据价值的代价太高了。进行数据分析的前提一定是要有低廉的存储成本和大规模的计算资源,以及高效的技术手段。这样才能通过20元的投入来获得50元的数据价值。


传统的IT手段解决不了这些问题,所以以前有大数据,但是并没有大数据分析,也很少有人从海量数据中得到太多的价值。其实数据的价值就像页岩油,一直都在那里,也是有价值的,但是当技术手段不成熟时,页岩油就是没有价值。直到“ 水平井与压裂技术 ”的出现和完善,使得开采页岩气的效率和成本大幅下降,造就了目前的页岩气能源革命,也引起了石油价格大幅下跌。云计算就相当于是页岩气革命中的“水平井与压裂技术”。因为云计算技术的出现帮助我们解决了海量存储和大规模计算的问题,这才有了大数据分析。


在传统IT架构下,很多的日志、用户行为记录、交易过程信息,要么是根本没有记录,要么就是因为无法有效产生价值而把这些数据都丢弃掉了。往往一个企业的交易相关数据量也就是几百GB到几个TB而已(视频和图片除外)

所以一个企业连数据都没有多少,怎么做大数据分析?

那么要想通过大数据分析来产生业务价值,第一步要做的是什么呢?其实不是去想怎么分析,而是先规划好数据的收集,只有先存储了足够多的数据,数据的价值才能够从量变到质变,从而为业务带来价值。就比如现在很多互联网公司收集用户行为以及交易状态数据,然后通过实时或者准实时的分析,再迅速调整业务策略来提高商品销量。


所以如果希望通过大数据的分析手段来获取数据价值,首先要解决海量数据的存储问题以及必须具备大规模计算的能力,有了这两个武器,数据的价值才能够高效的发掘。


好啦~本文到这里就结束了,同时,如果喜欢我们的话就赶紧订阅我们吧~~~每天定时推送新鲜干货~~~也可以关注我们的微信公众号:架构云专家频道 每天同步更新哟~~~

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
9月前
|
存储 弹性计算 分布式计算
云端智链:挖掘云计算中的大数据潜能
云端智链:挖掘云计算中的大数据潜能
241 21
|
9月前
|
安全 大数据 虚拟化
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显。作为Windows Server的核心组件,Hyper-V具备卓越的技术性能,支持高可用性、动态迁移等功能,确保虚拟机稳定高效运行。它与Windows深度集成,管理便捷,支持远程管理和自动化部署,降低管理成本。内置防火墙、RBAC等安全功能,提供全方位安全保障。作为内置组件,Hyper-V无需额外购买软件,降低成本。其广泛的生态系统支持和持续增长的市场需求,使其成为企业虚拟化解决方案的首选。
|
10月前
|
人工智能 大数据
阿里云云计算ACA、大数据ACA、人工智能ACA三门认证升级调整公告
阿里云云计算ACA、大数据ACA、人工智能ACA三门认证升级调整公告
|
10月前
|
存储 分布式计算 大数据
大数据与云计算:无缝结合,开启数据新纪元
大数据与云计算:无缝结合,开启数据新纪元
724 11
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
存储 弹性计算 分布式计算
云计算在大数据处理中的优势与挑战
云计算在大数据处理中的优势与挑战
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征,又能在不同层面上相互融合,共同推动信息技术的发展和应用。
3484 0
|
3月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
302 14
|
5月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
209 4
|
4月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
181 0