云计算时代 企业要如何迎接大数据?

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
密钥管理服务KMS,1000个密钥,100个凭据,1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

本文讲的是云计算时代 企业要如何迎接大数据,随着云计算的落地,“大数据”已成为业界讨论最广泛的关键词之一,很多企业已经在寻找合适的BI工具来处理不同来源收集到的大数据,但尽管大家对于大数据的意识在提高,但只有少部分的企业如谷歌和Facebook这样的企业才能够真正利用大数据挖掘企业商业价值。

  其实随着大数据时代的来临,企业对于大数据的理解不应仅限于对Apache Hadoop这样的基础技术的了解,企业应该要从基础设施角度来了解和保护企业拥有的大数据。因为在未来3到5年,我们将会看到那些真正理解大数据并能利用大数据进行价值挖掘的企业和不懂得大数据价值挖掘企业之间的差距,真正能够利用好大数据的企业必然具备强劲有力的竞争优势,从而成为行业的大佬。

  事实上,目前很多企业都已经开始关注大数据,厂商也开始大肆介绍自己的大数据产品,相关会议持续不断,这也让我们看到大数据知识普及的成功,但这只是从思想工作角度来看的,当我们寻找那些真正能挖掘大数据商业价值的企业时,几乎寥寥无几,所以就目前来看,大数据价值的挖掘还只是处于初级阶段。

  未来真正能够在大数据中挖到第一桶金的必然是像Facebook和Google这样的企业,他们在数据管理和数据开采方面具备先天的优势,所以有理由相信他们将会引领这个大数据时代。除了他们,其他要想在大数据时代引领前端的企业必定是那些行业里的领导者,因为他们有提早布局以此建立行业标准的野心。

  大数据的角色

  大数据在IT领域到底扮演着什么样的角色呢?举个例子来说说这个问题吧。例如,制药企业如果想要进入制药行业的100强,那么他就必须要抓取上百万个相关网页的数据,然后进行分析、擦除无用信息最后才能找到有价值的信息。对于一个汽车制造商来说,它需要实时手机那些驾驶在道路上的汽车的信息。

  尽管企业已经意识到大数据的机制,但却不知道如何才能从中挖掘到商业价值。大数据就像是一个深入大海底部的大鱼网,有的金枪鱼、大白鲨等精品,但同时也有虾米、贝壳等价值低的便宜货。而我们的企业是大小通吃的,这样庞大的数据如何挖掘价值也就成为了一个头疼的难题。

  大数据里的语义数据模型

  大数据的数据很大一部分属于非结构化数据,包括语音、视频、图片、文档、论坛、网页等,如何才能轻松的操作这些数据呢?建立一个语义数据层是一个很不错的方法,你可以从中提取可用数据在数据库之上建立一个数据语义模型层,以此来帮助你理解地下所有的信息。

  从不同来源收集到数据之后,企业要将其放置在一起,然后开始分析、处理这些数据。传统的做法是建立一个数据仓库,将这些收集到的数据提取到建立好的数据仓库中并生成报告。但这是一个相当耗时的过程,而且还无法灵活进行,每次你要做修改,都必须要回到数据仓库去做修改,相当的头疼。

  大数据的数据容量是如此庞大,我们需要处理一大堆相关信息,这些信息来源都不同。不同的人对同一个东西的描述也都不一样,语义技术就能够帮助判断出这些叫法是否讲的是同一个事物。例如,有人会叫IBM为“IBM”,有人则称其为“International Business Machines”,其实说的都是一个公司,其实计算机是很笨的,只有通过这个语义数据模型层就能进行很好的判断。

  大数据里的风险管理

  在数据管理的时候,将所有数据放在一个地方是有很大的风险的,为了数据的安全,数据应该存储不同的地方。如数值数据可以存储在数据库里,非结构化的数据则可以存储在文档或者表格里。我们看到,增加了这些不同来源的风险信息的语义描述,意味着我们可以迅速了解综合风险状况。

  通过语义数据模型一个最大的好处就是,在进行修改时,无需回到数据最底层进行修改,去重写遗留系统和数据库语义。因为这个语义数据模型是在数据之上的,它的破坏性远小于其他的技术,只要我们为一个来源的数据提供一个语义定义,我们就可以直接应用到其他来源的数据之上。

  其实这个技术并不是为程序员或是数据库管理人员设计的,而是为业务人员设计。业务人员他需要明白这些数据对他而言是何意义,他看不懂最底层的数据表格,他希望能够直观的看到一段时间内销售量与其他因素的关系,而这些只有通过我们的语义数据模型层才能做到。近几年,IT部门与业务部门的界限其实开始渐渐模糊,业务部门能够更好的明确自己的需求,而IT部门也能更好的满足业务部门的需求,虽然还没达到最佳的状态,但已经超着这个方向在努力了。

  大数据的安全问题

  对于收集到的数据的访问需求,也以为这企业需要保证这些数据的安全性。

  很多企业在数据安全方面犯的最大错误就是做完架构、设计、开发等所有工作之后,才开始考虑安全问题,这是非常大的错误。所以实数据安全性应该从开始之初就要考虑安全架构问题。

  安全架构的搭建只是一个方面,为了保证数据的安全,建议企业将数据切片进行存储。因为这样能够做到更精确的控制。其实每一块的数据都是企业的资产,在这里可以设置公司员工对于这个数据资产的权限,如查看、修改、删除等权限。当然还要对这些数据进行加密,这样一来,就算有人侵入数据库盗用了这个部分的数据,我们还是比较安全的,因为无上下文的数据对于窃取者来说并无多大意义,因为大数据的价值密度很低。

  在这里不得不提到“'toxic data”,这个词是Forrester提出的,主要指的是企业手中“毒数据”。举个例子解释一下,大家可以想象一下无线公司收集到的数据,其中包括登录到信号塔的用户信息,用户在线时间、用户使用的数据,他们的地理位置是否移动等,企业通过这些数据可以进行用户行为分析,但与此同时,公司还能收集到用户的信用卡密码、社交网站的密码、购买习惯等用户私人信息。

  这些数据应该说是具有相当大的价值,为何又称为“毒数据”呢?因为一旦这些数据流出落入非法份子手上,势必对企业和个人造成巨大的损失。

  世界是很公平的,收入与风险是成正比。但为了降低风险,这时对数据的加密就变得尤为的关键。

  谈到大数据,最基本的做法是使用透明数据加密法——那就是对所有捕获到的数据都进行加密。这样能保证企业的所有数据都是经过加密的。过去,考虑到成本问题,很多企业都不愿意这么做,但现在有很多开源的加密方法可供企业进行选择。

原文发布时间为:2012-04-06

本文作者:     刘亚琼 

本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
22天前
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
22天前
|
存储 弹性计算 分布式计算
云计算在大数据处理中的优势与挑战
云计算在大数据处理中的优势与挑战
|
1月前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
84 2
|
1月前
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征,又能在不同层面上相互融合,共同推动信息技术的发展和应用。
333 0
|
2月前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
45 3
|
22天前
|
运维 云计算 数据安全/隐私保护
云计算:重塑企业数字化转型之
云计算:重塑企业数字化转型之
31 0
|
1月前
|
存储 负载均衡 云计算
云计算的实践:如何在企业中实现云计算转型
本文介绍了云计算的基本概念、优势及其在企业中的应用。云计算通过互联网提供计算资源,具有高灵活性和扩展性,帮助企业降低成本、提高效率。文章详细讨论了云计算转型的核心概念、实践方法和挑战,包括数据中心迁移、应用程序迁移、数据迁移和系统集成。此外,还提供了负载均衡、数据存储和处理、安全性的代码实例,并展望了云计算的未来发展趋势和面临的挑战。
38 0
|
2月前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
55 0
|
9天前
|
存储 监控 安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
本文将探讨云计算与网络安全之间的关系,以及它们在云服务、网络安全和信息安全等技术领域中的融合与挑战。我们将分析云计算的优势和风险,以及如何通过网络安全措施来保护数据和应用程序。我们还将讨论如何确保云服务的可用性和可靠性,以及如何处理网络攻击和数据泄露等问题。最后,我们将提供一些关于如何在云计算环境中实现网络安全的建议和最佳实践。
|
18天前
|
监控 安全 网络安全
云计算环境下的网络安全防护策略
在云计算的浪潮下,企业和个人用户纷纷将数据和服务迁移到云端。这种转变带来了便利和效率的提升,同时也引入了新的安全挑战。本文将探讨云计算环境中网络安全的关键问题,并介绍一些实用的防护策略,帮助读者构建更为安全的云环境。