阿里数加大数据平台发布,将培养5万大数据科学家

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

1月20日,阿里云栖大会在上海召开,宣布了阿里大数据平台与大合作战略。

“数加”平台,让大数据能力淘宝化

阿里云大数据事业部资深总监徐常亮宣布一站式大数据平台“数加”正式发布。未来3年,阿里数加平台将培养出1000家合作伙伴,1000位首席数据官,50000名大数据科学家。

徐常亮谈到,2016年将是大数据创业创新元年,“阿里数加”用户登录data.aliyun.com,即可享用阿里云十年努力、经过双十一连续7年严刑拷打而锤炼出来的大数据能力。从百川入海的数据采集,原力觉醒的计算引擎,完美厨房的数据加工,各显神通的行业应用等等,阿里希望让企业可以从容转型,让人人都能轻松玩转大数据。

按照阿里云技术业务总经理刘松的说法,这就是软件的淘宝化。未来,所有中小企业都在云端,所有成功企业都是基于数据驱动。阿里云计划用3年时间吸引1000家合作伙伴入驻,像在淘宝开店一样,售卖自己的专业能力,共同分享1万亿的大数据蛋糕。而未来在数据和安全领域一定会成长出大公司。

阿里巴巴集团CTO王坚谈到,数据计算对人类的价值,堪比火与熟食、电与光明。人类通过雷达、望远镜、显微镜认知世界,通过计算看数据,这是一个美好的时代。数据是土壤,云使人人平等,人人可以创业,所有人都有机会向当年小岗村一样利用数据进行改变商业模式的探索。

在此次云栖大会上,阿里与中国气象局、九州云、nVIDIA、润和软件、优客工场签署了战略合作。

郡县图治,一图掌控经济发展脉搏

阿里云大数据平台“数加”中,有一款针对中国县域经济的数据应用产品,能让每个县域的管理者实时的了解区域的经济态势、产业特点、内需消费等关键数据的走势,为政府决策提供支持,堪称师爷。

这款命名为“郡县图治”的产品,使用了阿里云DataV数据可视化技术做支撑,将为3000余个县域政府定制可视化经济云图。今后,县域经济的决策者办公室里,可能将出现这样一块大屏,上面的每一个数字的跳动都实时反映着当地县域经济的发展态势,县长们也不用再从厚厚的定期报表中探寻经济发展的脉搏。

而开发这样一款”酷炫“的大屏只用一周的时间,无需进行任何的编程,只需进行简单的部署、参数设置、数据连接,便可让枯燥的统计数据直观的呈现出来,帮助县域经济决策者们快速发现问题作出决断。

“实时数据分析和预测才是数据技术的魅力所在。”徐常亮表示,阿里云大数据平台数加将为各类机构和企业带来全新的决策依据,实时知晓自己面对的挑战,并基于数据预测来判断下一步该往哪走。

不久前,阿里云公布了一项与浙江省交通厅的合作,浙江省交通厅利用阿里云的大数据平台来预测高速公路未来5到60分钟的车速情况,预测准确率稳定在91%以上。基于高速车速预测,以便交通部门更好的进行交通引导,公众也可以做出更优的路线选择。

20款产品,囊括前、中、后台大数据一站式开发

此次,“数加”平台首批集中发布了20款产品,覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。“这些技术至少领先业界三年”,徐常亮说。

大数据计算服务(MaxCompute)、分析型数据库(Analytic DB)、流计算(StreamCompute)共同组成了底层强大的计算引擎,速度更快,成本更低。经测算,自建Hadoop集群的成本是数加的1.5倍,国外计算厂商AWS 的EMR成本更是数加的5倍。

计算引擎之上,“数加”提供了最丰富的云端数据开发套件,包括数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。

在数据分析方面,通过移动数据分析(Mobile Analytics)产品,开发者可快速搭建日志采集、分析系统;通过数加BI报表产品,3分钟即可完成海量数据的分析报告;通过数据可视化产品DataV,一星期就能做出双11同款大屏。

对于时下大热的机器学习,“数加”发布的机器学习工具,可基于海量数据实现对用户行为、行业走势、天气、交通等的预测。图形化编程让用户无需编码、只需用鼠标拖拽标准化组件即可完成开发。产品还集成了阿里巴巴核心算法库,包括特征工程、大规模机器学习、深度学习等。

为了能够帮助开发者更快捷在应用中集成大数据功能,“数加”同时提供了规则引擎、推荐引擎、文字识别、智能语音交互等数据应用产品。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
102 1
|
4月前
|
分布式计算 搜索推荐 物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
|
4月前
|
人工智能 分布式计算 架构师
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
|
4月前
|
机器学习/深度学习 搜索推荐 算法
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
|
4月前
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
|
4月前
|
SQL 存储 分布式计算
MaxCompute 入门:大数据处理的第一步
【8月更文第31天】在当今数字化转型的时代,企业和组织每天都在产生大量的数据。有效地管理和分析这些数据变得至关重要。阿里云的 MaxCompute(原名 ODPS)是一个用于处理海量数据的大规模分布式计算服务。它提供了强大的存储能力以及丰富的数据处理功能,让开发者能够快速构建数据仓库、实时报表系统、数据挖掘等应用。本文将介绍 MaxCompute 的基本概念、架构,并演示如何开始使用这一大数据处理平台。
605 0
|
4月前
|
SQL 分布式计算 大数据
"大数据计算难题揭秘:MaxCompute中hash join内存超限,究竟该如何破解?"
【8月更文挑战第20天】在大数据处理领域,阿里云的MaxCompute以高效稳定著称,但复杂的hash join操作常导致内存超限。本文通过一个实例解析此问题:数据分析师小王需对两个共计300GB的大表进行join,却遭遇内存不足。经分析发现,单个mapper任务内存默认为2GB,不足以支持大型hash表的构建。为此,提出三种解决方案:1) 提升mapper任务内存;2) 利用map join优化小表连接;3) 实施分而治之策略,将大表分割后逐一处理再合并结果。这些方法有助于提升大数据处理效率及稳定性。
89 0
|
4月前
|
SQL 分布式计算 大数据
"揭秘MaxCompute大数据秘术:如何用切片技术在数据海洋中精准打捞?"
【8月更文挑战第20天】在大数据领域,MaxCompute(曾名ODPS)作为阿里集团自主研发的服务,提供强大、可靠且易用的大数据处理平台。数据切片是其提升处理效率的关键技术之一,它通过将数据集分割为小块来优化处理流程。使用MaxCompute进行切片可显著提高查询性能、支持并行处理、简化数据管理并增强灵活性。例如,可通过SQL按时间或其他维度对数据进行切片。此外,MaxCompute还支持高级切片技术如分区表和分桶表等,进一步加速数据处理速度。掌握这些技术有助于高效应对大数据挑战。
119 0
|
6月前
|
存储 分布式计算 专有云
MaxCompute产品使用问题之阿里公有云的数据如何迁移到阿里专有云
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
65 10
|
5月前
|
数据采集 存储 数据可视化
数加产品家族图解:一站式大数据处理与分析解决方案
数加产品家族作为阿里云一站式大数据处理与分析解决方案的重要组成部分,以其全面的功能和强大的性能,为企业提供了从数据采集、存储、处理到分析的全链路解决方案。通过图解的形式,我们深入解析了数加产品家族的各个组成部分和优势特点,展现了其在大数据处理与分析领域的独特魅力。未来,随着大数据技术的不断发展和应用场景的不断拓展,数加产品家族将继续发挥其重要作用,为企业