AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用Spark解锁设备数据的价值

2017-02-20 1614
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自John Landry在Spark Summit East 2017上的演讲，主要介绍了在惠普公司这样的大企业内部的数据分析的历程，在讲义中审查并挑战了惠普当时对于以Spark和Databricks最基础进入数据分析领域的决定，并分享了惠普如何使用从设备中获取的数据进行分析。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自John Landry在Spark Summit East 2017上的演讲，主要介绍了在惠普公司这样的大企业内部的数据分析的历程，在讲义中审查并挑战了惠普当时对于以Spark和Databricks最基础进入数据分析领域的决定，并分享了惠普如何使用从设备中获取的数据进行分析。


cafa061a194fc8ccc171c59ddbf67877d09acdb2

df8a2a21f18bc36325b1a12c554f058e5e3be268

dcc818ca5b014f695ad4eab7183b781a59c079db

d9d4236118bb73b736ef18fb6a4fc78e13c08a0d

e7a59b62a4d059168cc470bb077cceb725e4627a

0eb4667e1dd97789fb08dc4e83cb7327afbf5a0a

2a0ecd75b07a78fc29e516f2ff6cd8b1066fd180


15d2e5799b2a734aa37d3378e6b8a81a52605a97

b8d02bfdb51f3e691a9ed92d03ed2a98d83e95ee

1b24b34e6a4301e851213628cbc957436467f433

f23f37ffabce1ae613bc426d5fe9c9a8600b5f1e

152d52cd62847530a40b67a2b4fc11be4394ba39

660f5e9916741caa506485930fbb61aa476b82b4

c56a5a67266b5c1198b95a639a31702699f8ada5

文章标签：
大数据
分布式计算
Spark
数据挖掘
MaxCompute
关键词：
apache spark数据
apache spark east数据
apache spark设备
apache spark价值
apache spark summit数据
小猫吃鱼569
目录
相关文章
wljslmz
|
1月前
|
存储 分布式计算 Java
解释 Spark 与数据序列化格式的互操作性
【8月更文挑战第13天】
wljslmz
41 4
wljslmz
|
1月前
|
分布式计算 监控 大数据
如何处理 Spark 中的倾斜数据？
【8月更文挑战第13天】
wljslmz
177 4
wljslmz
|
1月前
|
存储 缓存 分布式计算
如何在 Spark 中持久保存数据，有哪些不同的存储级别可用？
【8月更文挑战第13天】
wljslmz
82 4
wljslmz
|
1月前
|
SQL 存储 分布式计算
如何使用 Spark SQL 从 DataFrame 查询数据？
【8月更文挑战第13天】
wljslmz
34 4
呆呆宝
|
1月前
|
分布式计算 Apache 数据安全/隐私保护
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
呆呆宝
38 1
三分钟热度的鱼
|
2月前
|
分布式计算 数据处理 流计算
实时计算 Flink版产品使用问题之使用Spark ThriftServer查询同步到Hudi的数据时，如何实时查看数据变化
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
38 1
冲冲冲c
|
3月前
|
弹性计算 分布式计算 DataWorks
DataWorks产品使用合集之spark任务如何跨空间取表数据
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
冲冲冲c
27 1
张飞的猪
|
2月前
|
机器学习/深度学习 分布式计算 算法
Spark快速大数据分析PDF下载读书分享推荐
《Spark快速大数据分析》适合初学者，聚焦Spark实用技巧，同时深入核心概念。作者团队来自Databricks，书中详述Spark 3.0新特性，结合机器学习展示大数据分析。Spark是大数据分析的首选工具，本书助你驾驭这一利器。[PDF下载链接][1]。 ![Spark Book Cover][2] [1]: https://zhangfeidezhu.com/?p=345 [2]: https://i-blog.csdnimg.cn/direct/6b851489ad1944548602766ea9d62136.png#pic_center
张飞的猪
112 1
Spark快速大数据分析PDF下载读书分享推荐
土木林森
|
1月前
|
分布式计算 资源调度 大数据
【决战大数据之巅】：Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决！
【8月更文挑战第7天】随着大数据需求的增长，Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务，易于设置，适用于小规模或独立部署；而 YARN 作为 Hadoop 的资源管理系统，支持资源的统一管理和调度，更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
土木林森
139 3
vohelon
|
19天前
|
机器学习/深度学习 分布式计算 大数据
Spark 适合解决多种类型的大数据处理问题
【9月更文挑战第1天】Spark 适合解决多种类型的大数据处理问题
vohelon
31 3

热门文章

最新文章

  • 1
    Spark-理解RDD
  • 2
    Spark Core概念学习系列之Spark Core（十四）
  • 3
    附录A Spark2.1核心工具类Utils
  • 4
    Spark-ML-01-小试spark分析离线商品信息
  • 5
    spark集群配置
  • 6
    Spark shuffle详细过程
  • 7
    Spark-神奇的共享变量
  • 8
    跟我一起数据挖掘（22）——spark入门
  • 9
    重磅解读：基于Occlum和BigDL构建端到端的安全分布式Spark大数据分析方案
  • 10
    [Spark][Python]Spark Python 索引页
  • 1
    如何解决Spark在深度学习中的资源消耗问题？
    66
  • 2
    Spark在深度学习中的优缺点是什么？
    138
  • 3
    使用Spark进行机器学习
    47
  • 4
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    89
  • 5
    【Spark】Spark基础教程知识点
    52
  • 6
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    107
  • 7
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    130
  • 8
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    52
  • 9
    数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
    580
  • 10
    [AIGC大数据基础] Spark 入门
    282

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    基于LNMP搭建WordPress