Spark的搜索结果_热门_第4页-阿里云开发者社区

知与谁同

|

博文

数据专家必知必会的 7 款 Python 工具

# 分布式计算 # 数据挖掘 # Shell # Spark # Python # Hadoop # 机器学习/深度学习 # 并行计算 # Unix # 数据可视化

2020Labs

|

博文

大数据平台架构设计探究

本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。

# 云原生大数据计算服务 MaxCompute # 实时计算 Flink版 # 数据采集 # SQL # 机器学习/深度学习 # 分布式计算 # IDE # 大数据 # 数据管理 # 开发工具 # 流计算 # Spark

阿里云E-MapReduce团队

|

博文

|

来自：大数据与机器学习

Spark Operator浅析

Spark Operator浅析本文介绍Spark Operator的设计和实现相关的内容. Spark运行时架构经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.

# 开源大数据平台 E-MapReduce # 容器服务Kubernetes版 # 资源管理 # 可观测监控 Prometheus 版 # 分布式计算 # Spark # 容器 # Kubernetes # Perl

六翁

|

博文

《Spark机器学习》读书笔记总结

![](https://img3.doubanio.com/lpic/s28323081.jpg) [Spark机器学习](http://book.douban.com/subject/26593179/) [《Machine Learning with Spark》书评与作者访谈](

# 机器学习/深度学习 # 分布式计算 # 算法 # Spark

祝威廉

|

博文

Spark 2.0 Structured Streaming 分析

Spark 2.0 将流式计算也统一到DataFrame里去了，提出了Structured Streaming的概念，将数据源映射为一张无线长度的表，同时将流式计算的结果映射为另外一张表，完全以结构化的方式去操作流式数据，复用了其对象的Catalyst引擎。

# 分布式计算 # API # 流计算 # Spark # NoSQL # Redis # 数据格式 # JSON # 数据库 # 数据处理

调皮仔3683

|

博文

单表千亿电信大数据场景，使用Spark+CarbonData替换Impala案例

使用Spark+CarbonData替换Impala案例

# 云原生大数据计算服务 MaxCompute # SQL # 存储 # 分布式计算 # 大数据 # Hadoop # Spark # HIVE # 数据处理 # 资源调度 # 数据库

周志湖

|

博文

SparkSQL（Spark-1.4.0)实战系列（一）——DataFrames基础

主要内容本教程中所有例子跑在Spark-1.4.0集群上 DataFrames简介 DataFrame基本操作实战 DataFrames简介本文部分内容译自https://databricks.com/blog/2015/02/17/introducing-dataframes-in-spark-for-large-scale-data-science.html

# SQL # 分布式计算 # API # Spark

技术小能手

|

博文

一文理清Apache Spark内存管理脉络

# 存储 # 分布式计算 # Java # Apache # Spark

祝威廉

|

博文

StreamingPro 再次支持 Structured Streaming

之前已经写过一篇文章，StreamingPro 支持Spark Structured Streaming，不过当时只是玩票性质的，因为对Spark 2.0+ 版本其实也只是尝试性质的,重点还是放在了spark 1.6 系列的。

# 实时计算 Flink版 # 分布式计算 # Scala # Spark # 流计算 # 数据格式 # JSON # SQL

小猫吃鱼569

|

博文

|

来自：物联网

【Spark Summit East 2017】物联网与自动驾驶汽车：使用Kafka与Spark Streaming进行同步定位和映射

本讲义出自Jay White Bear在Spark Summit East 2017上的演讲，主要介绍了在机器人和自主车辆领域公认的具有工业和研究价值的问题——同步定位和映射(SLAM)问题，演讲中分享了依靠Kafka和Spark Streaming构成的新集成框架，并使用在线算法实时地进行导航并且绘制空间地图来解决SLAM问题，并分享了在实现中面临的挑战以及为改善性能提出的优化建议。

# 云消息队列 Kafka 版 # 物联网平台 # 分布式计算 # 算法 # 物联网 # Spark # 定位技术 # 流计算 # 消息中间件 # Kafka # MaxCompute # 自动驾驶