AI 助理
备案控制台

Spark

首页 标签 Spark
# Spark #
关注
9112内容
最新 热门 文章 问答 课程
黯灭_邓彬
|
博文
|
来自： 大数据与机器学习
Spark DataFrame 的 groupBy vs groupByKey
# 开源大数据平台 E-MapReduce # SQL # 分布式计算 # Spark # C++
yq传送门
|
博文
达摩院2020十大科技趋势发布：科技浪潮新十年序幕开启 | 1月2号云栖号夜读
# 日志服务 # 函数计算 # 运维 # 达摩院 # 分布式计算 # 监控 # Serverless # 区块链 # 开发工具 # 云计算 # 流计算 # Spark
雨客
|
博文
Spark SQL中的数据源
# 云原生数据库 PolarDB # SQL # 分布式计算 # Java # Spark # 数据格式
云栖号资讯小哥
|
博文
什么是数据中台？跟数据仓库、数据平台有什么区别？
2019年，数据中台是一个很火的名词，基本上遇到的互联网公司都说自己在搞中台。但是什么是中台？到现在我也没有看到一个十分满意的答案。
# 云原生数据仓库 AnalyticDB PostgreSQL版 # 云原生大数据计算服务 MaxCompute # 存储 # 分布式计算 # 数据可视化 # 大数据 # 数据挖掘 # Hadoop # 数据管理 # 云栖大会 # 开发工具 # Spark
六翁
|
博文
《Spark机器学习》读书笔记总结
![](https://img3.doubanio.com/lpic/s28323081.jpg) [Spark机器学习](http://book.douban.com/subject/26593179/) [《Machine Learning with Spark》书评与作者访谈](
# 机器学习/深度学习 # 分布式计算 # 算法 # Spark
祝威廉
|
博文
Spark 如何写入HBase/Redis/MySQL/Kafka
这篇文章是给Spark初学者写的，老手就不要看了。文章谈及如何和HBase/Redis/MySQL/Kafka等进行交互的方法，主要是为了让大家明白其内部机制。
# 云数据库 RDS MySQL 版 # 云数据库 Tair（兼容 Redis） # 云数据库HBase版 # 云消息队列 Kafka 版 # NoSQL # 关系型数据库 # MySQL # 分布式数据库 # Hbase # 分布式计算 # Spark # 消息中间件 # Kafka # Redis
许鹏
|
博文
Apache Spark源码走读（七）Standalone部署方式分析&sql的解析与执行
本文分享在Standalone上部署方式分析以及sql的解析与执行 。
# 微服务引擎 # 云解析DNS # SQL # 分布式计算 # Java # Scala # Spark
技术小能手
|
博文
基于Hadoop生态系统的一种高性能数据存储格式CarbonData（性能篇）
CarbonData在数据查询的性能表现比Parquet好很多，在写一次读多次的场景下非常适合使用；社区比较活跃，响应也很及时。目前官网发布版本1.3.0与最新的spark稳定版Spark2.2.1集成，增加了支持标准的Hive分区，支持流数据准实时入库等新特性，相信会有越来越多的项目会使用到。
# 存储 # 分布式计算 # Linux # 测试技术 # 索引 # Hadoop # SQL # HIVE # 文件存储 # Spark
祝威廉
|
博文
如何做Spark 版本兼容
我们知道Spark2.0 ，Spark 1.6还有Spark 1.5 三者之间版本是不兼容的，尤其是一些内部API变化比较大。如果你的系统使用了不少底层的API,那么这篇文章或许对你有帮助。我们介绍的兼容相关一些技巧，主要包括动态编译以及反射等方式，也用到了Scala的一些语言特性。
# 分布式计算 # API # Spark # 机器学习/深度学习 # Scala # C++ # Java # 编译器 # Shell # Maven
技术小哥哥
|
博文
使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码（博主强烈推荐）
# 分布式计算 # 大数据 # Java # Spark # Python
免费试用