AI 助理
备案控制台

Spark

首页 标签 Spark
# Spark #
关注
9112内容
最新 热门 文章 问答 课程
隐林
|
博文
|
来自： 大数据与机器学习
仁人帮探索大数据技术
前两期小帮为大家介绍了仁人帮的大数据定义与大数据在仁人帮后台的应用。今天也不跟大家卖关子了，接下来，小帮为大家奉上的是大数据平台技术的探索。 大数据技术，小帮认为可以分成两个大的层面，大数据平台技术与大数据应用技术。
# 云原生大数据计算服务 MaxCompute # 云原生数据库 PolarDB # 云原生数据仓库 AnalyticDB PostgreSQL版 # 云原生数据仓库AnalyticDB MySQL版 # 存储 # 分布式计算 # 大数据 # 数据库 # 流计算 # Hadoop # Spark # 关系型数据库 # SQL # MaxCompute
技术小能手
|
博文
三分钟构建高性能WebSocket服务 | 超优雅的Springboot整合Netty方案
# Web App开发 # Java # 应用服务中间件 # Spring # 流计算 # Apache # 容器 # 分布式计算 # Spark # NoSQL
雨客
|
博文
spark-shell脚本分析
# 分布式计算 # Java # Shell # Scala # Spark
明惠
|
博文
|
来自： 数据库
Apache Spark Delta Lake 写数据使用及实现原理代码解析
Apache Spark Delta Lake 写数据使用及实现原理代码解析 Delta Lake 写数据是其最基本的功能，而且其使用和现有的 Spark 写 Parquet 文件基本一致，在介绍 Delta Lake 实现原理之前先来看看如何使用它，具体使用如下： df.
# 日志服务 # 云解析DNS # 分布式计算 # Spark # 缓存 # Apache
thinktothings
|
博文
Spark HadoopRDD读取HDFS文件
- 源码分析Spark HadoopRDD是如何读取HDFS上的文件 - 分析HadoopRDD预分区的计算方式，非首个分区的开始位置计算 - 来三种情况分析，不同情部下HadoopRDD的分区计算方式
# 编解码 # 分布式计算 # Hadoop # Spark # 索引 # 网络架构 # Linux
祝威廉
|
博文
Bug剖析篇-"Facebook 60TB+级的Apache Spark应用案例"
Facebook 60TB+级的Apache Spark应用案例 里大体有两方面的PR，一个是Bug Fix，一个是性能优化。这篇文章会对所有提及的Bug Issue进行一次解释和说明。也请期待下一篇。
# 分布式计算 # Java # Apache # Spark
qiaozhou
|
博文
使用EMR来进行mysqlbinlog日志准实时传输
如何利用阿里云的sls插件功能和emr来进行mysql binlog的准实时传输
# 云数据库 RDS MySQL 版 # 日志服务 # 对象存储 # 关系型数据库 # 数据库 # 分布式计算 # 对象存储 # Spark # MySQL # Java # RDS # canal # Hadoop
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望
阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。
# 开源大数据平台 E-MapReduce # 容器服务Kubernetes版 # GPU云服务器 # 云原生大数据计算服务 MaxCompute # 对象存储 # 机器学习/深度学习 # 存储 # 分布式计算 # Apache # Spark
云hbase+spark
|
博文
|
来自： 数据库
广告点击数实时统计：Spark StructuredStreaming + Redis Streams
实时统计广告点击数：Spark StructuredStreaming + Redis Stream 业务场景介绍 某广告公司在网页上投递动态图片广告，广告的展现形式是根据热点图片动态生成的。为了收入的最大化，需要统计每个广告的点击数来决定哪些广告可以投放的更长时间，哪些需要及时更换。
# 云数据库 Tair（兼容 Redis） # 分布式计算 # NoSQL # 数据处理 # Redis # Spark # 存储
祝威廉
|
博文
StreamingPro使用教程
StreamingPro使用教程
# 分布式计算 # Spark # 索引 # SQL
免费试用