【赵渝强老师】大数据生态圈中的组件
本文介绍了大数据体系架构中的主要组件，包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka；计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream；分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。
【赵渝强老师】Spark中的RDD
RDD（弹性分布式数据集）是Spark的核心数据模型，支持分布式并行计算。RDD由分区组成，每个分区由Spark Worker节点处理，具备自动容错、位置感知调度和缓存机制等特性。通过创建RDD，可以指定分区数量，并实现计算函数、依赖关系、分区器和优先位置列表等功能。视频讲解和示例代码进一步详细介绍了RDD的组成和特性。
【赵渝强老师】Spark Streaming中的DStream
本文介绍了Spark Streaming的核心概念DStream，即离散流。DStream通过时间间隔将连续的数据流转换为一系列不连续的RDD，再通过Transformation进行转换，实现流式数据的处理。文中以MyNetworkWordCount程序为例，展示了DStream生成RDD的过程，并附有视频讲解。
【赵渝强老师】Spark SQL的数据模型：DataFrame
本文介绍了在Spark SQL中创建DataFrame的三种方法。首先，通过定义case class来创建表结构，然后将CSV文件读入RDD并关联Schema生成DataFrame。其次，使用StructType定义表结构，同样将CSV文件读入RDD并转换为Row对象后创建DataFrame。最后，直接加载带有格式的数据文件（如JSON），通过读取文件内容直接创建DataFrame。每种方法都包含详细的代码示例和解释。
【赵渝强老师】Spark生态圈组件
本文介绍了Spark的生态圈体系架构，包括其核心执行引擎Spark Core、结构化数据处理模块Spark SQL、实时数据流处理模块Spark Streaming，以及机器学习框架MLlib和图计算框架GraphX。文中通过图片和视频详细解析了各模块的功能及访问接口。
【赵渝强老师】Yarn的资源调度策略
Yarn作为资源和任务调度平台，支持多个应用程序同时运行，如MapReduce、Spark和Flink等。Yarn的资源调度方式主要包括FIFO Scheduler（先来先服务）、Capacity Scheduler（容量调度）和Fair Scheduler（公平调度）。FIFO Scheduler按任务提交顺序调度；Capacity Scheduler通过队列管理资源，支持多租户共享；Fair Scheduler则根据任务权重动态分配资源，确保公平性。
存算分离与计算向数据移动：深度解析与Java实现
【11月更文挑战第10天】随着大数据时代的到来，数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构，即计算资源与存储资源紧密耦合，在处理海量数据时逐渐显露出其局限性。为了应对这些挑战，存算分离（Disaggregated Storage and Compute Architecture）和计算向数据移动（Compute Moves to Data）两种架构应运而生，成为大数据处理领域的热门技术。
Spark Standalone与YARN的区别？
本文详细解析了 Apache Spark 的两种常见部署模式：Standalone 和 YARN。Standalone 模式自带轻量级集群管理服务，适合小规模集群；YARN 模式与 Hadoop 生态系统集成，适合大规模生产环境。文章通过示例代码展示了如何在两种模式下运行 Spark 应用程序，并总结了两者的优缺点，帮助读者根据需求选择合适的部署模式。