Checkpoint_使用 | 学习笔记

简介: 快速学习 Checkpoint_使用

开发者学堂课程【大数据Spark2020最新课程(知识精讲与实战演练)第二阶段Checkpoint_使用学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/689/detail/12002


Checkpoint_使用


本节课介绍 Checkpoint 如何使用,使用方式特别简单,但是会有一个小细节,所以本节包括两个内容,一是使用,二是细节。

进入笔记,首先使用 Checkpoint 有两点,如图所示:

image.png

第一点设置 Checkpoint dir,设置在 HDFS,如果使用 spark 整合 HDFS,目录可显示 HDFS 目录,接下来使用checkpoint 缓存某一个 RDD,即为使用 checkpoint 的方式。

拷贝代码做一个新的 checkpoint 代码:

image.png

重新编写代码,先使用 sc. Setcheckpoint(“checkpoint”),保存在工程下,在工程根目录下创建一个 checkpoint dir 文件,修改代码。

接下来设置保存 checkpoint 的目录,也可以设置为 HDFS 上的目录。使用 aggRDD. Checkpoint()保存checkpoint,此方法和 catch 有区别,Checkpoint 的返回值是 unit,而 catch 的返回值是 aggRDD=aggRDD cache,计算时要再获取相应的数据来进行。使用 checkpoint 就会直接变成 aggRDD. Checkpoint(),取相应的Checkpoint 计算,相对简单。

细节: 不准确的说,checkpoint 是一个 action 操作,也就是说,如果调用 checkpoint,则会重新计算 RDD,把结果存在 HDFS 或者本地目录中。每次调用 first,代码都会执行一遍。

所以在 checkpoint 之前,代码也会进行,所以在调用 checkpoint 时,进行 action,整个代码会进行三次,而最佳实践在 checkpoint 之前,进行一次 cacheaggRDD=aggRDD cache,此时使用的数据是 cache,不会执行多次。

相关文章
|
2月前
|
存储 运维 分布式计算
零售数据湖的进化之路:滔搏从Lambda架构到阿里云Flink+Paimon统一架构的实战实践
在数字化浪潮席卷全球的今天,传统零售企业面临着前所未有的技术挑战和转型压力。本文整理自 Flink Forward Asia 2025 城市巡回上海站,滔搏技术负责人分享了滔搏从传统 Lambda 架构向阿里云实时计算 Flink 版+Paimon 统一架构转型的完整实战历程。这不仅是一次技术架构的重大升级,更是中国零售企业拥抱实时数据湖仓一体化的典型案例。
218 0
|
18天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1768 9
|
2月前
|
存储 运维 监控
120_检查点管理:故障恢复 - 实现分布式保存机制
在大型语言模型(LLM)的训练过程中,检查点管理是确保训练稳定性和可靠性的关键环节。2025年,随着模型规模的不断扩大,从百亿参数到千亿参数,训练时间通常长达数周甚至数月,硬件故障、软件错误或网络中断等问题随时可能发生。有效的检查点管理机制不仅能够在故障发生时快速恢复训练,还能优化存储使用、提高训练效率,并支持实验管理和模型版本控制。
120_检查点管理:故障恢复 - 实现分布式保存机制
|
SQL 存储 分布式计算
了解Hive 工作原理:Hive 是如何工作的?
Apache Hive 是一个建立在 Hadoop 之上的分布式数据仓库系统,提供类 SQL 查询语言 HiveQL,便于用户进行大规模数据分析。Hive Metastore(HMS)是其关键组件,用于存储表和分区的元数据。Hive 将 SQL 查询转换为 MapReduce 任务执行,适合处理 PB 级数据,但查询效率较低,不适合实时分析。优点包括易于使用、可扩展性强;缺点则在于表达能力有限和不支持实时查询。
514 3
|
SQL 前端开发 数据库
django面试题(21道)
1、什么是wsgi? WSGI是Python在处理HTTP请求时,规定的一种处理方式。如一个HTTP Request过来了,那么就有一个相应的处理函数来进行处理和返回结果。
7836 0
|
网络协议 Java
【Java】已解决java.net.UnknownHostException异常
【Java】已解决java.net.UnknownHostException异常
4182 0
|
存储 JSON 小程序
【小程序云开发】不用后端也能构建完整的微信小程序
本文介绍了如何从零开始学习和掌握微信小程序云开发,包括云函数、云数据库和HTTP触发等重要概念。通过详细的步骤和示例,读者将学会如何创建和部署云函数,以及如何使用云数据库来存储和管理小程序的数据。同时,本文还介绍了如何通过HTTP触发器实现小程序与外部API的数据交互,从而为小程序开发提供更灵活、高效的后端解决方案。无论您是初学者还是有一定经验的开发者,本文都将帮助您轻松掌握微信小程序云开发,并为您的小程序开发项目提供更多可能性。
2724 0
|
存储 人工智能 自然语言处理
打造专业高效的AI客服:从基础准备到深度训练的全面指南
【7月更文第14天】在数字化转型的浪潮中,人工智能客服(AI Customer Service)已成为提升企业服务质量和效率的关键。一个训练有素的AI客服不仅能提供24/7不间断服务,还能精准理解客户需求,有效提升客户满意度。本文将深入探讨如何构建这样一个系统,包括必备的硬性条件、训练流程及成本考量,辅以实际代码示例,为您的企业开启智能客服新时代。
3334 1
|
存储 网络协议 安全
阿里云国际CDN加速图文和视频类网站操作教程
阿里云国际CDN加速图文和视频类网站操作教程