数据清洗_异常处理_完成逻辑|学习笔记

简介: 快速学习数据清洗_异常处理_完成逻辑

开发者学堂课程【大数据 Spark2020版(知识精讲与实战演练)第四阶段 数据清洗_异常处理_完成逻辑】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/691/detail/12114


数据清洗_异常处理_完成逻辑


异常处理_完成逻辑定义

异常处理返回两种情况,一种是正确,一种是异常,返回异常情况时,要返回异常信息,使用 either 对象进行分装,scala不支持多返回值,scala 提供 either 对象, either 对象代表方法,有可能返回两种情况的一种情况,两种情况中的其中一种, either 两者其中一个,修改 parse 方法,让它更安全。

val process = ( b : Double) =>{

val a = 10.0

a / b

}

def safe(function: Double => Double,b: Double): Either [Double,(Double,Exception)] = {

try {

val result = function (b)  ③

Left (result)

}catch {

case e: Exception => Right(b, e)

}

}

val result = safe(process, 0)  ⑤

result match {  ⑥

case Left(r) =>println(r)

case Right ( (b, e))=>println(b, e)

}

一个函数,接收一个参数,根据参数进行除法运算

一个方法,作用是让 process 函数调用起来更安全,在其中 catch 错误,报错后返回足够的信息.(报错时的参数和报错信息.)

正常时返回 Left ,放入正确结果

异常时返回 Right ,放入报错时的参数,和报错信息

外部调用

处理调用结果,如果是 Right 的话,则可以进行响应的异常处理和弥补

Either 和 option 比较像,都是返回不同的情况,但是  Either 的 Right 可以返回多个值,而 None 不行

如果一个 Either 有两个结果的可能性,一个是 Left[L] ,一个是 Right[R] ,则 Either 的范型是 Either[L,R]

进入 idea

taxiRaw.rdd.map(parse) 在 map 方法中直接将 parse 传入,如果 parseTime 或 parseLocation 出错,会经由 parse 方法直接出入 taxiRaw,这是错误的

创建一个 safe 方法,作用是分装 parse 方法,捕获异常

前面的 parse 直接传给 map 算子,在 safe 中返回的也应该是一个函数,函数直接传给了 map,

Map(safe(parse))

Map 算子中接收的是一个函数,调用 safe,safe 中调用 parse,safe 整体safe(parse)不能返回一个值,safe 的返回值应该也是一个函数

在 Safe 上定义两个参数,P 代表参数,R 代表返回函数的返回值,P 是 safe 所返回函数的参数,返回函数值是一个 either 类型,either 中的参数,left 是 R,R 是return 的结果,右边返回参数和当前报的错,safe 完成操作。

map(parse) 在 map 中 parse 是一个函数,不是调用方法,而是传入一个函数,在map 中使用 safe 让函数更安全,map 调用 safe,safe 返回函数,因为 map 接收的是一个函数,函数的传入参数是 P,P 指代 taxiRow 中的一条数据类型,返回结果是either,either表示通过map转换以后返回的rdd,是一个either类型的rdd

New 一个 Function,接收参数是P,结果是either,Function要混入,加一个 Serializable。

Function 有一个方法需要重写,方法为 apply

可以理解为创建了一个 Function,Function 可以理解为 P=>Either[R,(P,Exception)],Function 调用需要包裹调用逻辑,调用逻辑在 apply 进行,new 出的 Function,返回的是一个 Function 对象,是一个函数对象,在调用函数时,就是在调用 apply 方法,apply 调用的参数就是调用函数所给的参数。

在 apply 方法中,try,返回 left,left 是外面接收的 f,外面接收的 Function 是 f,也是传入 P 参数返回R类型的 Function,left(f(param))参数传入代表左侧情况,即正常返回情况,case exception :Exception 返回异常情况 right,right 有两个值,param 与 e,left 是外面传入函数的值,是 return,是 R 类型,either left 是 R 类型,right 返回的是元组,是参数类型,P 类型,exception 是 e 类型

以上即为 safe 方法

def safe[PR](f: p => R): P => Either[R,(P,Exception)] = {

new Function[P,Either[R,(P,Exception)]] with serializable {

override def apply(param: P): Either[R,(P,Exception)] = {

try {

Left(f(param))

}catch {

case e: Exception => Right((param,e))

Safe 直接调用,safe 方法接收 parse,接收函数又返回一个函数给 map 算子,转换操作完成  taxiRaw.rdd.map(safe(parse))

相关文章
|
2天前
|
数据采集 人工智能 安全
|
11天前
|
云安全 监控 安全
|
3天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1020 151
|
3天前
|
编解码 人工智能 机器人
通义万相2.6,模型使用指南
智能分镜 | 多镜头叙事 | 支持15秒视频生成 | 高品质声音生成 | 多人稳定对话
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1717 9
|
8天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
660 152
|
10天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
623 13
|
5天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
383 4