开发者学堂课程【大数据 Spark2020版(知识精讲与实战演练)第四阶段: 数据清洗_异常处理_完成逻辑】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/691/detail/12114
数据清洗_异常处理_完成逻辑
异常处理_完成逻辑定义
异常处理返回两种情况,一种是正确,一种是异常,返回异常情况时,要返回异常信息,使用 either 对象进行分装,scala不支持多返回值,scala 提供 either 对象, either 对象代表方法,有可能返回两种情况的一种情况,两种情况中的其中一种, either 两者其中一个,修改 parse 方法,让它更安全。
val process = ( b : Double) =>{ ①
val a = 10.0
a / b
}
def safe(function: Double => Double,b: Double): Either [Double,(Double,Exception)] = { ②
try {
val result = function (b) ③
Left (result)
}catch {
case e: Exception => Right(b, e) ④
}
}
val result = safe(process, 0) ⑤
result match { ⑥
case Left(r) =>println(r)
case Right ( (b, e))=>println(b, e)
}
①一个函数,接收一个参数,根据参数进行除法运算
②一个方法,作用是让 process 函数调用起来更安全,在其中 catch 错误,报错后返回足够的信息.(报错时的参数和报错信息.)
③正常时返回 Left ,放入正确结果
④异常时返回 Right ,放入报错时的参数,和报错信息
⑤外部调用
⑥处理调用结果,如果是 Right 的话,则可以进行响应的异常处理和弥补
Either 和 option 比较像,都是返回不同的情况,但是 Either 的 Right 可以返回多个值,而 None 不行
如果一个 Either 有两个结果的可能性,一个是 Left[L] ,一个是 Right[R] ,则 Either 的范型是 Either[L,R]
进入 idea
taxiRaw.rdd.map(parse) 在 map 方法中直接将 parse 传入,如果 parseTime 或 parseLocation 出错,会经由 parse 方法直接出入 taxiRaw,这是错误的
创建一个 safe 方法,作用是分装 parse 方法,捕获异常
前面的 parse 直接传给 map 算子,在 safe 中返回的也应该是一个函数,函数直接传给了 map,
Map(safe(parse))
Map 算子中接收的是一个函数,调用 safe,safe 中调用 parse,safe 整体safe(parse)不能返回一个值,safe 的返回值应该也是一个函数
在 Safe 上定义两个参数,P 代表参数,R 代表返回函数的返回值,P 是 safe 所返回函数的参数,返回函数值是一个 either 类型,either 中的参数,left 是 R,R 是return 的结果,右边返回参数和当前报的错,safe 完成操作。
map(parse) 在 map 中 parse 是一个函数,不是调用方法,而是传入一个函数,在map 中使用 safe 让函数更安全,map 调用 safe,safe 返回函数,因为 map 接收的是一个函数,函数的传入参数是 P,P 指代 taxiRow 中的一条数据类型,返回结果是either,either表示通过map转换以后返回的rdd,是一个either类型的rdd
New 一个 Function,接收参数是P,结果是either,Function要混入,加一个 Serializable。
Function 有一个方法需要重写,方法为 apply
可以理解为创建了一个 Function,Function 可以理解为 P=>Either[R,(P,Exception)],Function 调用需要包裹调用逻辑,调用逻辑在 apply 进行,new 出的 Function,返回的是一个 Function 对象,是一个函数对象,在调用函数时,就是在调用 apply 方法,apply 调用的参数就是调用函数所给的参数。
在 apply 方法中,try,返回 left,left 是外面接收的 f,外面接收的 Function 是 f,也是传入 P 参数返回R类型的 Function,left(f(param))参数传入代表左侧情况,即正常返回情况,case exception :Exception 返回异常情况 right,right 有两个值,param 与 e,left 是外面传入函数的值,是 return,是 R 类型,either left 是 R 类型,right 返回的是元组,是参数类型,P 类型,exception 是 e 类型
以上即为 safe 方法
def safe[P,R](f: p => R): P => Either[R,(P,Exception)] = {
new Function[P,Either[R,(P,Exception)]] with serializable {
override def apply(param: P): Either[R,(P,Exception)] = {
try {
Left(f(param))
}catch {
case e: Exception => Right((param,e))
Safe 直接调用,safe 方法接收 parse,接收函数又返回一个函数给 map 算子,转换操作完成 taxiRaw.rdd.map(safe(parse))