开发者学堂课程【大数据实时计算框架 Spark 快速入门: UpdateStateByKey、Tranform 算子_3】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/100/detail/1726
UpdateStateByKey、Tranform 算子_3
内容简介:
一、transform 事例
二、相关代码
一、transform 事例
可以通过 transform 算子,对 Dstream 做 RDD 到 RDD 的任意操作。其实就是DStream 的类型转换。transform 是一个 transformation 类算子。
二、相关代码
56throws Exception {
57
58 JavaPairRDD>>joinedRDO =
59 userLogBatchRDD.leftOuterJoin(blacklistRDD);
60
61JavaPairRDD>> filteredRDD m
62joinedRDD.filter(new Function>,Boolean>()
63
64private static final long serialVersionUID = 1L;
65
66@Override
67public Boolean call(Tuple2>> tuple)
68throws Exception {
69
70if(tuple._2._2.isPresent()&&tuple._2._2.get()){
71return false;
72
74return true;
75
76});
77
78JavaRDDvalidLogRDDfilteredRDD.map(new Function
79
80private static final long serialVersionUID= 1L;
81
82@Override
83public String call(
84Tuple2>> tuple)
85throws Exception{
86return tuple._2.1:
87}
88});
89
90return validLogRDD;
91 }
92 });
93