开发者学堂课程【2020版大数据实战项目之 DMP 广告系统（第五阶段）： IP 转换_环境准备】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/680/detail/11810
IP 转换_环境准备
环境准备
1、本课程进行具体的代码编写。第一步要拷贝数据集，接下来按照既定好的步骤一步一步实现。整体上的步骤第一步是创建 sparksession，第二步读取数据集，第三步处理 IP 数据，第四步进行数据落地。
2、第一步进的 files 目录当中，找到 pmt.json，拷贝这个主数据集以后，放到 IDEA 当中，这样第一步就完成了。下面应该继续创建环境，创建 sparksession 非常简单，拿到 spark 这样一个变量，使用 Sparksession.builder 创建 builder，接下来设置 appName，appName 叫做 pmt json etl，下一步设置 master，设置为 local【6】。接下来 getorCreate，现在是要做一个项目，就需要把配置文件加进来，刚才已经写过一个工具类了，在工具类当中，就有一个方法叫 load，但是这里没有显示，想使用演示转换是可以的，但是要先导入伴生对象，import cn. Itcast. utils.SparkConfigHelper.，
下面再去写 load，会发现 loadconfig，这是第一步要把 sparksession 创建出来。第二步就应该读取数据集，spark.read，read 可以直接设置 option，没有特别多的 option 需要设置，所以把他删掉，使用 json 读取配置文件，配置文件在 dataset 下叫做 pmt.json 文件里。这个时候拿到了 source，也可以叫 original，source 是代表数据源的数据，source.show。要确保每一步是没有问题的，只有确保每一步都没有问题，才能确保整体上是没有问题的。
import org. apache. spark. sql.SparkSession
object ETLRunner {
def main(args:Array[string]):Unit={
import cn. Itcast. utils.SparkConfigHelper.
//1.创建 SparkSession
val spark=SparkSession. builder()
.appName(·name="pmt json etl")
. master(master="local[6]")
.loadConfig()
·getOrCreate()
//2.读取数据集
val source=spark. read. json(path="dataset/pmt. json ")
source. show()
//3.数据操作
//对于不同的数据处理操作来说，需要把操作在这个位置调用//processor. Process
//4.数据落地
3、运行，整个数据集已经加载出来了，第一列是 adcreativeid，第二列是 adorderid，第三列是 adpayment，然后是 adplatformkey 等等，这些内容都已经加载出来，说明数据集的加载是没有问题的。
