工程搭建_创建|学习笔记

简介: 快速学习工程搭建_创建

开发者学堂课程【大数据 Spark2020版(知识精讲与实战演练)第四阶段工程搭建_创建】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/691/detail/12107


工程搭建_创建


在步骤中对流程进行更加详细的说明,要对整体步骤有一个更加直观的认识,知道是做什么,第一步读数据,第二步处理数据,第三步扩展行政区信息,第四步通过会话分析求的结果

在进行具体每一个步骤之前要创建工程,是当务之急

第一步 Create New Project

image.png

Next

image.png

创建工程后,做初始的任务

首先将对应的架包导入

将代码导入,等待加载

<?xml version="1.0"encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM /4.0.0"

xmlns :xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi :schemaLocation="http://maven.apache.org/POM/4.0.0

http://maven.apache.org/xsd/ maven-4.0.0.xsd">

<modelversion>4.0.0</modelVersion>

<groupId>cn.itcast</groupId>

<artifactId>taxi</artifactId>

<version>0.0.1</version>

<properties>

<scala.version>2.11.8</scala.version>

<spark.version>2.2.0</spark.version>

<hadoop.version>2.7.5</ hadoop.version>

<slf4j.version>1.7.16</slf4j.versiorE>

<log4j.version>1.2.17</log4j.version>

<mysql.version>5.1.35</mysql.version>

<esri.version>2.2.2</esri.version>

<json4s.version>3.6.6</json4s.version>

</properties>

<dependencies>

<!-- Scala库-->

<dependency>

<groupId>org.scala-lang</groupId>

<artifactId>scala-library</artifactId>

<version>${scala.version}</version>

</dependency>

<dependency>

<groupId>org.scala-lang.modules</groupId>

<artifactId>scala-xml_2.11</artifactId>

<version>1.0.6</version>

</dependency>

<!-- Spark系列包-->

<dependency>

<groupId>org.apache.spark</groupId

<artifactId>spark-core_2.11</artifactId>

<version>${spark.version}</version>

</dependency>

<dependency>

<groupId>org .apache.sparke/groupId>

<artifactId>spark-sql_2.11</artifactId>

<version>${spark.version}</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>${hadoop. version}</version>

</dependency>

<! --地理位置处理库-->

<dependency>

有一个 build 插件,需要创建一个新的 directory

<build>

<sourceDirectory>src/main/scala</sourceDirectory>

创建一个新的目录,目录作为源码目录

进入 src 下 main 下找到 main、new、Directory,命名为 scala

image.png

将 scala 标注为 Sources Root,工程创建完成

文件分为 properties 信息参数、dependencies 有几个不同类别的库,scala 支持库、spark 系列包、spark-core/spark-sql,使用 spark 需要将 Hadoop 写入,处理地理位置,导入 esri 库,导入 JSON 解析库,JSON 解析库实际是 jackson,使用 json4s API 分装,json4s 在 scala 中是一个常见的 API,日志相关工具以及插件,导入两个插件,第一个目的是指定,第二个插件打包 scala 代码

创建架包

image.png

命名为 cn.itcast.taxi

创建一个类

Scala class 定义为 TaxiProcessor

工程搭建完成

写一个 main 方法

package cn.itcast.taxi

class TaxiProcessor {

def main(args: Array[string]): unit = {

}

}

相关文章
|
自然语言处理 安全 数据挖掘
大语言模型在假新闻的检测
大语言模型在假新闻检测应用中发挥重要作用。通过学习大量语言数据和模式,模型可以理解文本的语义和上下文信息,判断其真实性。模型通过监督学习训练,提取特征并预测新闻真实性。结合其他技术手段和人工审核,可以提高准确性和可信度。假新闻检测的过程包括数据准备、特征提取、模型训练和实际应用。模型在谣言检测中也有类似应用。
842 0
|
索引 Python
Pandas中DataFrame的属性、方法、常用操作以及使用示例(四)
Pandas中DataFrame的属性、方法、常用操作以及使用示例(四)
|
网络协议 搜索推荐 数据库
第八章 系统错误消息 - 一般系统错误消息 A -D
第八章 系统错误消息 - 一般系统错误消息 A -D
173 0
|
小程序
sublime不使用补丁进行汉化
软件这个玩意,能用官方的尽量还是用官方的吧,省得到时候有麻烦。 所以呢~我从sublime官方网站:www.sublimetext.cn/3 下载了sublime的安装包,安装完成之后,发现界面的文字都是英文的,对我不是很友好。
252 0
|
JavaScript 开发工具 C语言
Docker发布node-hexo镜像
使用 Dockerfile 基于 alpine 系统,构建 nodejs 环境和 hexo 基础依赖以及 git 环境。
366 0
Docker发布node-hexo镜像
|
弹性计算 大数据 测试技术
云服务器ECS租用多少钱价格表_2024年新版报价
云服务器ECS租用多少钱价格表_2024年新版报价,云服务器ECS经济型e实例2核2G、3M固定带宽99元一年、ECS u1实例2核4G、5M固定带宽、80G ESSD Entry盘优惠价格199元一年,轻量应用服务器2核2G3M带宽轻量服务器一年61元、2核4G4M带宽轻量服务器一年165元12个月、2核4G服务器30元3个月,幻兽帕鲁4核16G和8核32G服务器配置,云服务器ECS可以选择经济型e实例、通用算力u1实例、ECS计算型c7、通用型g7、c8i、g8i等企业级实例规格
881 0
|
存储 SQL 消息中间件
Apache Hudi:统一批和近实时分析的存储和服务
Apache Hudi:统一批和近实时分析的存储和服务
218 0
|
缓存 自然语言处理 Kubernetes
数据缓存系列分享(四):开源大语言模型通义千问快速体验
本文将分享如何通过阿里云ECI的数据缓存秒级搭建开源大语言模型通义千问。
1074 0
数据缓存系列分享(四):开源大语言模型通义千问快速体验
|
存储 关系型数据库 MySQL
常见连接工具保存密码获取
之前有发过关于xshell&finalshell密码破解的文章,本文将继续对一些其他常见的连接工具进行讨论,如有错误,欢迎留言指出!
1150 0
常见连接工具保存密码获取
IDEA 高版本 PlantUML 插件默认主题修改
很多人会选择在 IDEA 中安装 PlantUML Integration 插件。 但是高版本的 IDEA PlantUML Integration 插件默认的主题和之前的完全不一样, 颜色偏暗,不同的组件很难区分开。 其实不仅是插件里,在官网上写同样的脚本,默认的主题也是一样的情况。 那么如何解决?
1637 2