Sparkstreaming 案例-创建工程 | 学习笔记

简介: 快速学习 Sparkstreaming 案例-创建工程

开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 案例-创建工程】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/692/detail/12131


Sparkstreaming 案例-创建工程

内容介绍

一、Sparkstreaming 案例大致流程

二、创建工程

 

一、Sparkstreaming 案例大致流程

首先创建一个 socket server,将数据进行处理放入 Spark Streaming,将处理完的数据放入外部存储当中,运用 net cat 创建 Socket,之后创建工程 编写Sparkstreaming 编码完成后,运行

 

二、创建工程

打开 idea

进入编写界面

Group   cn.itcast

Artifactld  st/eaming

version  0.1.0

image.png

点击 next,目录选择以往的扣本目录下,创建目录,进行导入,加入依赖

<dependencies>

<dependency>

<groupid>org-scala lang </groupid>

<artifactid>scala -library< /artfactid

版本选择 <version>2.11.8 <version>

<dependency>

<dependency>

<groupid>org-apace.spark </groupid>

第一个包<artifactid>spark-core-2.11< /artfactid

第二个包<version>2.2.0<version>

<dependency>

<groupid>org-apache.spark  </groupid>

<artifactid>spark-core2.11< /artfactid

<version>2.11.0 <version>

三个包已经导入完成,继续导入

<dependency>

<groupid>org-slf4 </groupid>

<artifactid>slf4 -simple< /artfactid

<version>1.7.12<version>

<dependency>

<dependency>

<groupid>junit </groupid>

<artifactid>junit< /artfactid

导入 junit 后,选择版本

<version>4.12<version>

<scope>provided<scope>

<dependency>

<dependencies>

<build>标签

<sourcedirectory> src /main/ scala

指定新的 sourcedirectory 目录

<sourcedirectory>

<testsourcedirectory>src/test/scala<testsourcedirectory>

<build>

<pliugin>

<groupid>net alchim31 .maven <groupid>

<galos>

<goal>complice<goal>

<goal>testcomplice<goal>

<configuration>

<execution>

<plugin>

<plugins>

<galos>

<build>

<pliugin>

</project>

导入完成,完成后,创建目录

<testsourcedirectory>src/test/scala<testsourcedirectory>

在 text 下属,创建 java 和 scaia

准备工作即可完成

相关文章
|
传感器 编解码 IDE
ESP32开发板引脚介绍【附有引脚使用实例】
ESP32开发板引脚介绍👨‍🏫内容1:背景👨‍⚖️内容2:限制类引脚👨‍💻内容3:ESP32 周边设备🍉文末备注 👨‍🏫。
ESP32开发板引脚介绍【附有引脚使用实例】
|
存储 iOS开发 开发者
如何在上架App之前设置证书并上传应用
在上架App之前想要进行真机测试的同学,请查看《iOS- 最全的真机测试教程》,里面包含如何让多台电脑同时上架App和真机调试。
|
前端开发 容器
面试官:请使用 CSS 实现自适应正方形
面试官:请使用 CSS 实现自适应正方形
641 0
面试官:请使用 CSS 实现自适应正方形
|
JavaScript Ubuntu 关系型数据库
在Linux中,如何查询已安装软件包的版本信息?
在Linux中,如何查询已安装软件包的版本信息?
|
存储 JavaScript 前端开发
如何在组件化中实现组件之间的通信
【8月更文挑战第13天】如何在组件化中实现组件之间的通信
293 3
|
Ubuntu jenkins 持续交付
Docker:docker安装部署jenkins
Docker:docker安装部署jenkins
209 0
|
网络协议 Unix API
UNIX域套接字
UNIX域套接字
530 4
|
XML 搜索推荐 机器人
五个 WordPress 插件可提高网站参与度
五个 WordPress 插件可提高网站参与度
|
Python
分享82个Html杂七杂八模板,总有一款适合您
分享82个Html杂七杂八模板,总有一款适合您
114 0
|
移动开发 小程序 语音技术
私人定制的天猫精灵
天猫精灵不知道我在说什么?天猫精灵听不懂我和朋友间的“社交黑话”?没有在公有市场找到好玩的应用,想要自己开发? 这些都不是问题,我们使用AliGenie技能应用平台就可以私人定制自己的天猫精灵了~无论是玩梗还是解决诸如“下节什么课”这样的生活问题,都可以自己动手,丰衣足食!
私人定制的天猫精灵