创建项目引入工具类|学习笔记

简介: 快速学习创建项目引入工具类

开发者学堂课程【大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建):创建项目引入工具类】学习笔记与课程紧密联系,让用户快速学习知识

课程地址:https://developer.aliyun.com/learning/course/670/detail/11623


创建项目引入工具类

 

内容介绍:

一、建立project

二、创建反爬虫项目

 

一、建立project

建立爬虫识别还有构建streaming项目,首先建立一个project

 image.png

然后选中maven,选一下sdk

image.png

然后输入分组以及项目名称

image.png

二、创建反爬虫项目

创建反爬虫项目,然后把pom文件引入进来,复制粘贴进去,然后第一步在里面新建一个scala,第二步在scr test里面新建一个目录scala,

<?xml version="1.0"encoding="uTF-8"?>

<project xmlns: ‘’http://maven.apache.org/POM/4.0.0

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance”

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0

<modelVersion>4.0.0</modelversion>

<groupId>cn.itcast</groupId>

<artifactId>ispider</artifactid>

<version>1.0-SNAPSHOT</version>

</project>

如果报错了,要注意maven里的路径需要配置正确,配置好后进行导入,这样就不会报错了。

Pom文件引入成功后就可以关掉,然后引入一些配置文件。在项目中的素材里的资料包中,resource里面就是反爬虫项目需要的配置文件。

image.png

把这些粘贴到项目中的resource里,导入完成后还需要把项目中的com一些工具包导入scala里去,就完成了项目的创建。

相关文章
|
存储 Kubernetes IDE
|
机器学习/深度学习 数据采集 数据可视化
R语言 一种功能强大的数据分析、统计建模 可视化 免费、开源且跨平台 的编程语言
R语言 一种功能强大的数据分析、统计建模 可视化 免费、开源且跨平台 的编程语言
965 1
|
9月前
|
数据采集 存储 机器学习/深度学习
构建高效的LinkedIn图像爬取工具
构建高效的LinkedIn图像爬取工具
|
6月前
|
机器学习/深度学习 人工智能 城市大脑
大家之言|人工智能发展趋势与基础设施建设之路
中国AI技术发展已从跟跑转向基建领跑,“十四五”期间算力规模年均增速达27%。杭州城市大脑升级AI智能体集群,重庆部署超大城市治理系统,宁夏作为“东数西算”枢纽持续突破算力规模。专家梅建平指出,人工智能虽为核心驱动力,但需警惕过度期望,理性看待其局限性。国家提出“三步走”战略与“一体两翼”规划,推动算力基础设施建设,如“东数西算”和全国一体化算力网,以优化资源调度并促进数字经济高质量发展。
326 0
|
10月前
|
人工智能 Java 程序员
一文彻底搞定电阻元件
电阻元件是限流器件,通过其电流与两端电压成正比(V=IR),阻值受温度、材料等影响。按特性分为线性与非线性,材料上有碳膜、金属膜等,用途涵盖限流、分压、偏置、滤波等。标称阻值有允许偏差,额定功率和最高工作电压需注意。色标法和直接读取法可用于识别阻值,万用表测量时需关闭电源并选择合适量程。电阻在电路设计中不可或缺,掌握其特性和应用对电子工程师至关重要。
741 0
一文彻底搞定电阻元件
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
2025人工智能职场报告:57.2%的职场人考虑从事AI类职业,生成式人工智能(GAI)认证如何重构职业价值坐标系
人工智能(AI)已成为21世纪最具变革性的力量之一,尤其生成式人工智能(GAI)认证正重构职业价值坐标系。数据显示,57.2%的职场人愿从事AI相关职业,凸显其吸引力。GAI认证不仅提升个人竞争力、拓宽职业道路,还增强职业认同感,助力企业在人才选拔中更精准高效。面对机遇,职场人需明确目标、结合实践、持续学习,以适应快速发展的AI领域,为企业与个人发展奠定坚实基础。
|
人工智能 Serverless API
不用看就能懂,快速理解海量视频内容
想要快速理解海量视频内容?借助视频视觉理解技术,您可以轻松实现视频内容的自动化分析和信息提取。这项AI技术不仅大幅提升了工作效率,还为开发者提供了更多创意和应用的可能性。
|
存储 关系型数据库 MySQL
服务器数据恢复—EVA存储异常断电重启后虚拟机无法启动的数据恢复方案
服务器存储数据恢复环境: 某品牌EVA8400,服务器上安装VMware ESXi虚拟化平台,虚拟机的虚拟磁盘包括数据盘(精简模式)+快照数据盘,部分虚拟机中运行oracle数据库和mysql数据库。 服务器存储故障&检测: 存储异常断电重启后,存储中一台虚拟机无法启动。工作人员推测故障原因是异常断电导致电源模块出现故障,清空cache后重新启动存储发现该虚拟机仍无法正常启动。
|
缓存 NoSQL Java
17:缓存机制-Java Spring
17:缓存机制-Java Spring
252 5
|
域名解析 存储 网络安全
WordPress外贸建站教程
这篇WordPress外贸建站教程是以实操形式写给没有任何建站基础的新手,不管你是不是技术小白,都可以轻松学会如何使用WordPress来自己建立一个实用的外贸网站,而不需要深入了解复杂的代码编程。梳理了WordPress外贸建站主要步骤,从最初的成本分析开始,然后逐步介绍域名选择和注册、虚拟主机选择、建站程序安装等关键步骤。
806 3