Job 作业的使用--免密执行 | 学习笔记

简介: 快速学习 Job 作业的使用--免密执行

开发者学堂课程【Sqoop 企业级大数据迁移方案实战Job 作业的使用--免密执行】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/718/detail/12846


Job 作业的使用--免密执行


本节介绍 Job 作业的免密执行。之前创建 job 查看甚至执行时,发现即使指定了--password,最后还是要输入一次mysql 的密码。推荐使用另外一种方式来避免该问题的出现,该参数为--password-file。从参数名上看它是一个文件的一个密码,要求文件路径指定的文件必须位于我们的 HDFS 上,而且它的权限必须是400权限。最重要的一点:在服务中必须有这类属性存在允许 sqoop 将密码放在 sqoop 存储上。

接下来开启 job 的免密操作:

1、首先创建密码文件,该密码文件存放在 HDFS 上。

打开服务器,输入

echo -n “hadoop”> itcastmysql.pwd    //使用 cho 将密码追加进入

hadoop fs -mkdir -p /input/sqoop/pwd  //创建保存密码的路径

hadoop fs -put itcastmysql.pwd /input/sqoop/pwd///将保存的密码上传在该路径下

查看当前文件在哪个路径下,刷新浏览器访问,点击 input 数据,点击到最后:

image.png

会发现当前权限并不是400,接着修改权限,输入

hadoop fs -chmod 400 /input/sqoop/pwd/itcastmysql.pwd

修改完成后该文件的权限发生变化。

2、检查 sqoop sqoop-site.xml 是否存在如下配置:

输入cd conf/

ll

结果中存在 sqoop-site.xml,再来打开 sqoop-site.xml,输入

vim sqoop-site.xml

并没有相关参数,将如下代码复制粘贴在文件尾部:

<property>

<name>sqoop.metastore.client.record.password</name>

<value>true</value>

<description>If true. allow saved passwords in the metastore.

</description>

</property>

相当于添加了一个新的参数,允许存放密码文件

保存完成后再来创建 job 执行就不会使用密码。

3、创建 sqoop job

在服务器上输入 cd..

复制粘贴如下代码:

bin/sqoop job --create itcastjob2 -- import--connect jdbc:mysql://node-1-1:3306/userdb \

--username root \

--password-file /input/sqoop/pwd/itcastmysg1.pwd\ //与之前--password hadoop\不同,新增文件,该文件则是上传保存的文件

--target-dir /sqoopresu1t666\

--table emp --m1

创建好 job 再来执行 job,会发现不需要密码。

输入 bin/sqoop job -exec itcastjob2

回车发现没有 Enter password 选项。

如果不想每次输密码或调用其它软件不方便输入密码时可以打开权限,实际上这种操作更加安全,不能看到明文密码。如果不想每次输密码并且发出警告,就可以把密码保存在 HDFS 上,注意:要求权限必须是400才可以,并且确保在事务中这一个选项打开。<description>If true. allow saved passwords in the metastore 如果为 true,允许保存密码在 metastore 存储,也就是 HDFS 路径上。以上就是免密执行 sqoop 作业的操作。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
3月前
|
小程序 BI Go
当“企业微信协议”遇上旧iPad:一条被遗忘的推送如何撬动千万订单
在618大促中,面对短信退订率高、触达难的问题,运营人员巧妙利用闲置iPad登录企业微信,挖掘其未公开的协议接口,实现高效用户召回,最终提升转化率,保住预算。
172 0
|
5月前
|
人工智能 自然语言处理 API
AI与Web3.0时代:API如何定义下一代企业数据交互?
简介: 2025年,API作为企业数据交互的“通用语言”,正推动各行各业的智能化与自动化变革。从技术架构到商业价值,CTO如何把握API浪潮,构建开放生态、提升安全合规、驱动业务增长?本文深入探讨API的战略意义与实战策略,助力企业抢占未来竞争制高点。
|
8月前
|
缓存 运维 前端开发
快速定位进程性能瓶颈
这篇文章详细介绍了进程热点追踪的概念、业务痛点、解决方案以及实际案例分析,旨在帮助开发者和运维人员快速定位和解决系统性能瓶颈问题。
快速定位进程性能瓶颈
|
3月前
|
机器学习/深度学习 数据采集 算法
【人脸识别】基于PCA的人脸识别系统(Matlab代码实现)
【人脸识别】基于PCA的人脸识别系统(Matlab代码实现)
272 6
|
9月前
|
机器学习/深度学习 人工智能 缓存
英伟达提出全新Star Attention,10倍加速LLM推理!登顶Hugging Face论文榜
英伟达推出的Star Attention技术,旨在解决Transformer模型在长序列推理中的高计算成本与速度瓶颈问题。通过两阶段块稀疏近似方法,第一阶段利用块局部注意力并行处理上下文信息,第二阶段通过全局注意力机制交互查询与缓存令牌,从而显著提升计算效率并减少通信开销。该技术可无缝集成到现有LLM中,将内存需求和推理时间降低多达11倍,同时保持高准确性。然而,其在极长序列处理中可能面临内存限制,并增加模型复杂性。尽管如此,Star Attention为长序列推理提供了创新解决方案,推动了Transformer模型的实际应用潜力。
183 19
|
3月前
|
存储 JSON 安全
如何开发工程项目部管理系统中的设备管理板块(附架构图+流程图+代码参考)
本文详解工程项目部设备管理系统的构建方法,涵盖设备管理的价值、功能清单、技术架构、核心数据模型、业务流程设计及开发实战技巧,提供可落地的代码示例,助力企业实现设备全生命周期管理,降低停工、延长设备寿命、提升管理效率。
|
3月前
|
存储 物联网 机器人
RFID仓库出入库步入智能化趋势
RFID技术在仓储出入库中实现自动识别、批量处理与实时联动,大幅提升效率,降低错误率,推动仓储物流向智能化、数字化转型。
|
3月前
|
SQL 算法 Java
适合自学的史上最强 Java 学习路线图分享
本路线图系统讲解Java从入门到进阶的学习路径,涵盖基础语法、面向对象编程、数据结构与算法、多线程、JVM原理、主流框架如Spring、数据库操作及项目实战,助你全面掌握Java开发技能,适合零基础及进阶学习。
914 0
|
11月前
|
分布式计算 数据可视化 数据挖掘
Pandas数据应用:社交媒体分析
本文介绍如何使用Pandas进行社交媒体数据分析,涵盖数据获取、预处理、探索性分析和建模的完整流程。通过API获取数据并转换为DataFrame格式,处理缺失值和数据类型转换问题。利用Matplotlib等库进行可视化,展示不同类型帖子的数量分布。针对大规模数据集提供内存优化方案,并结合TextBlob进行情感分析。最后总结常见问题及解决方案,帮助读者掌握Pandas在社交媒体数据分析中的应用。
349 96
|
Linux 索引
linux命令—ls
`ls` 是 Linux 系统中用于列出目录内容的基础命令,功能强大且使用频率极高。它可以帮助用户查看文件、分析磁盘空间及检查权限等。常用选项如 `-l` 显示详细信息,`-a` 包含隐藏文件,`-h` 以易读格式展示大小,`-t` 按修改时间排序等。通过组合选项,可实现复杂需求,如递归遍历目录(`-R`)、显示 inode 号(`-i`)或结合正则过滤特定文件。注意权限限制、特殊字符处理及大规模目录操作可能带来的性能问题。掌握 `ls` 是高效使用 Linux 的关键一步。