kettle-ldap input

简介: 使用kettle从ad提取数据,调用rest进行数据装载

由于项目需要,需要从AD域中将用户同步至系统中,故使用kettle进行数据提取、转换、装载。
大致思路:
1、使用ldap协议从ad提取数据
2、进行数据转换,选取指定字段数据并转为json格式数据
3、使用rest client进行数据装载
如下图:
image

1、提取数据

使用ldap input组件提取数据

  • 1、填写ldap连接参数
  • 2、定义需要提取的数据范围
  • 3、分页设置
  • 4、定义需要获取的字段
    image

image

image

image

ldap查询语法

Operator Meaning
&   AND, all conditions must be met
|   OR, any of the conditions must be met
!   NOT, the clause must evaluate to False

eg: (|(cn=Jim Smith)(&(givenName=Jim)(sn=Smith)))


Character Hex Representation
*   \2A
(   \28
)   \29
\   \5C
Nul   \00

eg:(cn=James Jim\2A\29 Smith)  where the common name is "James Jim*) Smith"

2、数据转换

  • 1、使用字段选择过滤需要的字段和进行重命名,以与后续调用接口进行映射
  • 2、将ldap提取的多条记录合并,转为json,提高调用rest的效率

image

image

image

3、数据装载

  • 1、调用restful api进行数据装载
    image
相关文章
|
7月前
|
关系型数据库 Linux 数据安全/隐私保护
PostgreSQL【部署 02】在线安装PostgreSQL(Some psql features might not work 问题处理+角色密码设置+配置远程访问)
PostgreSQL【部署 02】在线安装PostgreSQL(Some psql features might not work 问题处理+角色密码设置+配置远程访问)
83 0
PostgreSQL【部署 02】在线安装PostgreSQL(Some psql features might not work 问题处理+角色密码设置+配置远程访问)
|
7月前
|
分布式计算 关系型数据库 MySQL
Hadoop学习笔记(HDP)-Part.07 安装MySQL
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
246 0
Hadoop学习笔记(HDP)-Part.07 安装MySQL
|
存储 Java 数据库连接
Apache IoTDB开发之Load External TsFile工具
加载外部 tsfile 工具允许用户从正在运行的 Apache IoTDB 实例加载 tsfiles、删除 tsfile 或将 tsfile 移动到目标目录。默认情况下,将创建架构。当tsfile对应的存储组不存在时,用户可以通过第四个参数设置存储组的级别。默认情况下,它将使用 中设置的存储组级别。如果该文件对应的文件存在,则会加载到 Apache IoTDB 的数据目录和引擎中。
177 0
|
编解码 JSON Oracle
logstash-input-jdbc实现oracle 与elasticsearch实时同步详解
前言: logstash-input-jdbc实现mysql 与elasticsearch的解读之前博文已经解析。本次只是在原有的基础上,针对oracle特性部分做解读。
306 0
logstash-input-jdbc实现oracle 与elasticsearch实时同步详解
|
消息中间件 NoSQL Oracle
logstash_output_mongodb插件用途及安装详解
0、logstash-output-mongodb用途 Writes events to MongoDB,也就是向mongodb里面写入数据。 来源可以是:jdbc类的Mysql、oracle关系型数据库;也可以是Elasticsearch等。 后续的同步应用中会用到该插件,所以单独列出来。并且,默认logstash不安装该插件,需要手动安装。
387 0
|
SQL 数据库连接 数据库
Logstash详解之——input模块
Logstash由三个组件构造成,分别是input、filter以及output。我们可以吧Logstash三个组件的工作流理解为:input收集数据,filter处理数据,output输出数据。至于怎么收集、去哪收集、怎么处理、处理什么、怎么发生以及发送到哪等等一些列的问题就是我们接下啦要讨论的一个重点。
10220 0