OGG无法采集Oracle11g由触发器写入的表的数据

1. 背景

  最近公司准备做MySQL和Oracle的表结构变更、数据变更同步到数据湖, MySQL通过canal采集拿到DDL已实现，Oracle的DDL OGG采集不到，只有表的最新状态的元数据，没有办法实现，且ogg表结构变动了，ogg不会触发数据发送，只有当有数据变动才会联带schema一起发到Kafka，因此思量一会儿有以下三个方案：

1.1 debezium采集

  换成debezium采集，但是Debezium采集产生的redo_log文件很大，并且是1分钟一次扫一次，产生大量的日志，隔一段时间会占用很大的磁盘空间，甚至会影响数据库本身的性能

1.2 Oracle审计日志

  Oracle审计日志需要开启Oracle审计开关，同时药重启Oracle服务器，查询审计日志非常慢，实时处理不太符合

SELECT USERNAME, OBJ_NAME, ACTION_NAME, SQL_TEXT, TIMESTAMP
FROM DBA_AUDIT_TRAIL
WHERE OBJ_NAME = 'TABLE_NAME'
AND ACTION_NAME = 'ALTER TABLE'
ORDER BY TIMESTAMP desc;

1.3 自定义触发器

  于是我自定义一个触发器来实现，新建一张DDL_CHANGE_LOG表， 用来收集DDL语句，然后定义触发器，把ALTER\COMMENT\RENAME的操作都捕捉到DDL语句，然后保存到LOG表，然后让ogg来采集这张表的数据，这样我就可以拿到DDL语句。

1.3.1 DDL_CAHNG_LOG表

CREATE TABLE ddl_change_log (
  id varchar2(50) default SYS_GUID() not null primary key,
  db_name VARCHAR2(100),
  table_name VARCHAR2(100),
  ddl_sql VARCHAR2(4000),
  ddl_timestamp TIMESTAMP
);

1.3.2 触发器

-- 创建触发器
CREATE OR REPLACE TRIGGER ddl_trigger 
AFTER ALTER OR RENAME OR COMMENT ON SCHEMA 
DECLARE
  v_db_name VARCHAR2(100) := SYS_CONTEXT('USERENV', 'CURRENT_SCHEMA');
  v_table_name VARCHAR2(100);
  v_ddl_sql VARCHAR2(1024);
  v_sql_out ORA_NAME_LIST_T;
BEGIN 
  v_table_name := ORA_DICT_OBJ_NAME;
  FOR i IN 1..ORA_SQL_TXT(v_sql_out) LOOP
      v_ddl_sql := v_ddl_sql || v_sql_out(i);
  END LOOP;

  INSERT INTO ddl_change_log(db_name, table_name, ddl_sql, ddl_timestamp)
  VALUES(v_db_name, v_table_name, v_ddl_sql, SYSTIMESTAMP);
END;

1.3.3 测试以及问题

  然后测试，我对其他表新加了字段，然后LOG表正常写入了ALTER语句，但是我的FLINK任务消费Kafka并没有受到消息，然后我又直接往LOG表手动加入了一条数据，发现任务接收到了该条数据，所以这两者之间的区别还没有太清楚，所以还没找到啥原因，估计要从OGG采集原理上了解下，不知道你们各位大佬有何思路？