问题一:git flink 源码,文件名太长了的问题,大家在win系统上面怎么解决的?
git flink 源码,文件名太长了的问题,大家在win系统上面怎么解决的?
参考答案:
第一步:修改注册表
1) 打开注册表。
2)打开如下路径
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem
3)修改LongPathEnabled为1。
第二步:修改组策略
1)打开组策略。
2)进入如下的目录。
Computer Configuration > Administrative Templates > System > Filesystem
3)双击它以编辑策略设置。将其从“已禁用”更改为“已启用”,然后单击“确定”按钮提交更改。
第三步:
命令行执行git config core.longpaths true
完成以上步骤后重启电脑即可
——参考链接。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/659039
问题二:Flinksql操作clickhouse 有什么jar包,我看网上有一个老的阿里的,哪位知道?
Flinksql操作clickhouse 有什么jar包,我看网上有一个老的阿里的,还有新的不。哪位大佬知道?
参考答案:
实现flinksql 操作clickhouse基本的增删改查。
jar包含:
1、clickhouse-jdbc-0.3.1.jar 2、flink-connector-clickhouse-1.16.0-SNAPSHOT.jar 3、flink-table-common-1.16.0.jar 4、guava-31.0.1-jre.jar
'connector' = 'clickhouse', 'url' = 'clickhouse://192.168.16.129:8123', 'database-name' = 'flinkcdc', 'table-name' = 'ods_project_pro_project', 'sink.batch-size' = '500', 'sink.flush-interval' = '1000', 'sink.max-retries' = '3', 'sink.ignore-delete'='false'
——参考链接。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/622846
问题三:flinksql 读取kafka数据 写入到mysql 按照主键更新 会不会导致数据乱序?
flinksql 读取kafka数据 写入到mysql 按照主键更新 如果上游并行度是3 再mysql ddl中设置sink.parallelism=2 会不会导致数据乱序啊 哪位大佬知道?还有就是 flinksql 有办法 实现keyby么。 控制按照哪个字段分区?
参考答案:
参考练级:https://developer.aliyun.com/article/1522500 ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/639657
问题四:flinkcdc在监听binlog时如果程序停掉,中途又新增,如何让程序在停掉的点重新监听?
flinkcdc在监听binlog时如果程序停掉,中途又新增,如何让程序在停掉的点重新监听?
参考答案:
Flink CDC Connectors支持Flink的检查点(Checkpoint)机制。通过定期创建检查点,Flink可以保存当前的偏移量信息。如果程序停止,可以从最近的检查点恢复。
你还需要确保数据库的binlog是开启的,并且binlog文件不会被在Flink处理之前清理掉。这样即使Flink作业停止,binlog中的数据仍然可用。手动控制作业的保存点,可以使用Flink的Savepoint功能。Savepoint是作业的一个一致性快照,可以手动触发并保存到文件系统中。
这样你试试
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/658095
问题五:flinkcdc在监听binlog的时候如果程序停掉了,如何能让程序在停掉的那个点重新监听呢?
flinkcdc在监听binlog的时候如果程序停掉了,中途binlog又有新增,如何能让程序在停掉的那个点重新监听呢?
参考答案:
可以自己记录位点,重启的时候从记录的位点开始。你可以试一下 ,
关于本问题的更多回答可点击进行查看: