我使用flinksql消费kafka并将数据写入doris,但出现中文乱码。
SQL如下:
CREATE TABLE datacollect_business_kafka
( id
varchar(36), chain_id
varchar(36), app_id
varchar(32) , ... CHARACTER SET UTF-8
) WITH ( 'connector' = 'kafka', 'topic' = 'datacollect_business_stage', 'properties.bootstrap.servers' = 'XXX', 'properties.group.id' = 'testGroup', 'scan.startup.mode' = 'latest-offset', 'format' = 'json' );
CREATE TABLE datacollect_business_doris
( id
varchar(36), chain_id
varchar(36), app_id
varchar(32) , ... CHARACTER SET UTF-8
) WITH ( 'connector' = 'doris', 'fenodes' = 'XXX', 'table.identifier' = 'stage_datacollect.datacollect_business', 'username' = 'XXX', 'password' = 'XXX', 'sink.batch.size' = '1' );
insert into datacollect_business_doris select * from datacollect_business_kafka;
在网上查找信息,flink-conf.yaml文件中添加:env.java.opts: "-Dfile.encoding=UTF-8”
flink版本:1.12.4 部署模式:on yarn*来自志愿者整理的flink邮件归档
你可以先用 print 的 connector 把消费到的数据打印一下看是否乱码? 还是写入到 doris 后出现的乱码?
*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。