Data常见问题之Topic篇

简介: 介绍有关DataHub Topic的常见问题

如何修改Topic生命周期
调用Java SDK中的updateTopic方法即可

使用Java sdk写入大批数据,没有写入成功,也没有报错
使用putrecord方法,写入失败不会报错,需要对函数进行判断,也可以通过getFailedRecordCount获取用失败记录数,最优解升级datahub采用putRecordByShard方法

创建Tuple类型的Topic timestamp类型是什么?
datahub中timestamp类型本质上是一个long类型

上游数据源发生变化,topic如何设计?

针对确定的数据源,每一条记录字段可能为空的情况,创建Topic时可选择字段类型允许为null,这样上游同步数据字段缺少的在datahub中会默认为null

Topic字段如何动态修改?

只支持添加字段,调用appendField方法【目前只支持java sdk】进行添加字段
删除字段,修改字段datahub不支持

创建Topic字段众多,无法修改有何解决办法?
针对topic创建错了而且字段众多的情况,可以使用datahub console命令工具

先使用gts命令将SCHEMA结构导出为json文件,修改后使用rtc命令解析json文件自动创建Topic
DataHub支持批量创建Topic,使用datahub console命令工具的script脚本即可

相关文章
|
消息中间件 RocketMQ
RocketMQ报错:MQClientException:no route info of this topic的解决
RocketMQ报错:MQClientException:no route info of this topic的解决
439 0
|
8月前
|
消息中间件 Java API
消息队列 MQ产品使用合集之遇到"No topic route info in name server for the topic"错误,该如何处理
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
消息中间件 Kafka Apache
kafka2.x常用命令笔记(一)创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
kafka2.x常用命令笔记(一)创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
583 0
|
存储 机器学习/深度学习 人工智能
Data topic details 1 | Data
数据结构结构教程 李春葆(第五版)习题 第一章
481 0
|
存储 机器学习/深度学习 算法
Data topic details 2 | Data
数据结构结构教程 李春葆(第五版)习题 第二章
217 0
|
存储 算法 前端开发
Data topic details 3 | Data
数据结构结构教程 李春葆(第五版)习题 第三章
402 0
Data topic details 3 | Data
|
存储 机器学习/深度学习 人工智能
Data topic details | Data
数据结构结构教程 李春葆(第五版)习题
600 0
Data topic details | Data
|
存储 人工智能 移动开发
Data topic details 7 | Data
数据结构结构教程 李春葆(第五版)习题 第七章
124 0
Data topic details 7 | Data
|
存储 算法
Data topic details 9 | Data
数据结构结构教程 李春葆(第五版)习题 第九章
168 0
Data topic details 9 | Data