开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

OTSStream Reader行模式是什么?

OTSStream Reader行模式是什么?

展开
收起
爱喝咖啡嘿 2023-01-03 12:29:06 146 0
3 条回答
写回答
取消 提交回答
  • 您可以通过行模式导出数据,该模式将用户每次更新的记录,抽取成行的形式导出,需要设置mode属性并配置列名。"parameter": {#parameter中配置下面三项配置(例如datasource、table等其它配置项照常配置)。"mode": "single_version_and_update_only", # 配置导出模式。"column":[ #按照需求添加需要导出TableStore中的列,您可以自定义设置配置个数。{"name": "uid" #列名示例,可以是主键或属性列。},{"name": "name" #列名示例,可以是主键或属性列。},],"isExportSequenceInfo": false, #single_version_and_update_only模式下只能是false。}行模式导出的数据更接近于原始的行,易于后续处理,但需要注意以下问题:每次导出的行是从用户每次更新的记录中抽取,每一行数据与用户的写入或更新操作一一对应。如果用户存在单独更新某些列的行为,则会出现有一些记录只有被更新的部分列,其它列为空的情况。行模式不会导出数据的版本号(即每列的时间戳),也无法进行删除操作。 https://help.aliyun.com/document_detail/142875.html——该回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-01-05 20:11:25
    赞同 展开评论 打赏
  • 行模式下可以通过行模式导出数据,该模式将用户每次更新的记录,抽取成行的形式导出,需要设置mode属性并配置列名。 行模式导出的数据更接近于原始的行,易于后续处理,但需要注意以下问题: 每次导出的行是从用户每次更新的记录中抽取,每一行数据与用户的写入或更新操作一一对应。如果用户存在单独更新某些列的行为,则会出现有一些记录只有被更新的部分列,其它列为空的情况。 行模式不会导出数据的版本号(即每列的时间戳),也无法进行删除操作。

    2023-01-03 12:41:28
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。
    • OTSStream Reader插件主要用于导出Table Store的增量数据。您可以将增量数据看作操作日志,除数据本身外还附有操作信息。参考文档
    2023-01-03 12:41:00
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载