DataWorks百问百答33:数据同步怎么配置ODPS分区?

简介: 数据同步怎么配置ODPS分区

同步任务可以支持ODPS的数据列、分区列、常量列,但_不支持函数列_ 

  • ODPS分区配置支持linux shell通配符,* 表示0个或多个字符,? 代表任意一个字符
  • 默认情况下,读取的分区需要存在,如果分区不存在任务会报错。 如果您希望分区不存在时任务仍然成功,您可以转换为脚本模式,在odps的parameter端下面配置successOnNoPartition参数,即 "successOnNoPartition": true

例如:分区表 test存在 pt=1,ds=hangzhou pt=1,ds=shanghai pt=2,ds=hangzhou pt=2,ds=beijing 四个分区,如果你想读取 pt=1,ds=shanghai 这个分区的数据,分区信息中配置: pt=1,ds=shanghai;

如果你想读取 pt=1下的所有分区,分区信息中配置 :pt=1,ds=;如果你想读取整个 test 表的所有分区的数据,分区信息中配置 :pt=,ds=*

  • 如果需要指定最大分区,可以配置如下信息:

/*query*/ ds=(select MAX(ds) from DataXODPSReaderPPR)

  • 如果需要按条件过滤,可以配置如下信息:

/*query*/ pt>=20170101 and pt<20170110,表示pt分区大于等于20170101且小于20170110的所有数据

ODPS写插件指定分区技巧

  • 需要写入数据表的分区信息,必须指定到最后一级分区。把数据写入一个三级分区表,必须配置到最后一级分区

例如:pt=20150101/type=1/biz=2

  • 不支持写入多个分区

DataWorks百问百答历史记录 请点击这里查看>>

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
存储 SQL 分布式计算
大数据散列分区映射到分区
大数据散列分区映射到分区
189 4
|
6月前
|
资源调度 安全 Java
Java 大数据在智能教育在线实验室设备管理与实验资源优化配置中的应用实践
本文探讨Java大数据技术在智能教育在线实验室设备管理与资源优化中的应用。通过统一接入异构设备、构建四层实时处理管道及安全防护双体系,显著提升设备利用率与实验效率。某“双一流”高校实践显示,设备利用率从41%升至89%,等待时间缩短78%。该方案降低管理成本,为教育数字化转型提供技术支持。
176 1
|
5月前
|
存储 搜索推荐 算法
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
本文深入探讨了Java大数据技术在智能金融理财产品风险评估与个性化配置中的关键应用。通过高效的数据采集、存储与分析,Java大数据技术助力金融机构实现精准风险评估与个性化推荐,提升投资收益并降低风险。
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
|
存储 负载均衡 算法
大数据散列分区计算哈希值
大数据散列分区计算哈希值
194 4
|
大数据 数据管理 定位技术
大数据散列分区选择分区键
大数据散列分区选择分区键
159 2
|
负载均衡 大数据
大数据散列分区查询频率
大数据散列分区查询频率
141 5
|
存储 大数据 数据处理
大数据散列分区数据分布
大数据散列分区数据分布
152 2
|
存储 负载均衡 监控
大数据散列分区数据分布
大数据散列分区数据分布
177 1
|
存储 负载均衡 NoSQL
大数据散列分区
大数据散列分区
178 2
|
存储 大数据 数据管理
大数据列表分区
大数据列表分区
175 1

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks