开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中OSS ReaderORC或Parquet文件读取OSS怎么办?

DataWorks中OSS ReaderORC或Parquet文件读取OSS怎么办?

展开
收起
真的很搞笑 2023-04-24 15:17:35 134 0
1 条回答
写回答
取消 提交回答
  • 目前通过复用HDFS Reader的方式完成OSS读取ORC或Parquet格式的文件,在OSS Reader已有参数的基础上,增加了Path、FileFormat等扩展配置参数,参数含义请参见HDFS Reader。以ORC文件格式读取OSS,示例如下。 {"stepType": "oss","parameter": {"datasource": "","fileFormat": "orc","path": "/tests/case61/orc__691b6815_9260_4037_9899_****","column": [{"index": 0,"type": "long"},{"index": "1","type": "string"},{"index": "2","type": "string"}]}}以Parquet文件格式读取OSS,示例如下。{"stepType": "oss","parameter": {"datasource": "","fileFormat": "parquet","path": "/tests/case61/parquet","parquetSchema": "message test { required int64 int64_col;required binary str_col (UTF8);required group params (MAP) {repeated group key_value {required binary key (UTF8);required binary value (UTF8);}}required group params_arr (LIST) {repeated group list {required binary element (UTF8);}}required group params_struct {required int64 id;required binary name (UTF8);}required group params_arr_complex (LIST) {repeated group list {required group element {required int64 id;required binary name (UTF8);}}}requir https://help.aliyun.com/document_detail/137726.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-27 13:53:38
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载