开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

在Hologres中,想问一下 holo 数据写到oss 里,有现成的吗?

在Hologres中,想问一下 holo 数据写到oss 里,有现成的吗?

展开
收起
想去床上睡觉 2024-07-31 09:38:25 38 0
2 条回答
写回答
取消 提交回答
  • 2024-07-31 20:53:54
    赞同 1 展开评论 打赏

  • Hologres通过DLF读写OSS数据
    image.png
    注意事项
    Hologres数据导出至OSS时仅支持执行INSERT INTO命令,不支持执行INSERT ON CONFLICT、UPDATE和DELETE命令。

    仅Hologres V1.3及以上版本支持回写数据至OSS,且仅支持ORC、Parquet、CSV、SequenceFile格式文件。

    Hologres暂不支持从引擎侧自动创建OSS外部表,如需使用INSERT INTO命令回写数据至OSS,请在DLF中提前创建好对应的外部表,如需导出数据至分区表,请提前创建好对应的分区。

    只读从实例暂不支持开启数据湖加速能力。

    不支持读写使用了OSS加速器的数据湖数据,OSS加速器详情请参见使用OSS加速器。

    IMPORT FOREIGN SCHEMA语句支持导入存储于OSS上的分区表,当前Hologres最多支持查询512个分区,请添加分区过滤条件,使得一次查询不超过512个分区。

    湖数据查询的原理是在运行时将外表数据的特定查询分区加载到Hologres的内存和缓存中完成计算,为不影响查询体验,Hologres一次查询支持的数据量不超过200GB(经分区过滤后命中的数据量)。

    不支持对外表执行UPDATE、DELETE及TRUNCATE等命令。
    image.png

    参考官方文档如下:
    https://help.aliyun.com/zh/hologres/user-guide/use-dlf-to-read-data-from-and-write-data-to-oss?spm=a2c4g.11186623.0.i27
    回答不易请采纳

    2024-07-31 10:11:15
    赞同 1 展开评论 打赏

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关产品

  • 实时数仓 Hologres
  • 相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载