开发者社区> 问答> 正文

Logview慢任务诊断中tunnel数据采集过程中产生的小文件有什么处理方法?

Logview慢任务诊断中tunnel数据采集过程中产生的小文件有什么处理方法?

展开
收起
游客fq2cv4o24bhvc 2021-12-10 19:35:53 554 0
1 条回答
写回答
取消 提交回答
  • 1、调用tunnel sdk时,当buffer达到64M时提交一次

    2、使用console时避免频繁上传小文件,建议积累较大时一次性上传

    3、如果导入的是分区表,建议给分区设置生命周期,过期不用的数据自动清理

    4、insert overwrite源表

    5、使用整合小文件SQL

    2021-12-10 19:38:57
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
MaxCompute Logview参数详解和问题排查(废弃) 立即下载
FLINK在大规模实时无效广告流量检测中的应用 立即下载
“静态调用链路发现“在APM中的应用场景分析及实践探索 立即下载