开发者社区 问答 正文

请教一下,delta是不是可以理解为,是基于hdfs的行级别的数据库?然后对于更新数据对于hdfs产生小文件的解决方案是他会提供merge机制?

delta是不是可以理解为,是基于hdfs的行级别的数据库?然后对于更新数据对于hdfs产生小文件的解决方案是他会提供merge机制?

展开
收起
开源大数据EMR 2019-05-05 10:42:20 4186 分享 版权
1 条回答
写回答
取消 提交回答
  • 是的,可以大致这样理解。是行级别的,但下面存储格式基本上还是以 Parquet/ORC 列式为主;delta 小文件要及时合并的,否则性能很差。数据库这个提法不一定好,因为并不会用于 OLTP;可以说是数据仓库,OLAP 场景为主的。关于这个区别,我的一篇文章里面讲得比较细。可以看看。
    https://yq.aliyun.com/articles/699919?spm=a2c4e.11153959.0.0.4f427507ntu6fX

    2019-07-17 23:34:45
    赞同 展开评论