Data Lake Delta、Hudi、 Iceberg不同点有什么？

Hudi先说Hudi。Hudi的设计目标正如其名，HadoopUpsertsDeletesandIncrementals（原为HadoopUpsertsanDIncrementals），强调了其主要支持Upserts、Deletes和Incremental数据处理，其主要提供的写入工具是SparkHudiDataSourceAPI和自身提供的DeltaStreamer，均支持三种数据写入方式：UPSERT，INSERT和BULK_INSERT。其对Delete的支持也是通过写入时指定一定的选项支持的，并不支持纯粹的delete接口。其典型用法是将上游数据通过Kafka或者Sqoop，经由DeltaStreamer写入Hudi。DeltaStreamer是一个常驻服务，不断地从上游拉取数据，并写入hudi。写入是分批次的，并且可以设置批次之间的调度间隔。默认间隔为0，类似于SparkStreaming的As-soon-as-possible策略。随着数据不断写入，会有小文件产生。对于这些小文件，DeltaStreamer可以自动地触发小文件合并的任务。