开发者社区> 问答> 正文

Delta lake数据入湖的意思是什么呢?

Delta lake数据入湖的意思是什么呢?

展开
收起
游客mm5dulkpivqdo 2021-12-11 13:34:50 1608 0
1 条回答
写回答
取消 提交回答
  • 企业的原始数据存在于多种数据库或存储系统,如关系数据库MySQL、日志系统SLS、NoSQL存储HBase、消息数据库Kafka等。其中大部分的在线存储都面向在线事务型业务,并不适合在线分析的场景,所以需要将数据以无侵入的方式同步至成本更低且更适合计算分析的对象存储。 常用的数据同步方式有基于DataX、Sqoop等数据同步工具做批量同步;同时在对于实时性要求较高的场景下,配合使用Kafka+spark Streaming / flink等流式同步链路。目前很多云厂商提供了一站式入湖的解决方案,帮助客户以更快捷更低成本的方式实现数据入湖,如阿里云DLF数据入湖。

    2021-12-11 13:37:42
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Blink_Data_Lake 立即下载
《基于Apache Hudi的CDC数据入湖》 立即下载
时序数据库TSDB的SQL与流计算 立即下载