ODPS技术架构及应用实践
DT时代,数据是宝贵的生产资料,不断扩大的数据规模给ODPS带来极大地挑战。阿里巴巴坚持对ODPS的投入开发,采用内聚式平台系统架构,各个组件紧凑内聚,除了结构化数据处理SQL、分布式编程模型MapReduce外,还包含图计算模型、实时流处理和机器学习平台。随着ODPS对外开放的不断推进和第三方数据
数据中台的存储系统和计算平台枚举
采集&传输层
SqoopHadoop、关系型数据库之间传输数据的工具。传输时,会启动多个MR作业并发的传输数据
DataX阿里巴巴开源的数据同步工具,用来在各种异构数据源之间同步数据。