数据总线 DataHub

首页 标签 数据总线 DataHub
# 数据总线 DataHub #
关注
607内容
DataHub通过DataConnector流转到MaxCompute全链路测试
前面通过博客:流数据同步DataConnector测试整理简要介绍了DataConnector的配置。下面通过一个示例,从maxcompute建表开始,介绍整个链路的实现。实现使用Datahub SDK写入数据到Topic,进而经过Dataconnector推送数据到maxcompute的数据表。
一站式元数据治理平台——Datahub入门宝典(一)
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程。作为新一代的元数据管理平台,Datahub在近一年的时间里发展迅猛,大有取代老牌元数据管理工具Atlas之势。国内Datahub的资料非常少,大部分公司想使用Datahub作为自己的元数据管理平台,但可参考的资料太少。 所以整理了这份文档供大家学习使用。本文档基于Datahub最新的0.8.20版本,整理自部分官网内容,各种博客及实践过程。
| |
来自: 云存储
阿里十年技术沉淀|深度解析百PB级数据总线技术
数据总线作为大数据架构下的流量中枢,在不同的大数据组件之间承载着数据桥梁的作用。通过数据总线,可以实时接入来自服务器、K8s、APP、Web、IoT/移动端等产生的各类异构数据,进行统一数据管理,进而实现与下游系统的解耦;之后可以异步实现数据清洗、数据分发、实时计算、离线计算等计算过程,进而将结构化后的数据投递到下游的分析、归档系统,进而达到构建清晰的数据流的目的。广义上,数据采集与接入、传输链路、存储队列、消费计算、投递等都属于数据总线的范畴,整体上可以分为采集接入层、管道层、计算层。
订单同步有技巧,双十一高峰不再怕
双十一高峰下,订单同步如何保障?阿里巴巴顾风胜在大流量高并发互联网应用实践在线峰会上分享了双十一订单全链路、传统订单同步方法、官方订单同步服务——数据推送、官方仓库对接标准——奇门、高效订单回写方法——批量API。
免费试用