如何选择适合你的企业数据管理类产品

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
简介: 数据工程研发的历史是可以追溯到上世纪八十年代的数据库和数据仓库理论,随后一大批的数据管理服务厂商开始崛起。数仓发展30年,到了数智化的新时代下,我们又该用什么视角来为自己选择一款适合时代发展的产品呢?

前言:更多关于数智化转型、数据中台内容可扫码加群一起探讨
668d7f5941782665ed1f41529db3eb677f4b9379.png
阿里云数据中台官网 https://dp.alibaba.com/index


作者:阿里云数据中台

导读:数据工程研发的历史是可以追溯到上世纪八十年代的数据库和数据仓库理论,随后一大批的数据管理服务厂商开始崛起。数仓发展30年,到了数智化的新时代下,我们又该用什么视角来为自己选择一款适合时代发展的产品呢?

细数数仓30年发展史

数据库与数仓的老牌产品供应商

数据工程研发的历史是可以追溯到上世纪八十年代的数据库和数据仓库理论,随后一大批的数据管理服务厂商开始崛起,其中 Oracle、Informatica 两家非常有代表性,在行业中身居统治地位。

Oracle
Oracle 的数据库在云计算逐步铺开、去IOE声浪逐步扩大的趋势中开始式微,以及各类新兴的非接口化存储,如ElasticSearch、TSDB、MongoDB 等,OLTP场景下的市场份额争夺激烈,除了老牌的数据库厂商外,一些云计算大厂也开始了数据库产品的研发,如AWS的Aurora、阿里云的PolarDB ,在云计算市场中开始成为企业云架构的基础能力。

同时,在OLAP场景下,也就是Informatica一直处于霸主地位的市场中,在12年大数据逐步进入公众视野后,越来越多的挑战者进入,几大云厂商也不例外,其中以Google、Azure和阿里云的追赶最为猛烈,Google在云计算先机失利的情况下,开始发挥巨大现金储备的优势,开始买买买,投资了 CASK、LOOKER等产品,微软则是利用自身的产品沉淀,收割着办公领域的存量客户;阿里云则是以“数据中台”架构打响了企业数字化转型的重要一枪,国内开始大量出现数据中台服务商,生态开始繁荣起来。

Informatica
在这样的大环境下,Informatica作为老牌的数据管理厂商,目前在Gartner魔力象限中依旧占有非常重要的席位,所以在众多企业选型的时候,都会考虑到使用Informatica的产品,但是国内这个产品一直是名声大市场小,对于Informatica的好奇,也为了给客户能够提供更加全面的参考,我们对Informatica进行比较细致的调研,主要从产品能力、技术支撑以及交付模式,因为商业化的企业服务产品都不便宜,希望一次采购能够带来比较长期的收益,所以产品是否能够持续使用起来也是我们关心的一个要素。

首先看Informatica的产品能力,他们提供的主要输出版本已经逐步使用B/S的模式, 相比之前的Client模式对于用户接入提供了更好的体验;对于数据仓库构建的第一步“数据集成”,Informatica以 PowerCenter 作为数据集成的产品名称,为面向不同场景的数据集成,则提供了多样不同的版本:

• PowerCenter 标准版,用于集成和提交及时、相关、可靠的数据;
• PowerCenter 高级版,用于执行复杂的任务关键型数据集成方案;
• PowerCenter 大数据版,通过新兴的技术和传统的数据管理基础设施集成大数据;
• PowerCenter 数据虚拟版,用于提交最新的、全面的、可以信赖的业务视图;
• PowerCenter 实时版,用于实时集成和预配置营运数据;
• PowerCenter 云版本,用于无缝地将云中数据和本地系统上的数据进行集成
这么多版本不免让人眼花缭乱。虽然从产品管理的角度来看,是个不错的拆分方法,但是对于用户而言,就没有这么方便了,让人有种不良商家使用锚定价格来收智商税的感觉。PowerCenter的应用架构如下图:
image.png

PowerCenter 的应用组件:
1)服务端组件
• Informatica Service:PowerCenter 服务引擎
• Integration Service :数据抽取、转换、装载服务引擎
2)客户端组件
• Administrator Console: 用于知识库的建立和维护
• Repository Manager: 知识库管理,包括安全性管理等
• Designer: 设计开发环境,定义源几目标数据结构;设计转换规则,生成ETL映射;
• Workflow Manager: 合理地实现复杂的ETL工作流,基于时间、事件的作业调度;
• Workflow Monitor: 监控workflow和Session运行情况,生成日志和报告
简单地说就是,开发者通过Designer配置和设计数据的传输、转换和映射关系,通过workflow来首先周期性地调度和管理

传统数仓产业

数仓产品选型不仅是功能还有服务

从产品所对应的技术支持能力上看,由于是工具类产品,使用过程中的问题是否有完备的产品使用和客服支持很重要,在官方材料中没有看到过产品的客户服务支持方案,应该与具体的保障要求有关系,不知道是否会像通常的国外软件服务,仅能在工作时间电话,一般离线数据任务都是在凌晨时间运行,一旦出现问题,如何快速响应,也是需要在产品采购时关注的。

新时代数字化建设方案
企业数据中台的构建解决方案架构与落地路径

最后就是交付实施了,对于传统数仓交付的团队,对于Informatica应该不算是陌生的,但是在国内这一类的服务商一直没有发展起来,原因就是太依赖产品了,Informatica不是中小企业的预算可以承受的,所以比较难以规模化,尤其是在云计算的冲击下,消费互联网发展逐渐开始趋平,产业互联网开始兴起,或许企业中会有更多的资金投入到数据管理的领域,

但是,中国国内企业的现状而言,估计还是不仅仅采购一个产品这么简单,如果产品版本过于复杂,操作需要极强的专业性,那么也很难规模化;

对于企业而言,不仅仅需要一个有着丰富功能的产品,还有有支撑通过产品去实现商业成功的团队或者技术支持,所以选择一个有着完善生态交付能力的产品或许是更好的选择。

2019年云栖大会上,阿里云数据中台推出产品Dataphin,其中有个介绍对于国内企业还是参考意义的,产品具体的介绍如下:

“阿里云数据中台,基于阿里巴巴近十年的大数据建设经验,沉淀出一整套的数据采集、建设与管理的方法论体系,并产品化为Dataphin产品,形成数据的采、建、管、用 一站式全链路服务能力,在中国乃至世界企业数字化转型中,承载枢纽位置,助力企业实现数据资产化和价值化!

Dataphin在产品能力在于数据虚拟化上,通过定义一系列的原子的概念,如维度、业务过程、原子指标、业务限定、派生指标,以及模型内的关系,如维度、属性、关联关系等等,从而实现数据生产的自动化,进而实现在开发层是面向业务逻辑的开发、在使用层面是面向主题式模型的引用,进而实现了数据的虚拟化能力。

总结

目前,阿里云数据中台产品矩阵正在不断地优化和发展。建议企业在选择的时候,不要盲目,适合自己的才是好的、对的!


数据中台是企业数智化的新基建,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。目前正通过阿里云数据中台解决方案对外输出,包括零售金融互联网政务等领域,其中核心产品有:

官方站点:
数据中台官网 https://dp.alibaba.com
数据中台钉钉群二维码2.jpg


相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
2月前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
158 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
3月前
|
数据采集 人工智能 数据管理
数据管理进化论:DMS助力企业实现智能Data Mesh
Gartner分析师认为Data Mesh对企业提升数据价值交付效率具有重要意义,阿里云数据管理服务DMS给出了对于Data Mesh的核心思考,包括企业什么时候应该考虑实施Data Mesh,如何解决业务团队素养和意愿问题。结合这些思考,DMS提出了企业可行的落地策略,即企业应以数据价值不断提升为导向,基于元数据驱动的Fabric、AI等能力实现智能Data Mesh,最终形成分布式和集中化的动态平衡,以达到企业数据驱动的最佳状态。
491 6
数据管理进化论:DMS助力企业实现智能Data Mesh
|
2月前
|
存储 数据管理 Java
双副本与双活:TDengine 为企业打造的高效数据管理利器
在现代数据管理中,企业对于可靠性、可用性和成本的平衡有着多样化的需求。为此,TDengine 在 3.3.0.0 版本中推出了两种不同的企业级解决方案:双活方案和基于仲裁者的双副本方案,以满足不同应用场景下的特殊需求。本文将详细探讨这两种方案的适用场景、技术特点及其最佳实践,让大家深入了解这两大方案如何帮助企业在高效可靠的数据存储和管理中取得成功。
37 0
|
3月前
|
缓存 负载均衡 数据管理
深入探索微服务架构的核心要素与实践策略在当今软件开发领域,微服务架构以其独特的优势和灵活性,已成为众多企业和开发者的首选。本文将深入探讨微服务架构的核心要素,包括服务拆分、通信机制、数据管理等,并结合实际案例分析其在不同场景下的应用策略,旨在为读者提供一套全面、深入的微服务架构实践指南。**
**微服务架构作为软件开发领域的热门话题,正引领着一场技术革新。本文从微服务架构的核心要素出发,详细阐述了服务拆分的原则与方法、通信机制的选择与优化、数据管理的策略与挑战等内容。同时,结合具体案例,分析了微服务架构在不同场景下的应用策略,为读者提供了实用的指导和建议。
|
4月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
202 1
|
6月前
|
运维 安全 数据管理
数据管理DMS产品使用合集之是否可以为同一个实例下的不同数据库设置不同的审批规则
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
65 5
|
6月前
|
运维 安全 数据管理
数据管理DMS产品使用合集之windows上安装网关时,token都是新的,报错:无效的token,该怎么办
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
67 4
|
6月前
|
运维 数据管理 数据库
数据管理DMS产品使用合集之遇到报错: "CSV column size overflow, size : 7429, limit : 2048" ,该怎么办
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
56 2
|
6月前
|
运维 数据管理 数据库
数据管理DMS产品使用合集之遇到报错:数据库账号没有权限执行,该如何排查
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
62 2
|
6月前
|
运维 NoSQL 数据管理
数据管理DMS产品使用合集之无法通过DMS登录Redis并收到"NOAUTH Authentication required"的错误提示,该怎么解决
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
114 1

热门文章

最新文章