智能数据引擎Dataphin重磅发布,提供一站式的技术管理能力

简介: 面对各行各业日趋强烈的大数据建设、管理及应用诉求,2018年2月28日MWC大会,阿里云重磅推出了智能数据构建与管理平台Dataphin——从数据接入到数据消费全链路,提供一站式的大数据能力,包括产品、技术和方法论等,致力于助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。

面对各行各业日趋强烈的大数据建设、管理及应用诉求,2018年春季的MWC大会,阿里云重磅推出了智能数据构建与管理平台Dataphin——从数据接入到数据消费全链路,提供一站式的大数据能力,包括产品、技术和方法论等,致力于助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。

e2fd1c287e6e467f3b7a0553c0eb51623cb0730e

Dataphin作为智能的大数据平台,能够协助各行各业智能地建设与管理属于自己的智能数据。自2018年2月28日MWC大会全球首发后,3月12日又推出了专有云v3.3首发V0.8版本,6月15日,则将推出专有云v3.5发布升级后最新的V1.0版本。

 

场景应用

数据急剧增长的情况下,企业会面临着多种数据问题:

    1. 数据构建过程艰辛,数据管理结果差强人意;
    2. 数据建设周期与效率越发难以保证。因为缺乏工具化支持,依赖专业人才设计数仓、开发过程繁杂,同时只有文档沉淀、不可持续迭代使用;
    3. 高效生产管理数据越发困难。因为缺乏一站式平台,导致设计与开发脱节、数据指标不一致,数据建设不规范而难维护、资源浪费而成本增高;
    4. 数据价值难发掘、难用于业务、难量化。因为缺乏系统化方法论和配套产品,无法输出智能易用的数据及数据服务以更好支持业务,数据投入产出不高也难追踪到问题;
    5. ......

因此对于数据量达到TB级别的客户,企业一方面需要尽力招聘更多专业的数仓人员或分析师满足数据需求,另一方面却依然存在数据重复建设、数据前后不一致的问题。此外,业务需求依然难以快速满足,数据资源成本指数级增长依然难以控制。

 

为此,Dataphin基于实践验证的OneData、OneID、OneService方法论与技术,提供了工具化、产品化的一站式数据构建与管理平台,既可以保证数据生产标准规范、数据模型设计即开发为代码、即时生成主题式数据服务,同时还能提供数据资产化管理的门户,有效降低了数仓建设门槛,提高生产效率、降低生产成本,让数据从成本中心真正变成价值中心。

 

在适用客户上,Dataphin服务于所有以数据业务(包括数据驱动业务、数据即业务)为核心的客户,可应用于数据量大或者增长过快、数据类型多样丰富的场景下,帮助快速生产管理标准规范的公共数据,快速服务业务使用(如经营报表、营销圈人)。

 

从具体的应用场景来看,Dataphin提供了四种能力:

 

有了Dataphin之后,如上问题弹指间即可解决。

Dataphin基于实践验证的OneData、OneID、OneService方法论与技术,既可以保证数据标准规范定义、数据模型设计即自动化开发、主题式数据服务即时生成,同时还能提供数据资产化管理的门户,有效降低数仓建设门槛,也提高生产效率、降低生产成本,轻松实现让数据从成本中心真正变成价值中心,且可量化呈现。

4f5e0850a95a3f6cd5cff7ea732b7762d14bba54

    1. 数仓规划与建模研发:建模研发支持通过可视化定义SQL表达式的方式完成模型设计,而系统自动发布生成任务与生产数据,且所有数据指标标准规范无二义性,适用于业务对数据需求多且及时性要求高而专业人才有限情况的客户,一般需要全局化数据监控;
    2. 数据萃取:支持通过自定义配置参数的方式三步完成以实体对象为中心的业务主数据提炼、DMP构建,实现ID识别连接、标签标准规范地自动化生产,消除数据孤岛,适用于可以有丰富数据自建DMP、有营销投放等对象识别分析需求、用数据驱动业务发展而专业人才有限情况的客户,一般需要数据化运营;
    3. 资产分析及治理:支持资产化视角构建及管理数据体系并一目了然数据价值,适用于数据类型多样、数据丰富、数据成本或者质量安全对企业很重要等需要统一管理数据的客户,特别是以数据为业务的、数据融入业务的;
    4. 数据服务:支持面向主题的逻辑表查询,保证数据被快捷方便地查找定位、数据查询SQL得到最大的简化,提高效率的同时,保证规范、标准、无二义的数据输出至业务应用,适用于有很多数据应用、需要API化或者其他非代码查询方式使用数据的客户,数据化运营或者数据业务化都会有需求。

 

目前,Dataphin已在大润发和海底捞两个项目进行测试。基于Dataphin平台,有望实现公司业务10%以上的数据开发工作工具化和标准化,还能形成一套以公共层数据支持为基础的经营报表分析和营销分析平台。

 

技术解读

 

6月15日,Dataphin将升级推出专有云v3.5发布后最新的V1.0版本。

 

作为PaaS层工具产品,这一版本最大的提升在于功能易用性,比如即可视化数据建模、代码自动化生成、数据资产图谱自动化生成,通过可视化配置方式建设数据模型,提交后系统自动化生成代码,同时有一个直观的可视化资产图谱揭示数据关系、便于确定数据使用方式。

 

其中,建模研发设计与开发的一体化完成,能够极大提高原有完全人工编写代码的效率(可视化勾选填写后,代码和数据自动化生产)、降低数仓建设复杂度。此外,利用工具将数仓模型的知识进行沉淀,那么后续的迭代也会更加便利。同时,Dataphin还申请了专利的智能黑盒技术,通过近一年的打磨,保证产品端简单的操作录入数仓建设信息后,经过智能黑盒可以输出稳定的、计算和存储机制最优的数据生成代码。

 

目前,业界也有多个项目聚焦数据建设相关方面,比如腾讯数据工坊、teradata、informatica都有相似做数据建设开发的工具,在代码编辑、提交调度等方面功能稳定性和性能度上的表现也都较为稳定。但是,它们都没有Dataphin所提供的全局数仓架构设计功能,也没有建模设计后立即自动化代码生成的功能。

 

实操接入

 

目前,Dataphin数据平台的技术水准遥遥领先于国内同类型产品的榜首。它具有很强的自动化代码生成能力,除去高效建设以降低生产资源(因业务差异),核心可以释放20%甚至以上的分析师和数据开发工程师的人力,还能将企业数据资产留在自己的系统工具内,对于广大企业来说,选择Dataphin绝对物超所值。

 

369e5a705160ae1f9b9c9fccb2840d477e882eca

 

对于企业来说,借力阿里的智能数据引擎Dataphin,通过其结合数据中台实践沉淀的方法论和自动化代码生成等技术能力,能够极好地解决人才和工具两方面的问题。

 

想了解更多产品详情,请点击官网:https://www.aliyun.com/product/dataphin

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
SQL 人工智能 分布式计算
【产品升级】Dataphin V5.3 全新上线:四大能力升级,数据管理更统一、更智能!
V5.3版本,Dataphin推出众多重磅功能:例如,全新的智能应用:X-数据标准、X-数据安全以及智能应用反馈看板;更前沿的数据研发能力:利用SelectDB/Doris/StarRocks查询加速Hive和MaxCompute的离线引擎、全面支持Paimon格式的数据湖构建;资产运营和数据服务持续提效。
463 0
|
5月前
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
495 0
|
9月前
|
运维 分布式计算 监控
Dataphin深度评测:企业级数据中台的智能实践利器
Dataphin是一款以全链路治理、智能提效和高兼容性为核心的企业级数据中台工具,特别适用于中大型企业的复杂数据场景。其流批一体能力、资源监控工具及行业化模板库可显著提升数据治理水平并降低运维成本。通过周期补数据功能,历史数据修复效率提升约60%;智能建模功能使建模时间缩短50%。尽管在数据源支持(如SAP HANA、DB2)和用户体验上仍有改进空间,但其强大的功能使其成为构建企业级数据中台的优选工具,尤其适合零售、金融等行业需要高效数据治理与实时分析的企业。
|
3月前
|
SQL 人工智能 搜索推荐
Dataphin功能Tips系列(71)X-数据管家:数据资产运营的「AI外挂」
在企业数据治理中,数据资产规模庞大、字段繁多,手动录入效率低且易出错。Dataphin推出「X-数据管家」,利用大模型智能生成标签、描述及字段类型等信息,支持一键批量上架,大幅提升资产运营效率。
142 0
|
4月前
|
SQL 数据管理 API
【产品升级】Dataphin V5.2 全新上线:四大能力升级,数据管理更统一、更智能!
Dataphin是阿里巴巴推出的数据建设与治理平台,提供全链路数据服务,助力企业构建标准化数据资产体系。V5.2版本新增“数据资产一站式运营平台”,引入X-数据管家、X-ETL等智能应用,提升数据运营效率。开发平台全面升级,支持多云复杂环境,强化API行级权限管控,保障数据安全。新版还适配国际化多时区场景,助力企业高效协同,释放数据价值。
402 9
|
8月前
|
SQL 数据采集 分布式计算
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
Dataphin是一款智能数据建设与治理平台,基于阿里巴巴OneData方法论,提供从数据采集、建模研发到资产治理、数据服务的全链路智能化能力。它帮助企业解决数据口径混乱、质量参差等问题,构建标准化、资产化、服务化的数据中台体系。本文通过详细的操作步骤,介绍了如何使用Dataphin进行离线数仓搭建,包括规划数仓、数据集成、数据处理、运维补数据及验证数据等环节。尽管平台功能强大,但在部署文档更新、新手友好度及基础功能完善性方面仍有提升空间。未来可引入SQL智能纠错、自然语言生成报告等功能,进一步增强用户体验与数据治理效率。
842 34
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
|
11月前
|
安全 数据挖掘 大数据
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
Dataphin的技术架构与实践路径,涵盖多引擎兼容、混合云架构、统一资产消费等方面,Dataphin通过持续升级,帮助企业实现全生命周期的数据资产管理,助力企业在大模型时代更好地“建好数据”、“用好数据”。
592 87
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
|
7月前
|
数据采集 存储 监控
星河中的数据旅程:从普通字段到核心指标 -- 基于Dataphin的数据源资产全链路管理
在数据星河中,Starrocks星球的字段居民渴望登上资产管理平台,贡献数据力量。通过元数据采集、标准稽核与质量监控,字段们获得新身份“核心业务指标”。借助Dataphin平台功能,如自定义属性和QuickBI对接,它们最终参与经营分析报表,助力决策。Dataphin V4.4提升了全链路管理能力,新增大数据存储元数据采集、自定义指标等功能,释放数据潜力。加入Dataphin,探索数据无限可能!
190 8
|
6月前
|
运维 安全 数据管理
Dataphin V5.1 企业级发布:全球数据无缝集成,指标管理全新升级!
企业数据管理难题?Dataphin 5.1版来解决!聚焦跨云数据、研发效率、指标管理和平台运维四大场景,助力数据团队轻松应对挑战。无论是统一指标标准、快速定位问题,还是提升管理安全性,Dataphin都能提供强大支持。3分钟了解新版本亮点,让数据治理更高效!
118 0
|
9月前
|
数据采集 SQL 人工智能
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
550 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期

热门文章

最新文章