数据+AI融合趋势洞察暨阿里云OpenLake解决方案发布

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: Forrester是全球领先的市场研究与咨询机构,专注于新兴技术在各领域的应用。本文探讨如何加速现代数据管理,推动人工智能与客户业务的融合创新。面对数据标准缺乏、多云环境复杂性、新兴业务场景及过多数据平台等挑战,Forrester提出构建AI就绪的数据管理基石,通过互联智能框架、全局数据管理和DataOps、端到端数据管理能力、AI赋能的数据管理以及用例驱动的策略,帮助企业实现数据和AI的深度融合,提升业务价值并降低管理成本。

Forrester是全球最大的独立市场,研究与咨询机构之一,领导全球关于新兴技术在不同领域的研究工作,像大模型,云原生还有数据管理。今天分享的内容是如何加速现代数据管理,帮助客户和人工智能一起融合创新。


在过去的18个月,特别是最近的云栖大会,已经深切的感受到新一轮的人工智能的浪潮在重塑整个世界,从每一个在座的朋友本职的工作,到所处的企业、所面对的客户群体,还有社会的方方面面,在每一个不同的场景都看到人工智能和客户的数据管理协同影响着整个世界,Forrester总结七个不同的领域,也是客户看到的最为主流的业务场景,分别是内容的创建,各种各样的文本、语音、视频等,以及客户的服务,从线上到线下,现代知识管理包括对于各种各样知识的生成,获取、管理和治理等,以及文档的自动化,比如生成文档,进行文档的摘要,还有定义的图灵机器人,面向各种各样开发人员的代码助手,以及智能体,以及各种各样的工作空间助理-Copilot。各个行业的数字化创新,好像是非常美好的PPT未来。


但实际上中国乃至于全球的各个行业都面临着现代数据管理的严峻挑战。总结有五个主要的方面。首先,第一个方面是来自于数据标准的缺乏,每一个企业自身都有很多的私有数据,它的格式,它的数据的策略都非常的封闭,导致企业的数据管理日益的复杂,效率非常的低下。第二点来自整个的云环境,现在多云、混合云、边缘云分布式的环境是常态化的选择,对于企业自身的数据性能,数据的质量,数据的集成等方面都带来挑战。第三个方面来自于新兴的业务场景,看到RAG检索增强生成,AIOps,包括计算机视觉,智能决策不同的新的业务场景。对于大数据的各个V,数据的规模、数据的来源、数据的类型、数据的变化的频次等都变得越来越规模化,使数据管理越来越费时费力。第四点是过多的数据管理相关的技术平台。在过去二三十年,国家信息化到数字化到数质化的旅程中,有越来越多的平台被企业所采用,面向交易,面向运营,面向客户分析的有关系型数据库,NoSQL数据库,内存数据库,以及向量数据库,各种各样不同的数据平台都得到使用。


研究表明,每个企业现在都有至少20种不同的数据平台,这是非常复杂的事情,最为关键的一点是来自于生成式人工智能对于整个企业的挑战。五年前论文里面提到的基础模型的五个方面的问题,幻觉,相关性,准确性,内存的占用等,现在依然没有完全解决,各个场景本身所需要具备的能力,比如PPT上面展现出来的RAG,对于RAG整个架构的分析,需要包含非常多的能力,从底层各种各样的组件,到上层各种各样的全方位的能力,不是一朝一夕之功,需要有一个非常坚实的数据基础提供支撑,面对五方面的挑战该怎样去做,非常简单,只需要做两件事情,第一件事情需要构建一个AI就绪的数据管理的基石,需要借助互联智能框架(Connected intelligence Framework)。这张图上看到框架的八个组成要素,从一开始数据的发现与搜寻,一直到数据的观测与评估,每个方面都需要有能力的提升,比如数据发现与搜寻里面需要有效的表达业务的需求,在数据的测试与训练需要提升用户的信任,在交付与部署层面需要实现规模化的应用,这些都需要在很多不同的层次上面进行投入。


第一个方面需要拥抱全局数据管理和DataOps帮助简化数据的运维工作,这一方面需要拥抱包括数据湖仓,Data Fabric数据编织或者数据的构架以及全局的分布式数据平台,使客户能够对所有的数据有一体化的视角。同时需要面向分布式的云环境,对企业内部的数据和原数据有效的治理和管理。


第二个方面是需要聚焦端到端。Forrester认为端到端有三层不同的含义。首先在最上面需要有一个集成的原数据,有集成的数据的策略,有集成的数据AI的模型,中间需要一个端到端的数据管理的能力,从开始数据的获取到最后数据的质量都能有效的把控,底层需要有各种各样的数据的组件,助力端到端能力的交付。这样的架构需要包括数据库仓,数据网格等不同领域的技术和平台,使它快速的实现。


第三个方面是需要优先考虑AI赋能的数据管理,Data for AI,AI也要for Data,需要将AI的能力融入到数据管理的每一个环节,从而具备自助服务的能力,具备主动式服务的能力,具备面向语义、面向自管理和一体化的能力,这可以帮助交付右边所列出来的商业价值,比如可以更加敏捷的去交付应用,更加有效的进行数据洞察的获取,第四个方面是用例驱动,现在企业内部的各种各样的人工智能的领域复杂,各种用例需要具备不同的底层的基础设施的支撑,从RAG到CDP到物联网到数据共享平台,应有效的提升价值,价值的提升需要将底层的各种能力有效的进行组装,通过组装式搭积木的方式帮助对用例提供支撑。


最后是融合数据平台,融合数据平台体现在三个不同的层次上面,中间也是最为核心的是分析平台,数据仓库和数据湖正在向着数据湖仓快速的融合,它和对象存储,和客户的分运行,数据库和NoSQL数据库进一步的融合,成为分析型的数据管理平台。左边是多模态,右边是Translyti cal或者Gen第二代,两方面都有自身所融合的内容。在五个重要的发展方向上,如果能做好相关的举措,就可以有效的实现AI就绪的数据基础设施。突出强调数据湖仓的重要意义,可以为企业带来非常显著的战略价值,一方面帮助快速的构建一体化的数据分析平台,另一方面也可以加速获取AI赋能的业务洞察。最后有效的降低数据管理基础设施的成本。看这张PPT,里面列出Forrester定义的关于数据湖仓的19项重要的能力,从一开始对各种各样的数据类型的支撑到数据工程化的能力,到数据的集成包括数据的治理,对于整体的数据管理的把控,如果有效的进行对比,可以很清晰的看到和传统的数据湖或者是数据仓库比较,数据湖仓可以有效的弥补原先的空白,或者将原先的能力进行大幅度的提升,差异化的优势对整体能力的把控非常关键,这是第一步,也是最为重要的一步。还需要具备一个全局的视角,从平台实现以及合作伙伴三个方面进一步的加速数据管理和人工智能的融合创新。平台需要将云原生将现代数据管理和AI的能力有机的融为一体,从左到右是从数据管理到模型的开发、训练和服务,贯穿全生命周期的是Model-as-a-Service的全生命周期。从下到上是从AI原生的基于云原生架构的基础设施,到中间层的各种各样的开发的能力,到最上层的应用的服务都可以有效的进行赋能。


在实践中,Forrester强调三方面。第一个方面不需要期待一个killer APP一个杀手机的应用,应当期待的是AI的能力可以帮助企业的方方面面,每一个业务条件,每一个业务的领域都可以实现微增强。第二点在最右边,是流程,只有将各种各样的能力和流程,比如智能体和传统的流程有机的进行编排,才可以发挥人工智能的最大效能。而底层的数据基础设施是贯穿整个流程的重要的抓手,中间是新的挑战来自于数据和AI双方向的治理。以前叫做shadow IT,影子IT,现在叫shadow AI,影子AI。对人工智能的极大的热情引入新的风险,合规性的风险、安全的风险、隐私的风险,需要有机的进行治理,才可以将数据的价值发挥到最大化。


最后是合作伙伴,选择的并不是某一个平台或者某一种技术,选择的是在未来漫长的征程之中,能够携手同行的合作伙伴,这是为什么Forrester强调在选择之中,需要聚焦四个方面,其中的技术和工程非常重要,合作伙伴也应当需要具备对业务场景的影响能力,对业务的洞察,也需要能够具备对咨询服务和生态的能力。更需要具备自身的数据和AI的人才,只有将这四个方面有机的融合起来,才可以更加有效的将数据和AI融合起来。为企业的人工智能的发展奠定坚实的基础。想要加速转型,加速客户企业数据管理和人工智能战略的转型,从而切实的推动企业业务的成长,需要打造AI就绪的数据管理基石,并且借助于平台实践、和合作伙伴三个方面的融合进一步的成长。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
5天前
|
传感器 人工智能 监控
AI与物联网的融合:开启智能化未来的新篇章
AI与物联网的融合:开启智能化未来的新篇章
142 96
|
6天前
|
机器学习/深度学习 人工智能 算法
FinRobot:开源的金融专业 AI Agent,提供市场预测、报告分析和交易策略等金融解决方案
FinRobot 是一个开源的 AI Agent 平台,专注于金融领域的应用,通过大型语言模型(LLMs)构建复杂的金融分析和决策工具,提供市场预测、文档分析和交易策略等多种功能。
63 13
FinRobot:开源的金融专业 AI Agent,提供市场预测、报告分析和交易策略等金融解决方案
|
5天前
|
人工智能 搜索推荐 Serverless
打造智能购物新体验:主动式智能导购AI助手解决方案评测
阿里云推出的《主动式智能导购AI助手构建》解决方案,基于百炼大模型和函数计算,采用Multi-Agent架构,提供个性化、智能化的购物体验。系统具备主动交互、精准推荐、自动化架构等亮点,支持快速部署和生产环境应用。评测结果显示,该方案在功能效果和架构设计上表现出色,但仍需优化文档和技术细节。欢迎参加官方评测活动... 详细评测及参与方式请参考:[链接](https://developer.aliyun.com/topic/build-an-ai-shopping-assistant?spm=a2c6h.12873639.article-detail.17.13902d93dZhiyK)。
23 1
打造智能购物新体验:主动式智能导购AI助手解决方案评测
|
5天前
|
人工智能 搜索推荐 算法
解决方案评测|主动式智能导购AI助手构建
阿里云的主动式智能导购AI助手是电商商家提升用户体验和销量的利器。它能实时分析用户行为,提供个性化推荐,支持多渠道无缝对接,并具备语音和文本交互功能。通过注册阿里云账号、开通服务、配置项目、设置推荐策略、集成到平台并测试优化,商家可以轻松部署这一工具。关键代码示例帮助理解API对接和数据处理。建议增强个性化推荐算法、优化交互体验并增加自定义选项,以进一步提升效果。
45 11
|
1天前
|
机器学习/深度学习 人工智能 Serverless
《主动式智能导购AI助手构建》解决方案评测
简介: 通过函数计算应用模板,您可以快速搭建一个集成智能导购的网站,实现多轮交互收集用户商品偏好,默认支持手机、电视和冰箱。部署时填写API Key,创建并部署环境(约1分钟)。部署完成后,访问示例网站域名确认成功。智能导购会根据用户意图分类并传递给相应商品导购Agent,返回商品信息。您还可以选择集成百炼应用进行智能商品检索。此架构适用于智能问诊、求职推荐等场景。在生产环境中,可修改知识库和源码以适配具体需求,并通过优化提示词和私有知识库来持续改进回复效果。
22 4
|
7天前
|
存储 人工智能 运维
AI + 可观测最佳实践:让业务从“看见”到“洞察”
本文介绍了AI Ops的概念及其在提升系统运维效率、洞察力和可观测性方面的作用。主要内容分为三个部分:一是监控、观测与洞察的区别及挑战,强调了数据整合和语义对齐的重要性;二是AI与计算如何重塑可观测性,通过UModel数字图谱和多模态存储分析架构实现数据联通;三是最佳实践与未来展望,展示了阿里云AI Stack可观测解决方案的应用案例,并总结了可观测性的四个发展阶段,最终愿景是借助AI力量让每个人成为多领域的专家。
|
5天前
|
存储 数据采集 算法
构建AI数据管道:从数据到洞察的高效之旅最佳实践
本文探讨了大模型从数据处理、模型训练到推理的全流程解决方案,特别强调数据、算法和算力三大要素。在数据处理方面,介绍了多模态数据的高效清洗与存储优化;模型训练中,重点解决了大规模数据集和CheckPoint的高效管理;推理部分则通过P2P分布式加载等技术提升效率。案例展示了如何在云平台上实现高性能、低成本的数据处理与模型训练,确保业务场景下的最优表现。
|
5天前
|
存储 人工智能 数据管理
媒体声音|专访阿里云数据库周文超博士:AI就绪的智能数据平台设计思路
在生成式AI的浪潮中,数据的重要性日益凸显。大模型在实际业务场景的落地过程中,必须有海量数据的支撑:经过训练、推理和分析等一系列复杂的数据处理过程,才能最终产生业务价值。事实上,大模型本身就是数据处理后的产物,以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题,这正是以阿里云为代表的企业推动 “Data+AI”融合战略的核心动因。
|
5天前
|
人工智能 运维 监控
阿里云Milvus产品发布:AI时代云原生专业向量检索引擎
随着大模型和生成式AI的兴起,非结构化数据市场迅速增长,预计2027年占比将达到86.8%。Milvus作为开源向量检索引擎,具备极速检索、云原生弹性及社区支持等优势,成为全球最受欢迎的向量数据库之一。阿里云推出的全托管Milvus产品,优化性能3-10倍,提供企业级功能如Serverless服务、分钟级开通、高可用性和成本降低30%,助力企业在电商、广告推荐、自动驾驶等场景下加速AI应用构建,显著提升业务价值和稳定性。
|
2月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库