大数据&AI产品月刊【2023年6月】

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 大数据&AI产品技术月刊(2023年6月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute】新功能 - 计算资源优化推荐功能发布

MaxCompute推出计算资源优化推荐功能,向客户生成并推荐更优的计算资源配置方案,进一步化计算成本。


【大数据开发治理平台 DataWorks】新功能 - 数据建模发布行业模型模板

结合阿里云模型建设项目经验,提供免费的零售行业模型模版和付费的汽车行业模型模版。


【大数据开发治理平台 DataWorks】新功能 - 数据集成支持AWS RDS数据源

AWS RDS按照MySQL数据源方式进行配置,MySQL数据源自身具备的所有能力,AWS RDS也同样适用。


【大数据开发治理平台 DataWorks】新功能 - Kafka实时同步Hologres并进行ETL

Kafka至Hologres的实时同步可以实现同步过程中对于Kafka的json消息自定义解析。


【大数据开发治理平台 DataWorks】新功能 - MySQL实时入湖OSS写Hudi格式

MySQL整库实时同步至OSS数据湖,写为Hudi格式。


【开源大数据平台 E-MapReduce】新功能 - 通过SQL Editor操作StarRocks实例

主要介绍如何快速使用SQL Editor操作StarRocks实例。


【实时计算 Flink版】新功能 - VVR 6.0.7版本发布,加强了数据管控功能

包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。


【机器学习平台 PAI】新功能 - PAI Python SDK正式发布

PAI Python SDK提供了更易用的HighLevel API,更方便PAI被上层系统集成。


【智能开放搜索 OpenSearch】新版本/新规格 - LLM智能问答版邀测发布

智能开放搜索 OpenSearch推出LLM智能问答版,面向行业搜索场景,基于内置的LLM模型,提供企业专属问答搜索服务。


【智能开放搜索 OpenSearch】新版本/新规格 - LLM智能问答版公测发布

智能开放搜索 OpenSearch推出LLM智能问答版,面向行业搜索场景,基于内置的LLM模型,提供企业专属对话式搜索服务。


【智能开放搜索 OpenSearch】新功能 - 自定义排序模型发布

智能开放搜索推出自定义排序模型功能,支持自定义特征的导入和排序模型的定制,满足业务更丰富的搜索排序需求。

二、产品活动

阿里云大数据计算&机器学习产品免费试用上线!

阿里云大数据计算&机器学习推出免费试用活动,其中包含Maxcompute、Hologres、实时计算Flink版、机器学习PAI等多款热门产品,点击了解详细试用规则,一键参与试用。

 

AIGC创作挑战 | 全网有奖寻找AI艺术家」火热进行中

随着海量多模态数据在互联网的爆炸性增长和训练深度学习大模型的算力大幅提升,AI生成内容(AI Generated Content,AIGC)的应用呈现出爆发性增长趋势。其中文生图尤为火爆。当科技和创作结合,以AI寻色,用PAI来创作,画风不设限,期待你的成像。即日起至7月31日,参赛者按规则完成基础游戏、进阶任务或拉新挑战,三个活动带您实现AIGC从入门到进阶,还有Apple Watch、Lamy钢笔、罗技键盘等精美奖品等您赢。

image.png

参与赢大奖!阿里云机器学习平台PAI助力开发者激发AIGC潜能

近年来,随着海量多模态数据在互联网的爆炸性增长和训练深度学习大模型的算力大幅提升,助力开发者一站式快速搭建文生图、对话等热门场景应用,阿里云机器学习平台PAI特推出AIGC加油包,为广大开发者加油助力激发AIGC潜能,同时有机会赢取坚果投仪、AirPods等多款好礼,等你参与!


数仓架构“瘦身”,Hologres 5000CU 时免费试用

Hologres基于创新的HSAP架构,可以将您原先数仓架构中的OLAP系统(Greenplum、Presto、Impala、ClickHouse)、KV数据库/Serving系统(HBase、Redis)统一在一个大数据计算引擎中,并提供快速的离线实时一体化分析能力。Hologres 5000CU时,20GB存储免费试用,一键前往。


免费试用Elasticsearch,轻松上手四步玩转Kibana!

Kibana作为一款功能强大的数据可视化工具,能够帮助用户更好地理解和分析存储在Elasticsearch中的数据,其与Elasticsearch 的兼容性具有天然的适配舒适感,为搜索生态的用户提供了简易的数据可视化的助力。快来免费试用Elasticsearch,轻松上手四步玩转Kibana吧!

 

三、产品快讯

Apache Flink荣获2023年度SIGMOD系统奖

近日,数据库国际顶级会议SIGMOD公布了2023 SIGMOD Systems Award奖项,阿里云作出重要技术贡献的实时计算软件Flink,因在实时大数据领域的技术创新和全球影响力获奖。Flink是全球知名的开源项目,在实时数仓、数据集成、数据湖、实时推荐和实时风控等领域被广泛应用。自2015年起,阿里巴巴实时计算团队开始基于 Flink 进行优化和社区贡献。

image.png

阿里云机器学习平台PAI论文入选 SIGMOD 2023

近日,阿里云机器学习平台PAI和北京大学杨智老师团队合作的论文《GoldMiner: Elastic Scaling of Training Data Pre-Processing Pipelines for Deep Learning》被SIGMOD 2023录用。论文通过对深度学习数据预处理流水线的弹性伸缩,大幅提升了训练性能和集群资源利用效率。实验显示GoldMiner可提升训练性能最高达12.1倍,提升GPU集群利用率达2.5倍。


首家!阿里云完成数据可视化服务能力评估

近日,在中国信通院组织的首批数据可视化服务能力成熟度评估中,阿里云计算有限公司顺利完成了数据可视化服务能力成熟度评估的全部内容,成为首家完成此评估的企业。阿里云DataV数据可视化团队历经磨炼,走过了10年的可视化之路,在产品和服务上走出了一条属于自己的道路。


揭秘阿里云Flink智能诊断利器——Flink Job Advisor

阿里云Flink智能诊断利器——Flink Job Advisor,目标在于解决用户在使用 Flink 全托管产品全生命周期中可能遇到的各种难题,如复杂的数据开发报错分析、任务运行报错处理、任务运行调优等。Flink智能诊断通过精准的错误诊断和优化建议,能够提升用户使用Flink的体验,降低了对人工服务的依赖。


重磅再推 | 基于OpenSearch向量检索版 + 大模型,搭建对话式搜索

阿里云OpenSearch再推面向企业开发者的PaaS方案:基于OpenSearch向量检索版,为企业开发者提供性能表现优秀、性价比优异的向量检索服务,并提供与大模型结合脚本工具,用户可在使用能力可靠的向量检索服务的同时,自由选择文档切片方案、向量化模型、大语言模型。


BeautifulPrompt:PAI推出自研Prompt美化器,赋能AIGC一键出美图

阿里云机器学习PAI团队推出自研Prompt美化器,用户只要输入一个极其简单的Prompt,就可以得到一系列经过语言模型优化过的、细节满满的Prompt,帮助用户更简单地生成高颜值图像。本文详细介绍PAI自动Prompt生成模型的功能和背后的技术干货。


阿里云PAI x 达摩院GraphScope开源基于PyTorch的GPU加速分布式GNN框架

近期阿里云机器学习平台PAI团队和达摩院GraphScope团队联合推出了面向PyTorch的GPU加速分布式GNN框架GraphLearn-for-PyTorch(GLT) 。GLT利用GPU的强大并行计算性能来加速图采样,并利用UVA来减少顶点和边特征的转换和拷贝。对于大规模图,GLT使用了生产者-消费者的架构,通过异步并发的分布式采样和特征查找以及热点缓存功能支持在多个GPU或多个机器上进行高效的分布式训练。接口上,GLT保持了PyTorch的风格,并且和PyG兼容,只需少量代码修改就可以加速PyG的单机训练程序,或者将PyG 单机模型改成分布式训练。此外,GLT还提供了灵活的分布式训练部署以满足不同的需求。


EuroSys2023 Best Poster】面向动态图的极低时延GNN推理采样服务

近期,GraphLearn团队和浙大联合发表的《Dynamic Graph Sampling Service for Real-time GNN Inference at Scale》被评选为EuroSys2023 best poster。GraphLearn是阿里云机器学习平台PAI 团队和达摩院智能计算实验室图计算团队共建的工业界大规模图神经网络训练框架, 也是一站式图计算平台GraphScope的图学习引擎。GraphLearn最新开源了面向动态图的GNN在线推理实时采样服务(DGS)。DGS具备处理实时高吞吐图更新的能力,并能保证低时延、高并发的推理采样查询处理。其图更新和采样查询的性能在分布式环境下线性可扩展。


四、产品学习指南

【最佳实践】MaxCompute物化视图智能推荐最佳实践    

MaxCompute物化视图智能推荐实现了用户无感知的流程化使用物化视图能力。用户开启物化视图智能推荐后,MaxCompute可以为用户自动分析业务数据使用场景,自动推荐物化视图,并且可以可视化展现物化视图的使用效果。为物化视图使用大大降低了门槛,同时也带来更多的物化视图使用场景。


【最佳实践】Hologres弹性计算在OLAP分析上的实践和探索    

本文介绍了OLAP分析在大数据分析中的位置,以及分析介绍目前大数据OLAP遇到的分析性能、资源隔离、高可用、弹性扩缩容等核心问题。并以双11在阿里CCO业务中的运用和效果和双11在阿里DT业务中的运用和效果为例解析阿里云Hologres是如何解决极致性能、弹性、业务永续、性价比等核心刚需的最佳实践。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
83 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
22天前
|
人工智能 算法 测试技术
AI 研发产品进化论:从 AI 编码助手到 AI 程序员
本次分享由阿里云资深技术专家陈鑫主讲,主题为“AI研发产品进化论:从AI编码助手到AI程序员”。内容涵盖通义灵码在落地过程中的挑战与突破,包括精准度提升、企业级检索增强、自定义扩展及智能体的应用。通过全工程理解、个性化适配和智能体的引入,通义灵码已实现代码补全、单元测试生成、缺陷修复等核心功能,并显著提升了开发者的工作效率。目前,通义灵码已在Vs Code和JetBrains插件市场上获得超过500万次下载,月均采纳率超过30%,并持续优化中。
65 9
|
24天前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
53 7
|
1月前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
22天前
|
人工智能 IDE 程序员
从 AI Coding 演进路径看通义灵码 AI 程序员的发布,让更多 idea 变成产品
通义灵码 2.0 不仅正式发布 AI 程序员,还升级了很多基础能力,使用场景多样。繁星计划的推出更为大学生提供了免费的智能编码助手,助力科技创新。让不具备编码能力的人也可以将 idea 变成产品,帮助到更多开发者和泛开发者。
|
29天前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
95 1
|
24天前
|
人工智能 算法 搜索推荐
云端问道11期方案教学-创建专属AI助手-阿里云百炼产品能力分享
阿里云百炼产品能力分享旨在帮助用户深入了解百炼的核心功能,并快速将大模型与系统结合。主要内容包括:1. 百炼的产品定位和能力简介,涵盖模型推理、应用搭建等;2. 知识检索RAG智能体的应用能力和优势,介绍其高效构建知识库的步骤及常见问题;3. 最佳落地案例实践,如宠物行业AI助手和产业分析类互联网企业的Copilot机器人。通过这些内容,用户可以全面掌握百炼在实际业务中的应用方法和效果。
|
23天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
19天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
161 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备