大数据&AI产品月刊5月刊

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 大数据&AI产品技术月刊(2022年5月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、本月产品功能发布

【新地域/可用区】云原生大数据计算服务 MaxCompute - 湖仓一体国际站法兰克福区域商业化发布

MaxCompute 湖仓一体国际站德国(法拉克福)区域商业化发布。


【新功能】云原生大数据计算服务 MaxCompute - 按外表类型对外表计算独立计费

MaxCompute外表费用可以根据外表类型进行独立计费,客户可以清晰看到不同类型外表产生的费用。


【新功能】大数据开发治理平台 DataWorks - 数据质量新增全局质量规则批量管理

新增质量规则列表,可以展示用户在现有工作空间下配置的全局数据质量规则,并对规则进行批量的启停、订阅、关联调度、强弱规则设置等操作。


【新功能】大数据开发治理平台 DataWorks - 运维中心智能基线支持更灵活的报警管理设置

升级后的智能基线可以同时针对基线实例、事件及基线进行管理,支持为每条基线单独设置短信/邮件/电话等不同的报警规则。


【新功能】大数据开发治理平台 DataWorks - DataStudio优化数据开发各类文件的管理能力

用户可以直接点击”新建节点”,系统会推荐最近常用的节点类型,无需手动逐个寻找所需要的节点。同时增加“我的收藏”、优化目录树等功能。


【新功能】大数据开发治理平台 DataWorks - 数据保护伞风险识别优化功能全新改版(老用户需迁移)

旧版风险识别管理将保留至2022年06月21日,到期后,已创建的风险识别规则及相关风险数据将自动清除,老用户请迁移。


【体验优化】实时数仓 Hologres - 发布性能调优指南

性能调优指南将帮助您优化表性能,排查和处理常见问题,更好地使用Hologres。


【体验优化】实时数仓 Hologres - 构建产品生命周期管理体系

产品生命周期管理体系将为您提供更好的企业级服务,帮助您合理安排版本升级等工作,做好长期的IT规划。

【新版本/新规格】检索分析服务 Elasticsearch版 - 7.16版本正式发布

基于全新云原生ACK架构实现集群创建及运管提效,创建最快仅需5min。

【新地域/可用区】检索分析服务 Elasticsearch版 - 阿里云Elasticsearch在西南1(成都)、华南3(广州)上线,支持7.10及7.16版本

阿里云Elasticsearch新增西南1(成都)、华南3(广州)地域,支持7.10及7.16版本,可以在控制台上按需求开通集群。


【新功能】检索分析服务 Elasticsearch版 - Openstore高性能冷热共享计算2.0版本上线

基于Openstore使得海量存储相比高效云盘查询提升40%,且支持冷热共享计算节点,无须单独购买冷数据节点,大幅降低集群资源成本。


【新功能】数据湖构建 - 数据湖权限管理发布

数据湖权限支持配置元数据库、元数据表、元数据列三种纬度的权限管理。


【新版本/新规格】实时计算 Flink版 - 4.0.13版本发布

CDAS新增分库同步能力;新增支持Kafka Catalog;Hologres Connector支持全增量一体源表消费等。


【新功能】机器学习 PAI - 支持使用Flink全托管资源进行模型训练

机器学习PAI新增了Flink全托管资源,您可以购买Flink全托管资源,并关联到工作空间,用于PAI大规模分布式模型训练。


【新地域/可用区】机器学习 PAI - Designer在新加坡、硅谷正式开服

PAI-Designer在新加坡、硅谷正式开服,提供上百种PAI自研机器学习/深度学习算法和几十个行业模板,可以在PAI控制台上按需使用。


二、产品快讯

阿里云云原生一体化数仓入选 2022数博会“十佳大数据案例”

2022年5月26日,中国国际大数据产业博览会(以下简称“数博会”)在贵阳召开,数博会“十佳大数据案例”揭晓,阿里云云原生一体化数仓入选。为培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台,阿里云整合自研大数据产品MaxCompute、DataWorks、Hologres、Flink提出云原生一体化数仓,为企业提供一站式大数据处理平台。此次入选国家工业信息安全发展研究中心在支撑工信部大数据产业发展试点示范项目的基础上组织评选出的2022年数博会“十佳大数据案例”,代表阿里云大数据受到了产业和客户的广泛认可。

CDP数据混合云产品发布,云上线下混合部署管理

阿里云联合Cloudera发布CDP数据混合云产品,支持云上和线下混合部署方案,帮助企业灵活构建大数据平台,实现高质量数智化转型。


阿里开源自研工业级稀疏模型高性能训练框架 PAI-HybridBackend

HybridBackend是阿里云机器学习平台PAI和阿里妈妈智能引擎训练引擎团队合作开发的、面向稀疏模型训练的高性能同步训练框架,核心能力是大幅提升GPU集群单位成本下的训练吞吐性能。目前HybridBackend已经在阿里巴巴集团内部有多个业务落地,将阿里妈妈智能引擎训练引擎团队的定向广告业务年数据训练任务时间由1个月缩短至2天,同时HybridBackend在公有云多个头部互联网企业中也有成功应用。


开源项目 BladeDISC 0.2.0版本发布

BladeDISC发布了0.2.0版本,该更新包含了大量的性能优化与功能增强。BladeDISC是目前业界领先的支持动态shape的深度学习优化编译器。深度学习优化编译器负责将上层的神经网络计算图转换为底层硬件可执行的程序,当前流行的深度学习优化编译器对静态shape的支持力度较大,对动态shape的支持则有所欠缺。BladeDISC编译器提供了对动态shape的完整支持,可以将包含动态shape语义的上层模型描述转换为高效的底层可执行程序。


EMR-StarRocks 白皮书来啦!

阿里云EMR-StarRocks 是 StarRocks 授权阿里云的一款新一代开源OLAP产品,致力于构建极速统一分析体验,满足企业用户的多种数据分析场景。此外,为了帮助大家更加深入了解EMR StarRocks,我们推出了EMR StarRocks 白皮书,供各位小伙伴学习参考,免费下载!


三、产品学习指南

【最佳实践】MySQL分库分表写入Hologres实践

本文将会介绍通过DataWorker数据集成,以及Flink两种方式将MySQL分库分表写入Hologres的实践。可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。

【最佳实践】大数据在线离线一体化解决方案最佳实践

本文重点介绍大数据产品集通用解决方案,即大数据在线计算+离线计算一体化解决方案,并通过真实案例模拟来说明此通用解决方案在具体项目中是如何落地的。


【产品运维】MAE自监督算法介绍和基于EasyCV的复现

自监督学习(Self-Supervised Learning)能利用大量无标注的数据进行表征学习,然后在特定下游任务上对参数进行微调。通过这样的方式,能够在较少有标注数据上取得优于有监督学习方法的精度。


【产品运维】免费实验|《开源大数据分析实验系列》

开发者通过精选的5个开源大数据分析实验系列,可以基于EMR、Elasticsearch等阿里云开源大数据产品从0到1构建离线分析、数据检索等业务场景。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
83 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
22天前
|
人工智能 算法 测试技术
AI 研发产品进化论:从 AI 编码助手到 AI 程序员
本次分享由阿里云资深技术专家陈鑫主讲,主题为“AI研发产品进化论:从AI编码助手到AI程序员”。内容涵盖通义灵码在落地过程中的挑战与突破,包括精准度提升、企业级检索增强、自定义扩展及智能体的应用。通过全工程理解、个性化适配和智能体的引入,通义灵码已实现代码补全、单元测试生成、缺陷修复等核心功能,并显著提升了开发者的工作效率。目前,通义灵码已在Vs Code和JetBrains插件市场上获得超过500万次下载,月均采纳率超过30%,并持续优化中。
65 9
|
24天前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
53 7
|
1月前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
22天前
|
人工智能 IDE 程序员
从 AI Coding 演进路径看通义灵码 AI 程序员的发布,让更多 idea 变成产品
通义灵码 2.0 不仅正式发布 AI 程序员,还升级了很多基础能力,使用场景多样。繁星计划的推出更为大学生提供了免费的智能编码助手,助力科技创新。让不具备编码能力的人也可以将 idea 变成产品,帮助到更多开发者和泛开发者。
|
29天前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
95 1
|
24天前
|
人工智能 算法 搜索推荐
云端问道11期方案教学-创建专属AI助手-阿里云百炼产品能力分享
阿里云百炼产品能力分享旨在帮助用户深入了解百炼的核心功能,并快速将大模型与系统结合。主要内容包括:1. 百炼的产品定位和能力简介,涵盖模型推理、应用搭建等;2. 知识检索RAG智能体的应用能力和优势,介绍其高效构建知识库的步骤及常见问题;3. 最佳落地案例实践,如宠物行业AI助手和产业分析类互联网企业的Copilot机器人。通过这些内容,用户可以全面掌握百炼在实际业务中的应用方法和效果。
|
23天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
19天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
161 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备

相关产品

  • 云原生大数据计算服务 MaxCompute