大数据&AI产品月刊【2023年8月】

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 大数据&AI产品技术月刊【2023年8月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute】新版本/新规格 - 按量付费闲时版发布

MaxCompute推出按量付费闲时版,为您降低开发、测试等延迟不敏感场景下的计算成本。


【云原生大数据计算服务 MaxCompute】新功能 - 控制台成本分析功能发布

MaxCompute控制台发布成本分析功能,通过报表形式方便管理者快速分析或审计按量计费的费用情况。


【云原生大数据计算服务 MaxCompute】新功能 - 租户级别Information Schema

租户级别Information Schema从租户角度提供项目及使用历史等元数信息,方便一次性获取租户下某类对象的所有元数据。


【大数据开发治理平台 DataWorks】新功能 - 新发布可视化增强分析能力    

新增DataWorks增强分析产品,支持数据分析结果可视化。


【大数据开发治理平台 DataWorks】新功能 - 数据治理中心支持E-MapReduce数据湖研发治理    

数据治理中心新增基于EMR集群+DLF数据湖开发链路的主动治理分析。


【大数据开发治理平台 DataWorks】新功能 - 支持自定义调度周期    

基于DataWorks原有调度周期,新增调度日历。


【实时数仓 Hologres】新地域/新可用区 - 新增开通华东1(杭州)地域的可用区J

Hologres服务新增开通华东1(杭州)地域的可用区J,可以按需开通实例。


【实时数仓 Hologres】新地域/新可用区 - 新增开通华南1(深圳)地域的可用区F

Hologres服务新增开通华南1(深圳)地域的可用区F,可以按需开通实例。


【实时数仓 Hologres】新功能 - 支持OpenAPI,提升实例管理能力    

支持新建、扩缩容、续费、重启等实例管理OpenAPI,大幅提升实例管理能力。


【检索分析服务 Elasticsearch版】新版本/新规格 - 8.9版本发布|兼容开源最新版本

在向量检索、NLP等方面具备更优能力。


【检索分析服务 Elasticsearch版】新地域/新可用区 - 8.5版本支持地域华北1(青岛)

阿里云Elasticsearch 8.5版本新增开通华北1(青岛)地域,成本更低,可以在控制台上按需开通集群。


【开源大数据平台 E-MapReduce】新功能 - 新增弹性伸缩管理模块    

为了更方便地管理集群弹性功能,EMR新增了专属管理模块。


【开源大数据平台 E-MapReduce】新功能 - 支持YARN分区和队列关联    

EMR支持在控制台上通过可视化UI管理队列,并关联分区。


【实时计算 Flink版】新功能 - 新增OceanBase连接器    

支持作为结果表和维表使用。


【实时计算 Flink版】新功能 - Tair连接器支持更多的数据类型写入    

新增对TairTs、TairCpc、TairRoaring、TairVe。


【实时计算 Flink版】新功能 - 双流Join支持不同流的State TTL分别设置    

双流Join支持不同流的State TTL分别设置。


【实时计算 Flink版】修复问题 - 修复MySQL源表读取PolarDB MySQL时出现的问题

修复MySQL源表读取PolarDB MySQL时出现Filtering update table metadata event: Event{header=EventHeaderV4的问题。


【实时计算 Flink版】新功能 - MongoDB CDC连接器开始公测    

支持以源表形式读取MongoDB增量变化数据。


【实时计算 Flink版】新功能 - ADB PostgreSQL连接器支持ADB PostgreSQL 7.0版本

新增对云原生数据仓库AnalyticDB PostgreSQL版7.0版。


【实时计算 Flink版】新功能 - CDAS支持新增表后的有状态重启    

在整库同步中,如果源库新增表,则作业重新启动后即可生效,对新增表进行数据。


【实时计算 Flink版】新功能 - SLS连接器支持查询下推    

支持在源端进行数据过滤,提升读取效率。


【实时计算 Flink版】新功能 - SLS Catalog支持结果表    

支持使用Catalog进行SLS的写入。


【机器学习平台 PAI】新功能 - 支持Llama2系列模型微调和推理    

PAI针对 Llama2 系列模型进行适配,支持全量微调、Lora微调、分布式训练、推理服务等。


【智能开放搜索 OpenSearch】新功能 - LLM智能问答版支持多轮对话、自定义Prompt参数    

智能开放搜索 OpenSearch LLM智能问答版支持多轮对话、自定义Prompt参数功能,方便用户持续优化对话式搜索效果。


二、产品活动

阿里云大数据计算&机器学习产品免费试用持续火爆中    

阿里云大数据计算&机器学习推出免费试用活动,其中包含Maxcompute、Hologres、实时计算Flink版、机器学习PAI等多款热门产品,点击了解详细试用规则,一键参与试用。


阿里云大语言模型(LLM)实战训练营,火热开营中!    

大语言模型实战训练营已正式开营,汇集阿里云、黑马程序员多位AI领域资深技术专家手把手带您快速实现大语言模型从入门到应用落地!完成课程学习任务更有机会领取LAMY钢笔、小米充电宝、双肩包等精美礼品,快来一起学习体验吧~


三、产品快讯

再获第一,阿里云连续三年领跑中国公有云大数据平台市场    

近日,IDC发布《中国大数据平台市场份额,2022》报告,2022年中国大数据平台公有云服务市场规模达49.6亿元人民币,其中阿里云市场份额遥遥领先,占比达到40.5%,连续三年排名第一。


算力中国年度突破成果出炉,PAI灵骏智算上榜!    

近日,由工业和信息化部、宁夏回族自治区人民政府共同举办的2023中国算力大会在银川举行。会上公布了算力领域最具影响力专家学者共同评选出的算力中国·年度突破成果,阿里云“PAI灵骏智算服务”作为国内AI智算基础设施代表获得该重磅奖项。 “PAI灵骏智算服务”是阿里云面向高速增长的AI计算需求打造的算力基础设施服务,可一站式为企业及开发者提供AI开发全流程的工程平台和智能算力。


MaxCompute发布按量付费闲时版,计算成本最高节省66.66%!    

在大数据不断在追求计算效率和成本优化的背景下,阿里云云原生大数据计算服务 MaxCompute宣布推出按量付费闲时版,按量付费闲时版旨在为用户降低开发、测试等延迟不敏感场景下使用MaxCompute的成本。用户可选择用此版本完成时间不敏感的作业,降低计算成本,同等作业类型的计算费用与按量付费标准版相比,最高可实现66.66%的计算成本优化。

image.png


阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

阿里云机器学习平台 PAI 推出特征平台(PAI-FeatureStore),特征平台(Feature Store) 是一种中心化的数据管理和共享平台,用于组织、存储和管理机器学习和数据科学中使用的特征数据。在多个细分场景解决AI模型的训练和推理输入特征数据问题。在所有需要特征的AI建模场景,用户可通过 Feature Store 轻松地共享和重用特征数据,减少资源和时间成本、提升工作效率。


全链路数据湖开发治理解决方案2.0重磅升级,全面增强数据入湖、调度和治理能力

阿里云全链路数据湖开发治理解决方案能力持续升级,发布2.0版本。解决方案包含开源大数据平台E-MapReduce(EMR) , 一站式大数据数据开发治理平台DataWorks ,数据湖构建DLF,对象存储OSS等核心产品。支持EMR新版数据湖DataLake集群(on ECS)、自定义集群(on ECS)、Spark集群(on ACK)三种形态,对接阿里云一站式大数据开发治理平台DataWorks,沉淀阿里巴巴十多年大数据建设方法论,为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力,帮助客户提升数据的应用效率。


阿里云计算平台大数据基础工程技术论文入选 VLDB 2023    

近日,在 VLDB 2023 上,由阿里云计算平台大数据基础工程技术团队主导,与计算平台 MaxCompute 团队、华东师范大学数据科学与工程学院、达摩院合作的论文入选 Industrial Track,该论文提出了基于预测的云计算平台资源弹性伸缩框架 MagicScaler,该框架主要包含一个基于多尺度注意力高斯过程的预测模型和一个考虑需求不确定性的弹性伸缩优化决策器。通过基于预测的资源弹性扩缩容,实现了“高QoS(Quality of Service),低成本”的双丰收。


四、产品学习指南

【客户案例】人力家:用MaxCompute 事务表2.0主键模型去重数据持续降本增效

人力家是一家帮助客户进入人力资源数字化,依靠产品技术创新驱动战略的互联网公司。目前处于一个竞争激烈的市场环境中,为了满足内部的数据需求,采用了MaxCompute Transaction Table2.0 主键模型去重数据持续降本增效。


【产品运维】MaxCompute - ODPS重装上阵    

MaxCompute推出新语法 - PIVOT/UNPIVOT:通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求,简化了查询语句,提高了广大大数据开发者的生产力。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
zdl
|
23天前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
139 56
|
1月前
|
存储 人工智能 分布式计算
大数据& AI 产品月刊【2024年10月】
大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
2月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
623 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
2月前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
98 10
|
2月前
|
消息中间件 人工智能 Cloud Native
|
2月前
|
人工智能 分布式计算 大数据
大数据&AI产品月刊【2024年9月】
大数据& AI 产品技术月刊【2024年9月】,涵盖本月技术速递、2024云栖大会实录、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
2月前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
55 0
|
2月前
|
SQL 运维 大数据
大数据实时计算产品的对比测评
在使用多种Flink实时计算产品后,我发现Flink凭借其流批一体的优势,在实时数据处理领域表现出色。它不仅支持复杂的窗口机制与事件时间处理,还具备高效的数据吞吐能力和精准的状态管理,确保数据处理既快又准。此外,Flink提供了多样化的编程接口和运维工具,简化了开发流程,但在界面友好度上还有提升空间。针对企业级应用,Flink展现了高可用性和安全性,不过价格因素可能影响小型企业的采纳决策。未来可进一步优化文档和自动化调优工具,以提升用户体验。
131 0
|
2月前
|
SQL 存储 监控
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
57 0
|
人工智能 大数据 Apache
大数据&AI的16种可能,2020阿里云客户最佳实践合集下载
2020年9月18日下午13:00云栖大会正式发布 《大数据&AI的16种可能,2020阿里云客户最佳实践合集》
72935 4
大数据&AI的16种可能,2020阿里云客户最佳实践合集下载