大数据&AI产品月刊【2022年8月】

简介: 大数据&AI产品技术月刊(2022年8月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute】新功能 - 物化视图支持生成空分区    

分区物化视图,在刷新分区数据时,如果该分区没有数据时,也会生产一个没有数据的空分区。


【云原生大数据计算服务 MaxCompute】新功能 - 新增物化视图状态查看函数

新增物化视图状态查看函数,可以查看当前物化视图或者物化视图的分区的数据是否是跟原表保持一致。


【云原生大数据计算服务 MaxCompute】新功能 - Use Quota(作业级别指定计算资源)功能发布    

MaxCompute的use quota支持作业级别灵活指定使用quota,方便数据分析、开发者在执行作业时自定义指定计算资源。


【云原生大数据计算服务 MaxCompute】新功能 - 创建内表时支持用like复制外部表的表结构    

创建内表时支持用like复制外部表的表结构,提高建表效率。


【云原生大数据计算服务 MaxCompute】新功能 - 新增三个聚合函数

新增三个聚合函数,分别是BITWISE_AND_AGG,MIN_BY,MAX_BY。


【云原生大数据计算服务 MaxCompute】新功能 - 支持分区表到期后自动删除表    

当分区表的生命周期到期时,该表所有分区已被回收,可以设置系统自动删除该分区表。


【大数据开发治理平台 DataWorks 】新功能 - 支持EMR新版数据湖DataLake    

DataWorks支持基于EMR计算引擎新版数据湖DataLake,将阿里巴巴十多年积累的全链路数据开发经验投射开源大数据引擎。


【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持查找Hologres数据表/视图    

维度建模支持用户在模型设计过程中直接引用Hologres中已存在的表或者试图的字段及分区信息作为当前模型的字段,提升建模效率。


【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持设置模型及指标的命名规则检查器    

在模型和指标的设计时,命名检查器能够对实体名称进行约束和校验,从而提升整个开发流程中的命名规范性。


【大数据开发治理平台 DataWorks 】新功能 - DataStudio智能编辑器支持可视化插入字段和表权限校验    

智能编辑器将自动识别代码中查询表字段的部分,鼠标放到表名上,勾选需要查询的字段后点击确认,即可将字段名自动插入到代码中。


【实时数仓 Hologres 】新地域/可用区 - 在美国(弗吉尼亚)站点开通服务    

实时数仓 Hologres 在美国(弗吉尼亚)站点开通服务。


【实时数仓 Hologres 】新功能 - 支持OSS数据湖加速:读取Hudi/Delta等外表    

支持外表加速访问存储在OSS数据湖上的数据,支持读取Hudi、Delta外表,读写 CSV、Parquet、ORC格式外表。


【实时数仓 Hologres 】新功能 - 备份恢复功能开启公测    

Hologres支持自动周期备份和手动备份,以便恢复历史数据。若实例数据被误删除或更新,可根据备份快照恢复一个全新的实例。


【开源大数据平台 E-MapReduce】新功能 - 数据服务(DataServing)发布    

EMR面向数据服务场景提供一个更灵活、可靠且高效的独立集群,提供 HBase 集群,基于OSS-HDFS-解耦计算集群与数据存储。


【开源大数据平台 E-MapReduce】新版本/新规格 - 新管控平台支持更多高阶特性    

EMR新管控平台已支持节点组混合机型、弹性伸缩、Gateway、磁盘热扩容、节点组级部署集、集群监控、节点组状态等众多高阶特性。


【数据湖构建】新功能 - 生命周期管理发布    

生命周期管理支持多种类型的生命周期管理规则,通过建立不同的规则,您可以方便的管理数据湖内的数据生命周期,以便节约存储成本。


【数据湖构建】新功能 - DLF支持多Catalog    

主要介绍数据目录(Catalog)的基本能力。


【图计算服务 Graph Compute 】新产品 - 正式发布    

图计算服务 Graph Compute是一个分布式、万亿级数据规模的一站式图计算平台。通过高性能的分布式图计算引擎,提供在万亿数据规模下搜推、实时风控、复杂图关系的查询和分析能力;同时,搭载智能运维和离线系统,实现湖仓一体化的数据打通,支持多版本数据快速迭代和管理能力。结合阿里巴巴在电商、安全和社交等多个行业领域的积累,为全球企业及开发者提供图技术服务,通过一站式平台,解决图数据的存储、图模型管理、图数据的查询和计算,以及图算法、模型的对接。


【机器学习 PAI 】新版本/新规格 - Designer发布自定义Python脚本V2组件    

PAI-Designer发布自定义Python脚本V2组件,支持用户自定义算法与PAI预置算法进行串联,更灵活的扩展算法场景。


【机器学习 PAI 】新功能 - Designer新增XGBoost、DBSCAN等6种机器学习算法组件

PAI-Designer新增XGBoost、DBSCAN、高斯聚类、字符串编码、岭回归、Lasso回归的训练及预测组件。


智能推荐 AIRec 】新功能 - 新手Step by Step引导控制台    

智能推荐AIRec开放新手引导功能,支持按照上传数据、配置策略、上线功能、评估效果4步,辅助使用产品功能,加速POC流程。


【智能开放搜索 OpenSearch 】新功能 - 内容社区行业模板新增文娱垂类    

智能开放搜索内容社区行业模板新增文娱垂类,提供向量模型,升级召回、语义理解、排序等专属能力,助力用户一键式配置,实现更优搜索效果。


二、产品快讯

阿里灵杰融合智能算力,全栈AI服务为探索者铺路    

8月30日,阿里云宣布正式推出全栈智能计算解决方案“飞天智算平台”,并启动两座超大规模智算中心,为各类科研和智能企业机构提供高效、开放、绿色的智能计算服务。其中,在AI开发层,阿里灵杰大数据AI一体化平台提供全流程的开发和运维服务。尤其在模型训练和推理性能、大数据与AI工程能力方面,凭借技术领先性和丰富落地实践,成为区别传统AI集群的独特优势所在。本文将围绕大模型应用趋势、AI工程化、软硬件结合的智能计算应用案例等话题作详细介绍。

image.png


超长序列,超快预测!深势科技联手阿里云,AI蛋白质预测再下一城    

近日,深势科技与阿里云机器学习 PAI 团队联手,通过全新的蛋白质结构预测推理加速方案 FoldAcc,结合深势Uni-Fold 最新模型代码和参数,将单次预测能支持的最大氨基酸序列长度提升至 6.6k,覆盖99.992%已知的蛋白序列,同时推理速度显著提升,达到目前已知的最佳推理优化效果,将为 AI 预测蛋白质结构落地应用提供重要助力。


IDC:阿里云稳居中国大数据平台公有云市场第一位    

近日,国际权威研究机构IDC发布了《中国大数据平台公有云服务市场份额概况,2021》,报告显示,阿里云稳居中国大数据平台公有云服务市场第一位,营收达14.9亿元。纵观2021全年,中国大数据平台公有云服务市场实现了53.8%的快速增长,实时数仓、湖仓一体、流批一体、大数据与AI一体化等技术成为市场关注重点。


重磅发布!阿里云全链路数据湖开发治理解决方案    

阿里云重磅发布全链路数据湖解决方案,全链路数据湖开发治理解决方案使用 OSS/OSS–HDFS 作为数据湖存储,DLF 作为数据湖构建和管理工具,JindoFS 进行湖缓存加速,EMR 作为弹性计算引擎进行湖计算,DataWorks 进行数据开发和治理。DataWorks 各模块与 DataLake 深度集成,从而实现一站式数据湖开发治理。


阿里云ES全观测引擎TimeStream时序增强功能重磅发布,助力时序场景实现最佳实践阿里云ES全观测引擎TimeStream时序增强功能最新发布,在云原生ELK全托管基础上,通过TimeStream时序增强功能插件,可实现高性能、低成本时序数据存储和查询分析。本文介绍TimeStream适用场景、功能优势、性能测试结果和实践案例。


阿里云Flink x Hologres:构建企业级一站式实时数仓    

通过本文我们将会介绍阿里云Flink、阿里云Hologres在构建实时数仓上所具备的核心能力以及二者结合的最佳解决方案。通过阿里云Flink+Hologres实时数仓解决方案,降低数仓建设门槛,让数据发挥更大的价值,助力各行各业实现数字化升级!


三、产品学习指南

分贝通SAAS企业大数据体系建设经验分享    

本文将介绍分贝通在大数据领域的一些建设经验。分贝通在ToB领域是一个年轻的公司,成立六年多,大数据体系刚刚建立一年多,整个团队不到二十人,整体的大数据建设处于初级和摸索的阶段。本次将总结在大数据业务上的实践和思考,希望给大家带来启发。


替换Kudu,Hologres助力好未来网校实时数仓降本增效    

本文将会介绍好未来如何通过Hologres构建新一代实时数仓?此次主要是针对实时数仓的底层OLAP引擎的升级,使用阿里云Hologres替换Kudu,并于2022年1月开始实时数仓升级,经过半年多的成本治理以及数仓建设,网校实时数仓迈入2.0阶段,相比于1.0版数仓,更加稳定、可靠,建设成本也更低。实现实时数仓降本增效,助力业务更加精细化增长。


地址标准化服务AI深度学习模型推理优化实践    

本文针对地址标准化服务中的深度学习模型开展了推理性能优化工作。通过高性能算子、量化、编译优化等优化手段,在精度指标不降低的前提下,AI模型的模型端到端推理速度最高可获得了4.11倍的提升。


动态尺寸模型优化实践之Shape Constraint IR Part II    

本文将介绍BladeDISC在动态shape语义下做性能优化的一些实践和思考。本次分享的是我们最近开展的有关shape constraint IR的工作,Part II 中我们将介绍shape constraint IR的设计,实现以及一些初步的实验结果。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
2月前
|
存储 人工智能 安全
拔俗AI临床大数据科研分析平台:让医学研究更智能、更高效
阿里云原生AI临床大数据科研平台,打通异构医疗数据壁垒,实现智能治理、可视化分析与多中心安全协作,助力医院科研提速增效,推动精准医疗发展。
|
2月前
|
人工智能 Cloud Native 算法
拔俗云原生 AI 临床大数据平台:赋能医学科研的开发者实践
AI临床大数据科研平台依托阿里云、腾讯云,打通医疗数据孤岛,提供从数据治理到模型落地的全链路支持。通过联邦学习、弹性算力与安全合规技术,实现跨机构协作与高效训练,助力开发者提升科研效率,推动医学AI创新落地。(238字)
|
2月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
|
3月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
300 14
|
5月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
206 4
|
4月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
180 0
|
5月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
334 3
|
5月前
|
SQL 人工智能 分布式计算
ODPS:数据浪潮中的成长与突围
本文讲述了作者在大数据浪潮中,通过引入阿里云ODPS体系(包括MaxCompute、DataWorks、Hologres)解决数据处理瓶颈、实现业务突破与个人成长的故事。从被海量数据困扰到构建“离线+实时”数据架构,ODPS不仅提升了数据处理效率,更推动了技术能力与业务影响力的双重跃迁。
|
3月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
158 14

热门文章

最新文章