大数据计算服务MaxCompute产品运营
本文主要介绍什么是五话题以及MaxCompute 发布的“物化视图智能推荐”具体内容。
物化视图智能推荐支持自动对用户历史作业进行分析,自动识别周期性作业,智能提取作业集合中的公共计算逻辑作为物化视图计算逻辑,最终转换为对用户友好的SQL文本形式,按照推荐程度排序展示给用户,并支持将物化视图使用效果可视化展现。
本文主要讲述hash cluster表的一些运用。
MaxCompute 发布新人特惠免费试用规格,5000CU*H计算资源和100GB存储,3个月免费用,让您0元体验MaxCompute 强劲的产品力。
若您当前保有MaxCompute包年包月“特价套餐”(含“存储密集型160特价套餐”、“存储密集型320特价套餐”、“存储密集型600特价套餐”)或包年包月“非预留计算资源”,请您详细阅读本文。
本刊为您带来 2022年12月 MaxCompute 产品最新动态。
本刊为您带来 2022年10月、11月 MaxCompute 产品最新动态。
本刊为您带来 2022年9月 MaxCompute 产品最新动态
MaxCompute 是阿里巴巴自研的云原生数据仓库,同时也兼容大部分大数据生态系统。一个平台无法实现所有功能和解决所有问题,MaxCompute 需持续增强生态与开放性建设,方能走得更远。
本刊为您带来 2022年8月 MaxCompute 产品最新动态。
本刊为您带来 2022年7月 MaxCompute 产品最新动态及精彩活动回顾。
2022年6月,MaxCompute包年包月规格支持查询加速、独占Quota、以及对单作业设置CU并发上限;同时MaxCompute支持在DataWorks公共表中查看外部数据源的元数据信息。
为培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台,阿里云整合自研大数据产品MaxCompute、DataWorks、Hologres,提出云原生一体化数仓,为企业提供一站式大数据处理平台。
MaxCompute 按外表类型对外表计算独立计费;MaxCompute 湖仓一体法兰克福region商业化发布
MaxCompute作为企业级SaaS模式云数据仓库,正在为客户业务及其数据提供持续的安全保护。 MaxCompute 近期对产品的安全能力进行了全面升级 ,结合数据生命周期,针对数据误用、数据滥用、数据泄露、数据丢失等典型数据风险场景,构建全生命周期的数据安全防护体系。
公共云大数据平台在多租户的设计和实现方式上有所差异。本文主要介绍在公共云大数据平台的多租实现方案中需要考虑的问题和挑战,重点介绍了MaxCompute在计算和存储多租实现上的特点。期望通过这些介绍来让大家了解大数据云平台多租方案需要关注的技术点和MaxCompute在多租实现上的产品特色。
随着流量获取,移动互联网业务成为集团三大战略之一,启动流量商业化项目,包括类似阿里妈妈的流量联盟、帮助广告主更好买量的数字化营销平台以及用户体系等,其中广告检索和广告大数据平台成为支撑整个流量商业化项目的技术基础。
2022年3月,MaxCompute 全新支持 Spark 3.1 版本;物化视图改写能力进一步增强,更多产品动态详情请查看本次月刊。
云原生一体化数仓重磅发布;MaxCompute支持表结构变更邀测版本发布。
2021年12月,MaxCompute 发布物化视图增强功能和支持渐进式计算。详情请阅读本月刊。
随着 2021 年《关键信息基础设施安全保护条例》出台,稳定性已成为各领域客户在功能、性能之外,对大数据技术产品能力评价的重要指标。阿里云MaxCompute大数据平台在13轮不同程度的破坏性测试中,性能水平并未明显下降,被证明为韧性型系统。
2021年11月阿里云MaxCompute集成网易有数BI工具商业化发布;MaxCompute 专有网络连接管理产品化发布;MaxCompute 支持清空分区表中指定分区的数据。更多详情欢迎阅读本文。
2021年10月,MaxCompute集成观远数据(GuanData)BI工具(商业化)发布,MCQA(MaxCompute Query Acceleration)查询缓存机制商业化发布,外表支持Hbase增强版和云原生多模数据库 Lindorm。
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,基于MaxCompute与推荐、搜索、机器学习等产品可以构建智能推荐、用户增长等多种常用的解决方案。同时MaxCompute具备大规模数据科学分析、半结构化数据处理能力,也可提供基于Delta lake、Hudi格式的湖仓一体方案 。9月MaxCompute金融云华南1(深圳)节点正式开服。
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,基于MaxCompute与推荐、搜索、机器学习等产品可构建智能推荐、用户增长等多种用户常用的解决方案。同时MaxCompute具备大规模数据科学分析、半结构化数据处理能力,也可提供基于Delta lake、Hudi格式的湖仓一体方案 。本季直播将对基于MaxCompute的经典解决方案和能力进行最佳实践介绍。
8月MaxCompute最新发布多项新功能,包括MaxCompute SQL 支持物化视图;流式数据通道服务功能商业化发布;SQL UPDATE、DELETE和MERGE INTO功能商业化发布;支持读取 OSS 上 Hudi、Delta Lake 格式文件;支持访问开启 Kerberos 认证授权机制的 Hadoop 集群。
MaxCompute 7月刊将带您了解7月最新发布的项目删除、SQL性能优化推荐等功能以及7月、8月精彩直播课程,欢迎阅读。
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,帮助企业和大数据开发者经济并高效的分析处理海量数据。
本次月刊合集包含 MaxCompute 近期功能发布及商业化动态,更推荐10篇技术及实践文章供产品用户阅读了解。
数据仓库概念从1990年提出,经过了四个主要阶段。从最初的数据库演进到数据仓库,到MPP架构,到大数据时代的数据仓库,再到今天的云原生的数据仓库。在不断的演进过程中,数据仓库面临着不同的挑战。
Kettle是一款开源的ETL工具,纯Java实现,可以在Windows、Unix和Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑 。基本讲介绍基于Kettle的MaxCompute插件实现数据上云。
2021年3月,MaxCompute管家等多项功能上新,快来一起看看吧。
阿里云凭借产品现有能力、产品战略、市场表现三项优势,进入Forrester Wave 2021 Q1云数据仓库卓越表现者象限,成为入选此次评测的唯一中国厂商,并由竞争者象限跃升至卓越表现者象限。
2021年2月,MaxCompute发布云数仓内的机器学习 MaxCompute SQLML功能,以及MaxCompute湖仓一体OSS数据湖集成方案等15项新功能,欢迎阅读产品2月刊了解新发功能详情。
2021年2月,MaxCompute发布云数仓内的机器学习 MaxCompute SQLML功能,以及MaxCompute湖仓一体OSS数据湖集成方案等15项新功能,欢迎阅读产品2月刊了解新发功能详情。
2021年1月,SaaS模式云数据仓库MaxCompute存储单价由梯度定价统一下调整为月固定单价,中小规模企业数据仓库存储成本最高降四成。
2021年1月,SaaS模式云数据仓库MaxCompute存储单价由梯度定价统一下调整为月固定单价,中小规模企业数据仓库存储成本最高降四成。
MaxCompute 是阿里云提供的云数据仓库服务,服务着数以万计的客户和阿里巴巴集团。MaxCompute 秉持兼容生态的开放技术路线,持续投入产品生态建设。本次将正式发布与帆软FineBI和FineReport官方集成,为双方用户提供更优质的数据分析体验。
2020年12月 MaxCompute 在查询加速、流式数据写入、消费限制、实时作业监控、元数据服务方面有最新发布,欢迎通过本月刊了解12月最新发布详情。
2020年12月 MaxCompute 在查询加速、流式数据写入、消费限制、实时作业监控、元数据服务方面有最新发布,欢迎通过本月刊了解12月最新发布详情。
MaxCompute(原ODPS)作为SaaS模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
2020年11月MaxCompute发布支持以RAM角色身份访问使用服务以及支持消息队列Kafka版通过Connector持续导入数据新功能,详情请查看本月刊内容。
2020年11月MaxCompute发布支持以RAM角色身份访问使用服务以及支持消息队列Kafka版通过Connector持续导入数据新功能,详情请查看本月刊内容。
为了支撑业务的快速发展,玩物得志极少自己造轮子,会大量采用云平台提供的 SaaS、PaaS 服务。比如大数据体系是在阿里云 MaxCompute+DataWorks 框架体系上建设起来。使用了其核心存储、计算等组件,上层的可视化以及业务查询部分,在使用过程中也会有大量的定制化需求,玩物得志在开源方案的基础上进行了一些二次开发。
阿里巴巴双11史上作业数最多,但人工干预最少的一次双11技术保障: 从动态并发调整带来的单日10亿计算节点的节省,到数据智能编排带来的高级基线单个作业数十个小时执行时间的缩短,再到全新Bubble执行模式在百万作业获取的30%以上的性能提升。 本文为大家介绍,在2020年阿里巴巴集团双11海量作业数目与突变的数据特性面前,阿里云MaxCompute 新一代 DAG 2.0 执行引擎,通过其自适应的动态执行能力和新架构上的全新计算模式,如何为双11大促数据的及时产出提供自动化保障。
近日,全球权威研究机构Forrester、IDC分别发布《中国预测分析和机器学习Wave,2020Q4》和《Marketscape:中国大数据管理平台厂商评估,2020》报告,阿里云机器学习平台PAI和大数据平台MaxCompute分别位居领导者象限,且在战略维度上双双领先。
数据管理领域的技术演进以及云计算的蓬勃发展催生了基于云提供开箱即用的数据仓库服务的产品模式-Data Warehouse as a Service(DWaaS),最终用户无需关心基础设施、平台软件管理以及平台运维和优化升级工作。这部分工作由服务提供商完全托管并提供满足SLA要求的高质量服务,减少用户的前期投入并加速价值实现,让数据仓库服务回归服务的本质。阿里云MaxCompute正是基于云构建的SaaS模式的数据仓库服务。本季直播将重点从SaaS模式云数据仓库按需使用的核心能力-Serverless能力、"云数据仓库+价值场景" 两个方面做深入解读。
MaxCompute10月新发布功能在sql的产品能力、易用性、性能以及存储优化方面持续增强,欢迎阅读本刊了解最新feature及用法。
MaxCompute10月新发布功能在sql的产品能力、易用性、性能以及存储优化方面持续增强,欢迎阅读月刊了解最新feature及用法。
随着近几年数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台,各大云厂商也在纷纷的提出自己的数据湖解决方案,一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么,是技术路线之争?是数据管理方式之争?二者是水火不容还是其实可以和谐共存,甚至互为补充?本文作者来自阿里巴巴计算平台部门,深度参与阿里巴巴大数据/数据中台领域建设,将从历史的角度对数据湖和数据仓库的来龙去脉进行深入剖析,来阐述两者融合演进的新方向——湖仓一体,并就基于阿里云MaxCompute/EMR DataLake的湖仓一体方案做一介绍。