阿里云 MaxCompute 2020-2 月刊

简介: MaxCompute2020年2月刊为您带来Python UDF 支持Python 3 ,MaxCompute存储格式全面升级AliORC等九项最新发布功能。欢迎阅读。

亲爱的开发者, MaxCompute 2020.2月刊已为您准备妥当。本次内容将为您带来2020年2月 MaxCompute 9项重要的功能发布,欢迎详细阅读并结合业务进行实践,任何问题可以加入“MaxCompute开发者社区”进行咨询,社区钉钉群二维码请见文末。

1.【新功能】MaxCompute存储格式全面升级AliORC

MaxCompute推出了自研的大数据列存储格式AliOrc,无论是读写性能,还是数据压缩存储空间,都有明显的提升。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute存储格式升级到AliOrc,客户无需干预,自动升级并提高读写性能。


2.【新功能】 Python UDF 支持Python 3 查看文档 >>>

Python 2 官方即将停止维护,越来越多的三方库也开始只支持 Python 3,MaxCompute也开启Python3的支持。

适用客户
MaxCompute公共云客户

发布功能
Python UDF 支持Python 3的编译和运行环境。


3.【新功能】Tunnel upload sdk 支持 overwrite的 ddl 语义 查看文档 >>>

Tunnel SDK的 UploadSession支持overwirte设置。

适用客户
MaxCompute公共云客户

发布功能
Tunnel SDK的 UploadSession类的createUploadSession方法中增加了overwrite设置,支持客户指定tunnel写入数据时覆盖表/分区中的现有数据。


4.【新功能】SQL中列名书写错误的智能纠错提示

更加丰富智能的语法检查,提高了SQL开发的调试效率。

适用客户
MaxCompute公共云客户

发布功能
SQL运行中,当字段名错误时,MaxCompute将猜测并提示正确的字段名。


5.【新功能】外表支持 MSCK REPAIR TABLE语法 查看文档 >>>

外表支持 MSCK REPAIR TABLE语法,可自动补齐分区,简化了外表DDL操作。

适用客户
MaxCompute公共云客户

发布功能
将数据导入oss后,oss文件路径符合如下格式 oss://xxx/table-location/ptname1=ptvalue1/ptname2=ptvalue2/xxx。创建外表并执行 msck repair table external_table_name [add partitions],sql就会自动的解析oss的目录结构,自动识别分区,并为外表添加分区信息。

6.【新功能】外表访问OSS支持https

查询外部表时,支持底层通过https获取数据,加强了数据传输的安全性。

适用客户
MaxCompute公共云客户

发布功能
查询外部表时,若需要底层通过https获取数据,可以在sql前添加flag:set odps.sql.unstructured.data.oss.use.https=true;一起提交执行来实现。


7.【新功能】GROUPING SETS支持复杂CUBE & ROLLUP嵌套 查看文档 >>>

MaxCompute支持GROUPING SETS与CUBE & ROLLUP嵌套使用,简化了SQL书写,提高开发效率。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute扩充了GROUPING的表达方式,支持CUBE, ROLLUP,GROUPING SETS的嵌套使用,比如groupingsets((os,device,city),(os,device),(os),(),(os,city)),可写成:groupingsets(ROLLUP(os,device,city),(os,city))。


8.【新功能】新增Clone Table命令,支持表的复制 查看文档 >>>

MaxCompute 提供了Clone Table 功能,将表数据复制到另一个表中,让数据移动和复制更便捷。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute 提供了Clone Table 功能,将表数据复制到另一个表中,让数据移动和复制更便捷。


9.【新功能】支持表级别的disable lifecycle 查看文档 >>>

新增SQL命令,支持表级别禁止/恢复生命周期。

适用客户
MaxCompute公共云客户

发布功能
适用TABLE DISABLE LIFECYCLE命令,可以取消掉已经给表设置的生命周期

产品官网 >>>
产品文档 >>>


欢迎扫码加入 MaxCompute开发者社区钉钉群,或 点击链接 申请加入。

image

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
3月前
|
分布式计算 Serverless 测试技术
有奖实践:EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
免费试用 EMR Serverless StarRocks 与 EMR Serverless Spark,体验“实时分析冠军”与“批处理之神”的极致性能表现!
有奖实践:EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
|
存储 SQL 分布式计算
Parquet与ORC高性能列式存储
Parquet与ORC高性能列式存储
1313 0
Parquet与ORC高性能列式存储
|
SQL 自然语言处理 关系型数据库
【Hive】函数 concat 、concat_ws 、concat_group 的区别
【Hive】函数 concat 、concat_ws 、concat_group 的区别
2850 0
|
存储 缓存 算法
JDK11升级后竟让内存利用率飙升到90%以上?
本文记录了作者升级到JDK11后,使用G1GC导致内存利用率飙升至90%以上的问题及其解决方案。
|
人工智能 Java
JVM内存问题之当老年代缓慢增加且Full GC无法清除时,应如何使用MAT进行分析
JVM内存问题之当老年代缓慢增加且Full GC无法清除时,应如何使用MAT进行分析
912 0
|
消息中间件 Java Kafka
实时计算 Flink版操作报错合集之在运行过程中遇到"Could not upload job files"的问题如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
544 0
|
监控 API
如何通过Cloudera Manager的API获取集群告警信息
如何通过Cloudera Manager的API获取集群告警信息
480 1
|
分布式计算 关系型数据库 Hadoop
         User root is not allowed to impersonate anonymous                     
错误: bymain is not allowed to impersonate hadoop(或者          User root is not allowed to impersonate anonymou...
1931 0
|
存储 分布式计算 Hadoop
HDFS的副本放置策略及机架感知
副本放置策略的基本思想是: 第一个block副本放在和client所在的node里(如果client不在集群范围内,则这第一个node是随机选取的,当然系统会尝试不选择哪些太满或者太忙的node)。 第二个副本放置在与第一个节点不同的机架中的node中(随机选择)。 第三个副本和第二个在同一个机架,随机放在不同的node中。

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute