开发者社区> 问答> 正文

MaxCompute提供了什么能力处理半结构化数据?

MaxCompute提供了什么能力处理半结构化数据?

展开
收起
芯在这 2021-12-12 12:03:06 445 0
1 条回答
写回答
取消 提交回答
  • MaxCompute提供了以下四方面能力处理半结构化数据

    提供复杂类型支持存储半结构化数据

    首先提供了复杂数据类型 存储对应的半结构化数据

    Schema evolution(表结构演进) 对应半结构化数据结构定义的修改

    然后提供了schema evolution的能力,可以修改表和嵌套列,包括:

    删除列

    添加列

    修改列顺序

    修改列名

    修改列数据类型(兼容类型)

    修改复杂类型嵌套结构(与修改表结构相同)

    Semi-structured data processing function 用于处理半结构化数据各节点的值

    MaxCompute SQL 为提升复杂数据类型(ARRAY、MAP、STRUCT)数据的处理能力和效率,增加了大量内建函数,可以使用内建函数对输入的复杂数据类型数据进行处理,或经过函数处理输出复杂数据类型数据。

    同时提供了高阶函数增强复杂数据类型数据的处理能力,相较于普通函数的输入参数只能是数据,高阶函数的输入参数本身可以是一个函数。因此高阶函数可以处理输入的复杂数据类型数据,并使用lambda表达式简化处理逻辑语法表达。

    2021-12-12 12:03:46
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载