龙青云_个人页

2021年11月

• 11.08 11:14:33
  发表了文章 2021-11-08 11:14:33

  RedShift到MaxCompute迁移实践指导

  本文主要介绍Amazon Redshift如何迁移到MaxCompute，主要从语法对比和数据迁移两方面介绍，由于Amazon Redshift和MaxCompute存在语法差异，这篇文章讲解了一下语法差异

  

2021年08月

• 08.05 16:21:20
  发表了文章 2021-08-05 16:21:20

  外部工具连接SaaS模式云数仓MaxCompute—ETL工具篇

  本文主要讲解开源ETL工具如何连接MaxCompute

  
• 08.05 16:11:43
  发表了文章 2021-08-05 16:11:43

  使用AirFlow调度MaxCompute

  airflow是Airbnb开源的一个用python编写的调度工具，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行，通过python代码定义子任务，并支持各种Operate操作器，灵活性大，能满足用户的各种需求。本文主要介绍使用Airflow的python Operator调度MaxCompute 任务

  
• 08.05 16:06:26
  发表了文章 2021-08-05 16:06:26

  Kettle on MaxCompute使用指南

  Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows, Unix, Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。Kettle支持丰富的数据输入输出源，数据库支持Oracle，MySql，DB2等，也支持业界各种开源的大数据系统，例如HDFS, HBase, Cassandra, MongoDB等。本文将介绍如何利用MaxCompute的插件无缝对接阿里云的大数据计算平台——MaxCompute。

  
• 08.05 15:27:34
  发表了文章 2021-08-05 15:27:34

  使用Azkaban调度MaxCompute

  Azkaban是一套任务调度系统，可以调度command、hadoopMR、hive、spark、pig等任务，而且支持自定义plugin，其中最简单而且最常用的是command类型，本文通过结合MaxCompute的客户端执行command命令调度MaxCompute sql任务。

  

2021年07月

• 07.06 12:06:55
  发表了文章 2021-07-06 12:06:55

  MaxCompute中如何通过logview诊断慢作业

  MaxCompute致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务，在MaxCompute执行sql任务的时候有时候作业会很慢，本文通过查看logview排查具体任务慢的原因

  

2021年05月

• 05.20 16:06:29
  发表了文章 2021-05-20 16:06:29

  MaxCompute非事务表如何更新数据

  本文主要讲解如何通过insert overwrite更新数据

  

2021年03月

• 03.16 14:56:01
  发表了文章 2021-03-16 14:56:01

  PyODPS如何确定运行在服务端还是客户端

  本文主要讲解编写PyODPS代码时如何确定运行在服务端还是客户端

  

2020年09月

• 09.02 15:04:56
  发表了文章 2020-09-02 15:04:56

  使用日志审计查看MaxCompute执行过哪些操作

  MaxCompute完整地记录用户的各项操作行为，会自动将操作日志实时投递到ActionTrail中，ActionTrail针对作业（Instance）、表（Table）、函数（Function）、资源（Resource）、用户（User）、角色（Role）和授权（Privilege）等事件的多种操作行为进行记录。

  

2020年02月

• 02.25 16:54:44
  发表了文章 2020-02-25 16:54:44

  实时计算与SparkSteaming的对比

  本文由阿里巴巴龙青云带来以“实时计算与SparkSteaming的对比”为题的演讲。首先对实时计算和产品模式进行概述。然后介绍了什么是Flink以及它的架构图、编程模型、计算模型和容错机制。接着阐述了Spark Streaming与实时计算的对比涉及生态集成对比、API对比、数据处理模式对比、时间机制对比以及容错机制对比五个方面。最后讲解了如何使用阿里云实时计算以及实时计算的使用限制。

  
• 02.13 17:53:23
  发表了文章 2020-02-13 17:53:23

  使用Airflow调度MaxCompute

  MaxCompute对外提供了Python接口，通过提供的接口使用AirFlow进行调度