龙青云
龙青云_个人页
龙青云
文章
14
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
- Java
- Linux
- 数据库
-
发表了文章 2021-11-08
RedShift到MaxCompute迁移实践指导
本文主要介绍Amazon Redshift如何迁移到MaxCompute，主要从语法对比和数据迁移两方面介绍，由于Amazon Redshift和MaxCompute存在语法差异，这篇文章讲解了一下语法差异
-
发表了文章 2021-08-05
外部工具连接SaaS模式云数仓MaxCompute—ETL工具篇
本文主要讲解开源ETL工具如何连接MaxCompute
-
发表了文章 2021-08-05
使用AirFlow调度MaxCompute
airflow是Airbnb开源的一个用python编写的调度工具，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行，通过python代码定义子任务，并支持各种Operate操作器，灵活性大，能满足用户的各种需求。本文主要介绍使用Airflow的python Operator调度MaxCompute 任务
-
发表了文章 2021-08-05
Kettle on MaxCompute使用指南
Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows, Unix, Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。Kettle支持丰富的数据输入输出源，数据库支持Oracle，MySql，DB2等，也支持业界各种开源的大数据系统，例如HDFS, HBase, Cassandra, MongoDB等。本文将介绍如何利用MaxCompute的插件无缝对接阿里云的大数据计算平台——MaxCompute。
-
发表了文章 2021-08-05
使用Azkaban调度MaxCompute
Azkaban是一套任务调度系统，可以调度command、hadoopMR、hive、spark、pig等任务，而且支持自定义plugin，其中最简单而且最常用的是command类型，本文通过结合MaxCompute的客户端执行command命令调度MaxCompute sql任务。
-
发表了文章 2021-07-06
MaxCompute中如何通过logview诊断慢作业
MaxCompute致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务，在MaxCompute执行sql任务的时候有时候作业会很慢，本文通过查看logview排查具体任务慢的原因
-
发表了文章 2021-05-20
MaxCompute非事务表如何更新数据
本文主要讲解如何通过insert overwrite更新数据
-
发表了文章 2021-03-16
PyODPS如何确定运行在服务端还是客户端
本文主要讲解编写PyODPS代码时如何确定运行在服务端还是客户端
-
发表了文章 2020-09-02
使用日志审计查看MaxCompute执行过哪些操作
MaxCompute完整地记录用户的各项操作行为，会自动将操作日志实时投递到ActionTrail中，ActionTrail针对作业（Instance）、表（Table）、函数（Function）、资源（Resource）、用户（User）、角色（Role）和授权（Privilege）等事件的多种操作行为进行记录。
-
发表了文章 2020-05-27
如何使用MaxCompute Spark读写阿里云Hbase
通过Spark on MaxCompute来访问阿里云的Hbase，需要设置网络安全组、Hbase的白名单和配置Spark的参数
-
发表了文章 2020-04-02
调度参数在MaxCompute的使用
本文主要讲解如何测试DataWorks调度参数在MaxCompute上使用
-
发表了文章 2020-02-25
实时计算与SparkSteaming的对比
本文由阿里巴巴龙青云带来以“实时计算与SparkSteaming的对比”为题的演讲。首先对实时计算和产品模式进行概述。然后介绍了什么是Flink以及它的架构图、编程模型、计算模型和容错机制。接着阐述了Spark Streaming与实时计算的对比涉及生态集成对比、API对比、数据处理模式对比、时间机制对比以及容错机制对比五个方面。最后讲解了如何使用阿里云实时计算以及实时计算的使用限制。
-
发表了文章 2020-02-13
使用Airflow调度MaxCompute
MaxCompute对外提供了Python接口，通过提供的接口使用AirFlow进行调度
-
发表了文章 2020-02-10
TiDb和MaxCompute同步数据
一、环境准备 保证TiDb集群外网可以访问 DataWorks 二、开发 1、允许TiDb远程连接 登录到TiDb执行授权语句 grant all privileges on *.* to 'user'@'%' identified by 'password' with grant optio.
暂无更多信息
-
发表了文章
2021-11-08
RedShift到MaxCompute迁移实践指导
-
发表了文章
2021-08-05
外部工具连接SaaS模式云数仓MaxCompute—ETL工具篇
-
发表了文章
2021-08-05
使用AirFlow调度MaxCompute
-
发表了文章
2021-08-05
Kettle on MaxCompute使用指南
-
发表了文章
2021-08-05
使用Azkaban调度MaxCompute
-
发表了文章
2021-07-06
MaxCompute中如何通过logview诊断慢作业
-
发表了文章
2021-05-20
MaxCompute非事务表如何更新数据
-
发表了文章
2021-03-16
PyODPS如何确定运行在服务端还是客户端
-
发表了文章
2020-09-02
使用日志审计查看MaxCompute执行过哪些操作
-
发表了文章
2020-05-27
如何使用MaxCompute Spark读写阿里云Hbase
-
发表了文章
2020-04-02
调度参数在MaxCompute的使用
-
发表了文章
2020-02-25
实时计算与SparkSteaming的对比
-
发表了文章
2020-02-13
使用Airflow调度MaxCompute
-
发表了文章
2020-02-10
TiDb和MaxCompute同步数据
滑动查看更多
暂无更多信息
暂无更多信息