勋章
我关注的人
粉丝
技术能力
- 数据库
暂时未有相关云产品技术能力~
阿里云GTS-交付技术部-技术中台组
-
发表了文章 2023-10-03
Dataworks数据集成之“文本数据”
Dataworks不是支持文本数据导入么？为什么Excel数据不能导入？CSV文件不就是Excel文件么？关于这些问题，我整理了一篇文章进行解释。
-
发表了文章 2023-06-24
Maxcompute拉链表应用（一）在数据开发中使用拉链表
最新在项目中进行存储优化的一个事情，于是就又把拉链表抬出来了。
-
发表了文章 2023-05-15
数据项目交付小记：测试报告&公共层&中台组织
最近项目交付上遇到了一些问题，我把自己的回答和想法记录一下，分享给大家。
-
发表了文章 2023-05-15
数据项目交付小记：测试报告&公共层&中台组织
最近项目交付上遇到了一些问题，我把自己的回答和想法记录一下，分享给大家。
-
发表了文章 2023-05-03
数据一致性比对（番外）
我写过很多如何去对数、如何批量对数的技术文档，最近项目遇到这个问题，我才发现在官方博客上还没有发布过这个课题的文章。这就像灯下黑，太长用到的知识点，反而没有意识到其重要性。
-
发表了文章 2023-05-03
Maxcompute数据上云一致性比对
当把数据集成到Maxcompute上后，用户其实最关心的一个技术问题就是集成数据是否与源端一致，本文中介绍的一致性方案比对方案是基于阿里云多个大数据项目实际项目交付实践总结。
-
发表了文章 2023-02-01
如何选择离线数据集成方案-全量&增量
如何选择数据离线集成方式，哪些表适合全量集成，哪些表适合增量集成
-
发表了文章 2023-02-01
如何选择离线数据集成方案-全量&增量
如何选择数据离线集成方式，哪些表适合全量集成，哪些表适合增量集成
-
发表了文章 2023-01-30
如何选择数据集成方式-离线&实时
如何在项目交付过程中合理经济的选择数据集成方案
-
发表了文章 2023-01-30
如何选择数据集成方式-离线&实时
如何在项目交付过程中合理经济的选择数据集成方案
-
发表了文章 2023-01-09
维度建模实践一例 （一） 维度还是事实
成本和单价是产品的维度还是事实表中的事实？来看看我对这个问题的思考与分享吧。
-
发表了文章 2023-01-08
维度建模实践一例 （一） 维度还是事实
成本和单价是产品的维度还是事实表中的事实？来看看我对这个问题的思考与分享吧。
-
发表了文章 2022-09-21
MaxCompute笛卡尔积逻辑的参数优化&复杂JOIN逻辑优化
这篇文章主要讲一个SQL优化反映的两个优化点。分别是： 一、笛卡尔积逻辑的参数优化。 二、一个复杂JOIN逻辑的优化思路。
-
发表了文章 2022-08-16
2022年6月9日发表的《阿里云数据中台架构实践》演讲
2022年6月9日，我在信通院组织的“聚焦数据中台|下一代数据架构沙龙中”中发表了一次《阿里云数据中台架构实践》演讲，这次演讲也包括了其他中台厂商的内容，感兴趣的可以上去看看。
-
发表了文章 2022-08-16
构建数据中台的组织架构
著名管理大师钱德勒总结过一个黄金定律：战略决定组织，而组织决定成败。
-
发表了文章 2022-08-07
浅谈数据仓库架构设计
简单的比较了一下数据中台架构与数据仓库、BI、DSS之间的关系，并对比了一下Bill Inmon和Ralph Kimball架构的差异。
-
发表了文章 2022-06-23
MaxCompute-UNION数据类型对齐的方法
怎么对齐两段union脚本的数据类型
-
发表了文章 2022-06-14
如何正确的做增量加工
回到十多年前，增量加工这个方法并不是一种需要特别需要提出的方法，因为关系数据库的存储与计算性能十分有限（即便是MPP数据库平台也不是全都是做全量加工），增量加工是最普遍的方式。本文讲述了如何在MaxCompute上用与关系数据库的不同的方式做增量数据的加工。
-
发表了文章 2022-04-23
数据仓库的分层架构与演进
分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来，我会从数据研发与建模的角度，演进一下分层架构的设计原因与层次的意义。
-
发表了文章 2022-03-15
数据治理之参考数据与主数据管理
最近凑巧参与了一次某行业的业务共创会议，期间讨论到了主数据系统，还有我们该如何参与主数据系统建设的话题。说实话，我一直以为我不会有机会参与到主数据与参考数据系统的话题中去，所以，又去把DAMA的书籍翻了翻。顺便也重新思考了一下主数据与参考数据这个数据治理的课题。
-
发表了文章 2022-03-15
数据治理之分类分级-（1）
2022年的一月和二月，我花了大量时间来学习研究分类与分级这个课题，但是并未找到答案。我把分类与分级的问题，定义为一个社会知识的问题。因为分类的问题相当广泛，而且也相当复杂，即便是一个科学家也只能对自己小范围内的数据进行有限的分类。而我们做数据中台数据治理项目交付，面对的数据是非常广泛的，全社会的各种各样的数据都可能是我们要分类的目标。要想把类分好，就要对需要分类的数据及其业务含义、适用场景等都有深入的了解。而我，每次即便是看到某一小类数据都非常的头痛，因为我对这个世界的认知太单薄。用一个成语“蚍蜉撼树”来形容我现在想做的事情，再恰当不过了。
-
发表了文章 2021-11-30
Oracle数据到MaxCompute乱码问题详解
集成Oracle数据到MaxCompute，乱码问题分析； 为什么，在oracle数据不乱码，集成到MaxCompute就乱码了? 问题在哪里？
-
发表了文章 2021-10-31
阿里云大数据平台 -时序数据集成架构与存储规划
阿里云大数据平台集成时序数据的架构与存储规划
-
发表了文章 2021-09-25
MaxCompute 海量数据点查介绍for混合云
客户需对近3-6个月归档数据进行快速全量查询的需求，涉及查询的423T数据量，达到引擎默认任务数上限，且资源消耗巨大，等于几乎无法查询， 且看maxcompute的海量数据查询方案如何应对这样的场景。
-
发表了文章 2021-09-25
MaxCompute 存储设计
存储策略该怎么设计
-
发表了文章 2021-06-30
MaxCompute 挑战使用SQL进行序列数据处理
MaxCompute 挑战使用SQL进行序列数据处理 --而不是用MR和函数
-
发表了文章 2021-06-16
Maxcompute造数据-方法详解
造一点模拟数据的方法
-
发表了文章 2021-01-11
MaxCompute 行转列 列转行
搜了一下行转列、列转行，除了隐林一篇之外，好像没有了 最近在帮助项目组初学者整理初学者文档，刚好用关系型数据库的例子变化实现了一个 借鉴：https://developer.aliyun.com/article/40518 供大家参考
-
发表了文章 2020-08-06
优化（2）MaxCompute 实现增量数据推送(全量比对增量逻辑)
MaxCompute（ODPS2.0） - 试用新的集合操作命令 EXCEPT & 增量识别
-
发表了文章 2020-02-28
DataX:导入4字节UTF8编码（生僻字）到Mysql数据库的utf8mb4数据表
MySql数据库的编码支持UFT8字符集。utf-8编码可能是2个字节、3个字节、4个字节的字符，MYSQL的utf-8编码，只支持3个字节的字符。汉字中很多生僻字都是4个字节的字符，日常生活中人的姓名就会有很多高位的生僻字。
-
发表了文章 2018-12-24
Oracle存储过程迁移ODPS-03（专有云）：ODPS1.0支持exists语法
专有云目前还有不少ODPS1.0版本，主要是应对V3之前的平台版本。这个版本的ODPS不支持exists语法，如何换种写法实现。
-
发表了文章 2018-12-24
Oracle存储过程迁移ODPS-02（专有云）：循环逻辑修改一例（构造代码表）
总有同学提问，说我原来在oracle的存储过程中的循环现在maxcompute支持了，我的程序怎么迁移。这个问题其实非常难以回答，一般来说99%的oracle的代码都可以通过maxcompute的SQL和函数来替代，这个也包括一般的循环语句要解的问题。
-
发表了文章 2018-12-03
Oracle存储过程迁移ODPS-01（专有云）：支持DML(delete/update/merge)SQL
关系型数据库支持的DML(delete/update/merge)SQL ，在maxcompute(ODPS)该如何写？ 总有人问，现写了一个例子，应该可以说明了。 有问题，欢迎大家指正。
-
发表了文章 2017-07-04
Oracle存储过程迁移ODPS-00（专有云）：Oracle - ODPS数据类型转换
oracle 数据类型 转到ODPS，映射关系
-
发表了文章
2023-10-03
Dataworks数据集成之“文本数据”
-
发表了文章
2023-06-24
Maxcompute拉链表应用（一）在数据开发中使用拉链表
-
发表了文章
2023-05-15
数据项目交付小记：测试报告&公共层&中台组织
-
发表了文章
2023-05-15
数据项目交付小记：测试报告&公共层&中台组织
-
发表了文章
2023-05-03
数据一致性比对（番外）
-
发表了文章
2023-05-03
Maxcompute数据上云一致性比对
-
发表了文章
2023-02-01
如何选择离线数据集成方案-全量&增量
-
发表了文章
2023-02-01
如何选择离线数据集成方案-全量&增量
-
发表了文章
2023-01-30
如何选择数据集成方式-离线&实时
-
发表了文章
2023-01-30
如何选择数据集成方式-离线&实时
-
发表了文章
2023-01-09
维度建模实践一例 （一） 维度还是事实
-
发表了文章
2023-01-08
维度建模实践一例 （一） 维度还是事实
-
发表了文章
2022-09-21
MaxCompute笛卡尔积逻辑的参数优化&复杂JOIN逻辑优化
-
发表了文章
2022-08-16
2022年6月9日发表的《阿里云数据中台架构实践》演讲
-
发表了文章
2022-08-16
构建数据中台的组织架构
-
发表了文章
2022-08-07
浅谈数据仓库架构设计
-
发表了文章
2022-06-23
MaxCompute-UNION数据类型对齐的方法
-
发表了文章
2022-06-14
如何正确的做增量加工
-
发表了文章
2022-04-23
数据仓库的分层架构与演进
-
发表了文章
2022-03-15
数据治理之参考数据与主数据管理
-
回答了问题
2023-05-02
DataWorks数据进来了，但是都是各种I,U,D 如何合并到一张最新数据表里不是这些记录，怎么办
如果是使用dataworks的实时同步，自动就merge了。 自己搞的话，参考我这篇： Oracle存储过程迁移ODPS-01（专有云）：支持DML(delete/update/merge)SQL https://developer.aliyun.com/article/674413 如果是日合并，每日按照主键取主键的最后一个状态的记录行，再去merge全量。赞0 踩0 评论0