暮角_社区达人页

2023年10月

• 10.03 22:28:19
  发表了文章 2023-10-03 22:28:19

  Dataworks数据集成之“文本数据”

  Dataworks不是支持文本数据导入么？为什么Excel数据不能导入？CSV文件不就是Excel文件么？关于这些问题，我整理了一篇文章进行解释。

2023年06月

• 06.24 11:46:16
  发表了文章 2023-06-24 11:46:16

  Maxcompute拉链表应用（一）在数据开发中使用拉链表

  最新在项目中进行存储优化的一个事情，于是就又把拉链表抬出来了。

2023年05月

• 05.15 10:19:26
  发表了文章 2023-05-15 10:19:26

  数据项目交付小记：测试报告&公共层&中台组织

  最近项目交付上遇到了一些问题，我把自己的回答和想法记录一下，分享给大家。
• 05.15 10:19:18
  发表了文章 2023-05-15 10:19:18

  数据项目交付小记：测试报告&公共层&中台组织

  最近项目交付上遇到了一些问题，我把自己的回答和想法记录一下，分享给大家。
• 05.03 21:05:03
  发表了文章 2023-05-03 21:05:03

  数据一致性比对（番外）

  我写过很多如何去对数、如何批量对数的技术文档，最近项目遇到这个问题，我才发现在官方博客上还没有发布过这个课题的文章。这就像灯下黑，太长用到的知识点，反而没有意识到其重要性。
• 05.03 21:04:52
  发表了文章 2023-05-03 21:04:52

  Maxcompute数据上云一致性比对

  当把数据集成到Maxcompute上后，用户其实最关心的一个技术问题就是集成数据是否与源端一致，本文中介绍的一致性方案比对方案是基于阿里云多个大数据项目实际项目交付实践总结。
• 05.02 22:27:03
  回答了问题 2023-05-02 22:27:03

  DataWorks数据进来了，但是都是各种I,U,D 如何合并到一张最新数据表里不是这些记录，怎么办

  赞0 踩0 评论0

2023年02月

• 02.01 14:16:49
  发表了文章 2023-02-01 14:16:49

  如何选择离线数据集成方案-全量&增量

  如何选择数据离线集成方式，哪些表适合全量集成，哪些表适合增量集成

  
• 02.01 14:16:42
  发表了文章 2023-02-01 14:16:42

  如何选择离线数据集成方案-全量&增量

  如何选择数据离线集成方式，哪些表适合全量集成，哪些表适合增量集成

  

2023年01月

• 01.30 23:30:33
  发表了文章 2023-01-30 23:30:33

  如何选择数据集成方式-离线&实时

  如何在项目交付过程中合理经济的选择数据集成方案

  
• 01.30 23:30:27
  发表了文章 2023-01-30 23:30:27

  如何选择数据集成方式-离线&实时

  如何在项目交付过程中合理经济的选择数据集成方案
• 01.09 11:31:58
  发表了文章 2023-01-09 11:31:58

  维度建模实践一例 （一） 维度还是事实

  成本和单价是产品的维度还是事实表中的事实？来看看我对这个问题的思考与分享吧。

  
• 01.08 23:24:59
  发表了文章 2023-01-08 23:24:59

  维度建模实践一例 （一） 维度还是事实

  成本和单价是产品的维度还是事实表中的事实？来看看我对这个问题的思考与分享吧。

  

2022年09月

• 09.21 21:36:12
  发表了文章 2022-09-21 21:36:12

  MaxCompute笛卡尔积逻辑的参数优化&复杂JOIN逻辑优化

  这篇文章主要讲一个SQL优化反映的两个优化点。分别是： 一、笛卡尔积逻辑的参数优化。 二、一个复杂JOIN逻辑的优化思路。

  

2022年08月

• 08.16 20:32:04
  发表了文章 2022-08-16 20:32:04

  2022年6月9日发表的《阿里云数据中台架构实践》演讲

  2022年6月9日，我在信通院组织的“聚焦数据中台|下一代数据架构沙龙中”中发表了一次《阿里云数据中台架构实践》演讲，这次演讲也包括了其他中台厂商的内容，感兴趣的可以上去看看。

  
• 08.16 19:32:05
  发表了文章 2022-08-16 19:32:05

  构建数据中台的组织架构

  著名管理大师钱德勒总结过一个黄金定律：战略决定组织，而组织决定成败。

  
• 08.07 17:42:05
  发表了文章 2022-08-07 17:42:05

  浅谈数据仓库架构设计

  简单的比较了一下数据中台架构与数据仓库、BI、DSS之间的关系，并对比了一下Bill Inmon和Ralph Kimball架构的差异。

  

2022年06月

• 06.23 14:49:49
  发表了文章 2022-06-23 14:49:49

  MaxCompute-UNION数据类型对齐的方法

  怎么对齐两段union脚本的数据类型

  
• 06.14 09:34:22
  发表了文章 2022-06-14 09:34:22

  如何正确的做增量加工

  回到十多年前，增量加工这个方法并不是一种需要特别需要提出的方法，因为关系数据库的存储与计算性能十分有限（即便是MPP数据库平台也不是全都是做全量加工），增量加工是最普遍的方式。本文讲述了如何在MaxCompute上用与关系数据库的不同的方式做增量数据的加工。

  

2022年04月

• 04.23 11:35:48
  发表了文章 2022-04-23 11:35:48

  数据仓库的分层架构与演进

  分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来，我会从数据研发与建模的角度，演进一下分层架构的设计原因与层次的意义。

  

2022年03月

• 03.15 10:32:04
  发表了文章 2022-03-15 10:32:04

  数据治理之参考数据与主数据管理

  最近凑巧参与了一次某行业的业务共创会议，期间讨论到了主数据系统，还有我们该如何参与主数据系统建设的话题。说实话，我一直以为我不会有机会参与到主数据与参考数据系统的话题中去，所以，又去把DAMA的书籍翻了翻。顺便也重新思考了一下主数据与参考数据这个数据治理的课题。

  
• 03.15 10:26:23
  发表了文章 2022-03-15 10:26:23

  数据治理之分类分级-（1）

  2022年的一月和二月，我花了大量时间来学习研究分类与分级这个课题，但是并未找到答案。我把分类与分级的问题，定义为一个社会知识的问题。因为分类的问题相当广泛，而且也相当复杂，即便是一个科学家也只能对自己小范围内的数据进行有限的分类。而我们做数据中台数据治理项目交付，面对的数据是非常广泛的，全社会的各种各样的数据都可能是我们要分类的目标。要想把类分好，就要对需要分类的数据及其业务含义、适用场景等都有深入的了解。而我，每次即便是看到某一小类数据都非常的头痛，因为我对这个世界的认知太单薄。用一个成语“蚍蜉撼树”来形容我现在想做的事情，再恰当不过了。

  

2021年11月

• 11.30 18:10:50
  发表了文章 2021-11-30 18:10:50

  Oracle数据到MaxCompute乱码问题详解

  集成Oracle数据到MaxCompute，乱码问题分析； 为什么，在oracle数据不乱码，集成到MaxCompute就乱码了? 问题在哪里？

  

2021年10月

• 10.31 23:25:04
  发表了文章 2021-10-31 23:25:04

  阿里云大数据平台 -时序数据集成架构与存储规划

  阿里云大数据平台集成时序数据的架构与存储规划

  

2021年09月

• 09.25 18:03:42
  发表了文章 2021-09-25 18:03:42

  MaxCompute 海量数据点查介绍for混合云

  客户需对近3-6个月归档数据进行快速全量查询的需求，涉及查询的423T数据量，达到引擎默认任务数上限，且资源消耗巨大，等于几乎无法查询， 且看maxcompute的海量数据查询方案如何应对这样的场景。

  
• 09.25 18:00:43
  发表了文章 2021-09-25 18:00:43

  MaxCompute 存储设计

  存储策略该怎么设计

  

2021年06月

• 06.30 18:10:28
  发表了文章 2021-06-30 18:10:28

  MaxCompute 挑战使用SQL进行序列数据处理

  MaxCompute 挑战使用SQL进行序列数据处理 --而不是用MR和函数

  
• 06.16 11:44:03
  发表了文章 2021-06-16 11:44:03

  Maxcompute造数据-方法详解

  造一点模拟数据的方法

2021年01月

• 01.11 19:29:27
  发表了文章 2021-01-11 19:29:27

  MaxCompute 行转列 列转行

  搜了一下行转列、列转行，除了隐林一篇之外，好像没有了 最近在帮助项目组初学者整理初学者文档，刚好用关系型数据库的例子变化实现了一个 借鉴：https://developer.aliyun.com/article/40518 供大家参考

2020年08月

• 08.06 17:39:10
  发表了文章 2020-08-06 17:39:10

  优化（2）MaxCompute 实现增量数据推送(全量比对增量逻辑)

  MaxCompute（ODPS2.0） - 试用新的集合操作命令 EXCEPT & 增量识别