瓴羊Dataphin_个人页

2023年07月

• 07.11 15:23:02
  发表了文章 2023-07-11 15:23:02

  数据集成：针对离线集成任务超时的优化策略【Dataphin V3.11】

  集成任务作为数据中台和外部数据库链接的数据桥梁，常常需要应对与处理复杂的外部数据库与网络环境。一旦外部的数据库出现异常，集成任务就会卡在某个状态：如一直在尝试与数据库连接，或者在数据库过载的时候还在一直在尝试执行SQL……这些异常状态都会导致集成任务无法长时间卡住，无法完成。
• 07.06 16:51:08
  发表了文章 2023-07-06 16:51:08

  Dataphin上线全新模块-分析平台【V3.11】

  分析平台是Dataphin V3.11推出的全新模块，旨在为各个角色的数据工作者提供一个便捷高效的数据查询与分析平台。本期分析模块上线了Notebook，一个集文本、SQL代码与查询结果于一体的交互式数据分析笔记本，全面提升取数体验。
• 07.04 15:26:34
  发表了文章 2023-07-04 15:26:34

  数据安全最佳实践（7）：通过多级安全分类构建业务安全体系【Dataphin V3.11】

  在DataphinV3.11版本中，我们支持了构建多级安全分类体系的能力，用于支持客户定制和使用行业化的数据分类分级体系。 同时我们支持了识别特征的管理，可以使用内置的手机、姓名等识别特征；也在安全模型中内置了通用行业模型，便于客户直接应用，实现对大部分个人敏感数据和部分业务数据的识别和保护。

2023年06月

• 06.13 14:47:34
  发表了文章 2023-06-13 14:47:34

  Dataphin（数据建设与治理）V3.10版本升级速览

  本次发布的V3.10版本中，Dataphin新增了ArgoDB作为计算引擎；针对客户不同的管控诉求，提供了自定义审批模版、自定义下载和权限审批策略的管控能力；优化了自定义数据源的元数据获取和创建流程；在数据集成、实时研发、数据服务中都新增了多种数据源的适配；在资产治理中，也支持了质量整改、异常数据归档、标准关联质量。

  

2023年05月

• 05.26 17:36:01
  发表了文章 2023-05-26 17:36:01

  细说Dataphin自动解析

  细说Dataphin自动解析

  
• 05.24 10:23:30
  发表了文章 2023-05-24 10:23:30

  Dataphin实时计算：实时代码模板实现多链路容灾

  实时计算场景由于其需要24小时不间断的运行，对于任务的稳定性、时效性要求异常的高。在通常情况下，为了保证结果能够高准确、低延迟地产出，生产环境中需要双链路甚至三链路来实现主备的容灾处理。那么对于相同的一套指标，我们需要维护的代码就会根据链路数量成倍往上翻。特别是在变更的时候，人工操作有可能会带来很多的不一致。 考虑到主备任务处理逻辑需要保持强一致性，差异仅仅在于输入流/表以及输出流/表，dataphin针对这种场景设计了专门的处理方案，引入了模版和模版任务的概念，可以高效的解决上述问题。
• 05.18 21:23:32
  发表了文章 2023-05-18 21:23:32

  数据标准应用（二）：数据标准落标监控-上篇

  数据标准创建完成后，需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理，对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系，自动生成数据标准和资产对象的映射关联了；针对已确定的映射关系，可结合数据标准的定义对关联的资产对象进行落标监控，包括元数据监控和内容质量监控。
• 05.18 21:22:14
  发表了文章 2023-05-18 21:22:14

  数据标准应用（一）：落标映射关系

  数据标准创建完成后，需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系当前可以通过落标映射规则来管理；生成映射关系后，对象是否遵循了映射到的标准定义则通过落标监控评估来判断。本文为您介绍落标映射关系的分类和管理方式。
• 05.18 14:37:03
  发表了文章 2023-05-18 14:37:03

  数据建设与治理丨Dataphin中如何进行Hologres开发

  前言：在Dataphin 3.9中新增支持Hologres引擎的适配。Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving）。通过Dataphin的研发平台能力以及数据资产治理能力，可提供更好的即席分析及实时数仓的构建能力。

  
• 05.16 16:46:09
  发表了文章 2023-05-16 16:46:09

  数据集成最佳实践：分区表作为来源表时的处理策略

  分区表是指拥有分区空间的表，在集成任务中指定来源表的分区数据进行抽取，可以避免全表扫描，提高处理效率。但是来源表为分区表时也会遇到一些问题，如某些分区不存在，或者是需要抽取多个分区的数据，下面介绍一下Dataphin为这些场景提供的对应能力。
• 05.15 21:08:38
  发表了文章 2023-05-15 21:08:38

  Dataphin自定义资源组功能全新上线！

  V3.10 版本中，Dataphin 全新上线调度资源分组管理的功能，能够帮助您统一管理部署Dataphin实例的物理机集群资源。您可以将资源划分为不同的配额组，不同资源组之间的资源配额互相独立，并支持为不同租户、统一租户下不同项目内的任务单独指定调度时使用的自定义资源组，从而保障核心任务的资源不被抢占，同时也提升整体资源利用率。
• 05.15 19:59:21
  发表了文章 2023-05-15 19:59:21

  API数据源与集成优化【Dataphin V3.9】

  在DataphinV3.9版本中，对于API数据源的认证方式配置与URL相对路径配置等场景进行了功能优化，并且新增支持了通过离线集成管道中的API输出组件向API数据源写入数据的功能。
• 05.08 11:27:09
  发表了文章 2023-05-08 11:27:09

  Dataphin（数据建设与治理）V3.9版本升级详情

  本次发布的V3.9版本中，Dataphin提升了客制化的能力，针对不同的客户的业务场景、组织架构和管理职责进行了适配性的升级，并持续提升了规范建模的能力以及研发的易用性。在下一个版本中，我们将针对数据治理的相关能力进行升级，简化操作链路，持续提升用户体验。
• 05.06 15:25:09
  发表了文章 2023-05-06 15:25:09

  数据质量最佳实践（3）：通过质量治理工作台，实现质量问题的跟踪和处理

  在Dataphin数据治理系列：基于数据质量管理，支撑业务快速发展这篇文章中，我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在实际的质量管理中，做完了事前的质量规则的配置和事中的质量规则校验后，会产生大量的质量问题待治理项，这时候需要有一个完整的工作流程去管理质量问题，实现从质量规则配置，到质量问题发现，到质量治理修复问题，最终提升数据质量的完整PDCA流程。

  
• 05.06 11:40:16
  发表了文章 2023-05-06 11:40:16

  数据质量最佳实践（2）：通过归档和分析异常数据，快速定位质量问题

  在Dataphin数据治理系列：基于数据质量管理，支撑业务快速发展这篇文章中，我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在实际的质量管理过程中，经常需要通过查看异常数据，来确定质量问题产生的原因，从而针对性的修复质量问题，下面我们一起来看下Dataphin质量模块的异常数据归档能力。

  

2023年04月

• 04.21 18:33:36
  发表了文章 2023-04-21 18:33:36

  【数据计算实践】如何使用Datpahin实现一个流批一体任务

  以计算促销活动期间GMV为例，介绍Dataphin如何基于Flink流批一体的任务开发流程，实现实时数据处理。