JackSquirrel_个人页

2021年10月

• 10.29 10:24:11
  发表了文章 2021-10-29 10:24:11

  通用仓库元模型概述

  通用仓库元模型（Common Warehouse metamodel，CWM）指定了可用于在分布式异构环境中的仓库工具、仓库平台和仓库元数据存储库之间轻松交换仓库和商业智能元数据的接口。

  

2021年09月

• 09.30 15:20:50
  发表了文章 2021-09-30 15:20:50

  一种行业代码标准化方法

  本发明提出了一种行业代码标准化方法、装置、电子设备和存储介质，该方法包括如下步骤：获取行业数据；通过正则表达式对行业数据进行数据格式分类，针对不同分类结果进行预处理，获得数字代码和中文描述A；判断数字代码是否在标准版本中，如果在，则补齐行业门类字母，生成行业代码；判断数字代码是否在历史版本中，如果在，则取出历史版本中对应的中文描述B；将中文描述A或中文描述B与一标准版本中文描述进行相似度计算，重复操作，获得标准版本中最相似的中文描述C；根据中文描述C，查找出对应的标准版本行业代码并输出。本发明通过中文描述相似度特征，自动进行码值转换，相对于人工进行码值映射大大提高了工作效率。

  

2021年08月

• 08.12 10:20:05
  发表了文章 2021-08-12 10:20:05

  一种基于Hive的数据质量检核方法

  本发明提出了一种数据质量检核方法、装置、设备及可读存储介质，所述方法包括如下步骤：1）根据质量检核需求，对多业务系统数据进行关联建模，生成关联建模结果；2）根据所述关联建模结果，配置数据质量检核规则，获取数据配置结果；3）将所述数据配置结果导入规则解析器，生成检核脚本；4）将所述检核脚本导入脚本执行器，生成检核明细表；5）对所述检核明细表进行汇总统计，生成检核结果报告。本发明通过针对不同的检核要求，将多业务系统数据进行临时关联汇总，初步对待检核数据进行筛选，限定数据范围，可以大大提升质量检核结果的准确性和有效性，以及降低使用和维护成本。

  
• 08.12 09:58:03
  发表了文章 2021-08-12 09:58:03

  在SmartBI中使用ClickHouse数据源进行透视分析

  在使用SmartBI进行数据分析时，通过MPP高速缓存库可以大大加快计算速度，提高工作效率。我司SmartBI MPP高速缓存库的底层技术为ClickHouse。ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的数据库管理系统，与Hadoop, Spark相比，ClickHouse很轻量级,由俄罗斯第一大搜索引擎Yandex于2016年6月发布, 开发语言为C++。

  
• 08.12 09:26:30
  发表了文章 2021-08-12 09:26:30

  Hive1.2开发MD5用户自定义函数UDF

  因为公司使用的Hive版本是1.2，没有自带md5函数， 于是通过开发udf函数来实现该功能。我们使用IDEA和Maven来开发和构建。