JackSquirrel
JackSquirrel_个人页
JackSquirrel
文章
8
问答
0
视频
0
个人介绍
博观而约取，厚积而薄发
擅长的技术
- Java
- Hadoop
- Spark
- Flink
获得更多能力
通用技术能力：
-
Java
中级
能力说明：
掌握封装、继承和多态设计Java类的方法，能够设计较复杂的Java类结构；能够使用泛型与集合的概念与方法，创建泛型类，使用ArrayList，TreeSet，TreeMap等对象掌握Java I/O原理从控制台读取和写入数据，能够使用BufferedReader，BufferedWriter文件创建输出、输入对象。
云产品技术能力：
暂时未有相关云产品技术能力~
阿里云技能认证
详细说明-
发表了文章 2021-10-29
通用仓库元模型概述
通用仓库元模型（Common Warehouse metamodel，CWM）指定了可用于在分布式异构环境中的仓库工具、仓库平台和仓库元数据存储库之间轻松交换仓库和商业智能元数据的接口。
-
发表了文章 2021-09-30
一种行业代码标准化方法
本发明提出了一种行业代码标准化方法、装置、电子设备和存储介质，该方法包括如下步骤：获取行业数据；通过正则表达式对行业数据进行数据格式分类，针对不同分类结果进行预处理，获得数字代码和中文描述A；判断数字代码是否在标准版本中，如果在，则补齐行业门类字母，生成行业代码；判断数字代码是否在历史版本中，如果在，则取出历史版本中对应的中文描述B；将中文描述A或中文描述B与一标准版本中文描述进行相似度计算，重复操作，获得标准版本中最相似的中文描述C；根据中文描述C，查找出对应的标准版本行业代码并输出。本发明通过中文描述相似度特征，自动进行码值转换，相对于人工进行码值映射大大提高了工作效率。
-
发表了文章 2021-08-12
一种基于Hive的数据质量检核方法
本发明提出了一种数据质量检核方法、装置、设备及可读存储介质，所述方法包括如下步骤：1）根据质量检核需求，对多业务系统数据进行关联建模，生成关联建模结果；2）根据所述关联建模结果，配置数据质量检核规则，获取数据配置结果；3）将所述数据配置结果导入规则解析器，生成检核脚本；4）将所述检核脚本导入脚本执行器，生成检核明细表；5）对所述检核明细表进行汇总统计，生成检核结果报告。本发明通过针对不同的检核要求，将多业务系统数据进行临时关联汇总，初步对待检核数据进行筛选，限定数据范围，可以大大提升质量检核结果的准确性和有效性，以及降低使用和维护成本。
-
发表了文章 2021-08-12
在SmartBI中使用ClickHouse数据源进行透视分析
在使用SmartBI进行数据分析时，通过MPP高速缓存库可以大大加快计算速度，提高工作效率。我司SmartBI MPP高速缓存库的底层技术为ClickHouse。ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的数据库管理系统，与Hadoop, Spark相比，ClickHouse很轻量级,由俄罗斯第一大搜索引擎Yandex于2016年6月发布, 开发语言为C++。
-
发表了文章 2021-08-12
Hive1.2开发MD5用户自定义函数UDF
因为公司使用的Hive版本是1.2，没有自带md5函数， 于是通过开发udf函数来实现该功能。我们使用IDEA和Maven来开发和构建。
-
发表了文章 2019-03-14
深入浅出SQL——谨致数据泛滥之世及意图征服数据者
1 数据和表：保存所有东西的地方 数据库是保存表和其他相关SQL结构的容器。数据库内的信息组成了表。数据库由表构成。表是在数据库中包含数据的结构，由列和行组成。把对象属性分类，某一类信息是表中的一列。
-
发表了文章 2019-03-14
如何在运行pyspark时加载本地jar包？
某内网项目需要测试spark和mongodb联调，因为不能连接外网，所以下载好了相应的jar包扔进去了。 官网给出的事例代码如下： ./bin/pyspark --conf "spark.mongodb.
-
发表了文章 2019-03-14
Core Shell: 在macOS上高效管理SSH服务器
我不喜欢SecureCRT过时的界面，iTerm2作为终端工具确实很好用，强大的多屏操作很是吸引人，但是要管理很多台服务器，要熟悉各种配置文件就够你折腾的了。现在情况终于有了改变，感谢Codinn公司，给我们带来这样一款神器：**Core Shell**。
暂无更多信息
-
发表了文章
2021-10-29
通用仓库元模型概述
-
发表了文章
2021-09-30
一种行业代码标准化方法
-
发表了文章
2021-08-12
一种基于Hive的数据质量检核方法
-
发表了文章
2021-08-12
在SmartBI中使用ClickHouse数据源进行透视分析
-
发表了文章
2021-08-12
Hive1.2开发MD5用户自定义函数UDF
-
发表了文章
2019-03-14
深入浅出SQL——谨致数据泛滥之世及意图征服数据者
-
发表了文章
2019-03-14
如何在运行pyspark时加载本地jar包？
-
发表了文章
2019-03-14
Core Shell: 在macOS上高效管理SSH服务器
滑动查看更多
暂无更多信息
暂无更多信息