Z_sorrain_社区达人页

2024年11月

• 11.06 22:22:01
  发表了文章 2024-11-06 22:22:01

  数仓规范之项目命名规范

  项目命名规范
• 11.05 22:20:00
  发表了文章 2024-11-05 22:20:00

  业务增量数据入仓以及增全量合并工作

  增量数据入库与增量全合并工作
• 11.05 20:53:47
  发表了文章 2024-11-05 20:53:47

  HiveSql数据比对通用写法

  hivesql进行两张表的数据对比

2024年10月

• 10.22 21:33:13
  发表了文章 2024-10-22 21:33:13

  数仓规范之sql编写规范

  编写SQL时，应遵循以下规范：所有关键字小写，表别名按a, b, c...顺序使用，复杂逻辑多行书写，提高可读性。SELECT字段需逐行列出，避免使用*，GROUP BY字段同样处理。WHERE条件多于一个时，每条件一行。JOIN子表推荐使用嵌套查询方式1，明确关联条件，避免笛卡尔积。关键逻辑需注释，INSERT SELECT后最外层字段加注释说明用途。示例中展示了推荐的JOIN替代子查询的写法，以提高代码的可读性和维护性。

2024年09月

• 09.13 22:45:00
  发表了文章 2024-09-13 22:45:00

  hive数仓 ods层增量数据导入

  根据业务需求，当表数据量超过10万条时采用增量数据导入，否则全量导入。增量导入基于`create_date`和`modify_date`字段进行，并确保时间字段已建立索引以提升查询效率。避免在索引字段上执行函数操作。创建增量表和全量表，并按日期进行分区。首次导入全量数据，后续每日新增或变更数据保存在增量表中，通过全量表与增量表的合并保持数据一致性。
• 09.12 22:37:30
  发表了文章 2024-09-12 22:37:30

  HIVE的数据倾斜调优

  hive数据倾斜主要是由shuffle引起的，而引起shuffle的又主要有四种情况，分别为： 1.group by 2.join 3.count(distinct) 4.开窗函数
• 09.12 22:29:43
  发表了文章 2024-09-12 22:29:43

  SQL调优总结

  数据库表的规范化和反规范化设计，设计合适的字段数据类型……
• 09.12 22:12:22
  发表了文章 2024-09-12 22:12:22

  Spark cache()与unpersist()使用位置

  Spark在执行过程中是懒加载模式，RDD转换仅仅是构建DAG描述而不执行，只有遇到action算子才会真正的运行

2024年08月

• 08.22 17:06:49
  发表了文章 2024-08-22 17:06:49

  各种JOIN的区别

  各种JOIN的区别
• 08.22 17:04:19
  发表了文章 2024-08-22 17:04:19

  数仓项目总结--持续更新中

  数仓项目总结--持续更新中
• 08.22 17:03:24
  发表了文章 2024-08-22 17:03:24

  决策树及随机森林学习总结

  决策树及随机森林学习总结
• 08.22 17:01:08
  发表了文章 2024-08-22 17:01:08

  Kafka架构及其原理

  Kafka架构及其原理
• 08.22 16:51:00
  发表了文章 2024-08-22 16:51:00

  Kylin学习总结

  Kylin学习总结
• 08.22 16:45:18
  发表了文章 2024-08-22 16:45:18

  Redis学习总结

  Redis学习总结
• 08.22 16:42:10
  发表了文章 2024-08-22 16:42:10

  Flink四大基石——4.Checkpoint容错机制

  Flink四大基石——4.Checkpoint容错机制
• 08.22 16:40:37
  发表了文章 2024-08-22 16:40:37

  Flink四大基石——3.State

  Flink四大基石——3.State
• 08.22 16:39:06
  发表了文章 2024-08-22 16:39:06

  Flink四大基石——2.Time

  Flink四大基石——2.Time
• 08.22 16:37:28
  发表了文章 2024-08-22 16:37:28

  Flink四大基石——1.window

  Flink四大基石——1.window
• 08.22 16:36:40
  发表了文章 2024-08-22 16:36:40

  Flink执行原理

  Flink执行原理
• 08.22 16:34:06
  发表了文章 2024-08-22 16:34:06

  Flink四种集群模式原理

  Flink四种集群模式原理
• 08.22 16:29:11
  发表了文章 2024-08-22 16:29:11

  Kafka生产者同步和异步的JavaAPI代码演示

  Kafka生产者同步和异步的JavaAPI代码演示
• 08.22 16:28:15
  发表了文章 2024-08-22 16:28:15

  Kafka使用场景

  Kafka使用场景
• 08.22 16:27:18
  发表了文章 2024-08-22 16:27:18

  消息系统的4大使用场景

  消息系统的4大使用场景
• 08.22 16:26:08
  发表了文章 2024-08-22 16:26:08

  Linux vim编辑器

  Linux vim编辑器
• 08.22 16:25:13
  发表了文章 2024-08-22 16:25:13

  Linux常用命令

  Linux常用命令
• 08.22 16:21:47
  发表了文章 2024-08-22 16:21:47

  HBase常用shell操作（未完成）

  HBase常用shell操作（未完成）
• 08.22 16:20:09
  发表了文章 2024-08-22 16:20:09

  待补充

  待补充
• 08.22 16:17:46
  发表了文章 2024-08-22 16:17:46

  hive分区与分桶

  hive分区与分桶
• 08.22 16:16:30
  发表了文章 2024-08-22 16:16:30

  HDFS常用命令

  HDFS常用命令
• 08.22 16:14:34
  发表了文章 2024-08-22 16:14:34

  Zookeeper常用命令

  Zookeeper常用命令
• 08.22 16:13:10
  发表了文章 2024-08-22 16:13:10

  解决idea每次新建maven项目都需要重新配置maven的问题

  解决idea每次新建maven项目都需要重新配置maven的问题
• 08.22 16:11:38
  发表了文章 2024-08-22 16:11:38

  SQL注入问题及其解决

  SQL注入问题及其解决
• 08.22 16:10:23
  发表了文章 2024-08-22 16:10:23

  JDBC连接复习

  JDBC连接复习
• 08.22 16:09:58
  发表了文章 2024-08-22 16:09:58

  Java使用FileInputStream&&FileOutputStream模拟客户端向服务器端上传文件(单线程)

  Java使用FileInputStream&&FileOutputStream模拟客户端向服务器端上传文件(单线程)
• 08.22 16:09:09
  发表了文章 2024-08-22 16:09:09

  IO流拷贝文件的几种方式

  IO流拷贝文件的几种方式
• 08.22 16:07:41
  发表了文章 2024-08-22 16:07:41

  集合中常见方法及遍历方式

  集合中常见方法及遍历方式
• 08.22 16:05:37
  发表了文章 2024-08-22 16:05:37

  集合的特点和数据结构总结

  集合的特点和数据结构总结
• 08.22 16:04:12
  发表了文章 2024-08-22 16:04:12

  Map常用API

  Map常用API
• 08.22 16:03:40
  发表了文章 2024-08-22 16:03:40

  HashSet的使用

  HashSet的使用
• 08.22 16:02:41
  发表了文章 2024-08-22 16:02:41

  LinkedList的使用

  LinkedList的使用
• 08.22 16:01:54
  发表了文章 2024-08-22 16:01:54

  Vector的使用

  Vector的使用
• 08.22 16:01:05
  发表了文章 2024-08-22 16:01:05

  ArrayList的使用

  ArrayList的使用
• 08.22 16:00:36
  发表了文章 2024-08-22 16:00:36

  List集合特有功能

  List集合特有功能
• 08.22 15:59:34
  发表了文章 2024-08-22 15:59:34

  Collection的遍历

  Collection的遍历
• 08.22 15:59:06
  发表了文章 2024-08-22 15:59:06

  Collection常用API

  Collection常用API
• 08.22 15:57:22
  发表了文章 2024-08-22 15:57:22

  Calendar常用API

  Calendar常用API
• 08.22 15:56:28
  发表了文章 2024-08-22 15:56:28

  Date和SimpleDateFormat常用API

  Date和SimpleDateFormat常用API
• 08.22 15:55:17
  发表了文章 2024-08-22 15:55:17

  StringBuffer常用API

  StringBuffer常用API
• 08.22 15:53:37
  发表了文章 2024-08-22 15:53:37

  String类下常用API

  String类下常用API
• 08.22 15:51:34
  发表了文章 2024-08-22 15:51:34

  for循环和String类下方法的一个练习题

  for循环和String类下方法的一个练习题