脏数据不脏心：大数据平台的数据质量（DQ）入门实战与自动修复心法
大家好，我是 Echo_Wish，一个每天都在和数据斗智斗勇的技术人。今天咱来聊一个听起来不性感，但干活时必须硬刚的东西——数据质量（Data Quality，简称 DQ）。
为什么要聊这个？因为在大数据世界里，“垃圾进，垃圾出（Garbage In, Garbage Out）”是永恒真理。模型再牛逼，SQL 写得再骚，底层数据要是脏得一批，最后只能输出一坨艺术品。
你说，这能忍？
一、脏数据到底“脏”在哪？（有些看起来干净的，其实很脏）
我们先讲个真实故事（匿名处理）：某企业收藏了几百万用户画像数据，信心满满要做精准营销。结果推送时 20% 发给了已经注销的用户，30% 性别字段是男/女/未知/空/2/NULL/🐶，还有一部分用户年龄居然是 200 岁。
我当时看到那 200 岁的用户，心想：“不得了，秦始皇的后代也来凑热闹了？”
所以脏数据常见这些类型：
- 缺失值（Missing）：比如手机号码为空。
- 异常值（Outlier）：比如“年龄=-5 或 999”。
- 格式错误（Format Error）：日期写成“32/13/2024”。
- 重复数据（Duplicate）：一个用户被插入 5 次。
- 逻辑错误（Inconsistency）：例如“下单时间 < 注册时间”。
一句话总结：
脏数据的本质，就是“不符合业务规则、统计规律、逻辑规则的异常数据”。
二、脏数据识别：靠工具，也靠业务直觉
脏数据识别不像写 SQL 那么机械，更多是“工具 + 业务场景 + 人类直觉”。
下面给你一个最常用、最接地气的方式：基于 Pandas 的脏数据检测脚本。
重点是理解思路，而不是死记代码。
示例：快速扫描数据集中的脏数据
import pandas as pd
df = pd.read_csv("users.csv")
# 1. 查看缺失值情况
print("缺失值统计：")
print(df.isnull().sum())
# 2. 检测异常年龄（例如年龄应在 0~120 之间）
invalid_age = df[(df["age"] < 0) | (df["age"] > 120)]
print("异常年龄数据：")
print(invalid_age)
# 3. 检查数据格式，如手机号应该是 11 位数字
invalid_phone = df[~df["phone"].astype(str).str.match(r"^\d{11}$")]
print("格式异常手机号：")
print(invalid_phone)
# 4. 查找重复记录
duplicates = df[df.duplicated(subset=["user_id"], keep=False)]
print("重复用户记录：")
print(duplicates)
这段代码常用于：
- 数据入湖前的预检查
- DAG 中的数据质量节点
- 简单 DQ worker
重点不在代码，而在它体现的数据质量思路：
先定位问题，而不是急着修复。把脏数据“晒干晒透晒明白”，再动手处理。
三、自动修复：不是“一刀切”，而是“按业务修”
脏数据修复策略分为三类：
1. 轻度污染：靠规则自动修复
例如：
- 缺失城市 → 根据邮编补
- 手机号格式不对 → 正则清洗
- 年龄为空 → 填行业均值或中位数
示例脚本：
# 修复缺失年龄：用中位数填补
df['age'] = df['age'].fillna(df['age'].median())
# 手机号只保留数字，长度不符则标记为 invalid
df['phone_cleaned'] = df['phone'].astype(str).str.replace(r"\D", "", regex=True)
df['phone_valid'] = df['phone_cleaned'].str.match(r"^\d{11}$")
这类修复 basically 就是写规则 + 自动化，简单粗暴但好用。
2. 中度污染：靠模型修复
比如：
- 用户性别丢失，可用 NLP 识别其昵称（例如“张小美”大概率为女性）
- 年龄缺失，用 KNN/ML 回归模型预测
典型代码片段：
from sklearn.impute import KNNImputer
imputer = KNNImputer(n_neighbors=3)
df[['age', 'income']] = imputer.fit_transform(df[['age', 'income']])
模型不是为了“高精度”，而是为了“更合理”。
3. 重度污染：宁可不要，直接打标隔离
比如：
- 大量字段缺失
- 手机号随机生成
- 一堆逻辑异常
不要试图修复一条注定被放弃的数据。
我常对团队说一句话：
“数据能救则救，救不了就放弃，不要污染整体。”
四、构建企业级 DQ 自动化：玩的是体系而不是补丁
企业级大数据平台的 DQ 系统需要做到：
（1）自动质检（Profile）
像医院做体检一样，要自动扫描：
- 缺失率
- 唯一性检查
- 格式检查
- 字段间逻辑关系
- 分布偏移
这可以用：
- open-source：Great Expectations、Deequ
- 现成平台：阿里 DataWorks、华为 DataArts
- 自研：DAG + 校验规则引擎
（2）自动修复（Fix）
建议使用：
- 规则引擎（Rule Engine）
- ML 模型补齐模块
- 数据清洗流水线（Cleaning Pipeline）
（3）持续监控（Monitor）
最容易忽略但最关键。
比如：
- 某天突然省份字段 “广东” 全变成 “GD”
- 某系统突然输出英文名编码乱码
这比脏数据更可怕，因为它意味着系统出了新 bug。
五、数据质量其实是“组织工程”：技术 ≠ 全部
数据质量不是写代码能完全搞定的，是一个系统工程。
我做大数据多年，越做越有感触：
- 数据质量的 70% 问题是业务流程不规范造成的
- 20% 是开发写数据时的疏忽
- 10% 才是真正的技术难题
所以 DQ 成熟度，其实是企业数据治理成熟度的镜像。
一句话总结：
数据质量问题，一半是脏数据，一半是脏流程。
六、写给刚入行的数据人：别怕从脏数据开始
很多新人看到脏数据觉得烦躁，但我反而觉得：
脏数据是业务最真实的样子，而你正在从中提炼价值、构建秩序。
这是数据人最酷的地方。
如果你每天都在和干干净净的样本数据打交道，那你不是数据人，你是模型培训师（笑）。
结语：数据质量，是数据生命线
如果你现在所在的企业数据质量很差，不要担心：
