Python数据清洗：用优雅的方式处理缺失值
在实际数据工作中，遇到缺失值是家常便饭。许多新手习惯用简单的删除或零值填充，但这往往会导致信息损失或偏差。今天分享几种更优雅的Python解决方案。
传统方法的局限性
# 常见但不推荐的做法
df.dropna() # 直接删除缺失行
df.fillna(0) # 用零填充所有缺失
这些方法简单粗暴，可能破坏数据分布或引入偏差。
更智能的填充策略
Pandas提供了多种情境化填充方式：
import pandas as pd
import numpy as np
# 前向/后向填充（时间序列数据）
df.fillna(method='ffill') # 用前一个有效值填充
df.fillna(method='bfill') # 用后一个有效值填充
# 分列差异化处理
df['数值列'] = df['数值列'].fillna(df['数值列'].median())
df['类别列'] = df['类别列'].fillna(df['类别列'].mode()[0])
使用Scikit-learn的智能填充
对于复杂场景，SimpleImputer提供了更多选项：
from sklearn.impute import SimpleImputer
# 均值填充
imputer = SimpleImputer(strategy='mean')
numeric_data = imputer.fit_transform(df.select_dtypes(include=[np.number]))
高级技巧：标记缺失值
有时保留缺失信息本身很重要：
df['列名_缺失'] = df['列名'].isna().astype(int)
结语
处理缺失值没有一成不变的方案，关键是根据数据特性和业务场景选择合适的方法。建议始终记录数据处理步骤，并在模型评估时考虑缺失值处理对结果的影响。
小提示：处理前，先用df.isna().sum()了解各列缺失情况，制定针对性策略。
下次面对缺失数据时，不妨试试这些更精细的方法，让你的数据分析更加稳健可靠。
