在数据分析和统计建模过程中，数据清洗是一个至关重要的步骤。实际的数据集往往包含缺失值（NAs）、重复记录、异常值等，这些问题如果不加以处理，可能会严重影响分析结果的准确性和可靠性。本文将重点介绍在R语言中如何高效地处理缺失值和重复数据，为数据分析和建模奠定坚实的基础。
一、处理缺失值
缺失值（Missing Values）是数据清洗中常见的问题之一，它们可能由于多种原因产生，如数据录入错误、数据收集过程中的遗漏等。在R中，处理缺失值的方法多种多样，包括删除含有缺失值的观测、插补缺失值等。
1. 识别缺失值
首先，我们需要识别数据中的缺失值。在R中，NA用来表示缺失值。我们可以使用is.na()函数来检测缺失值。
# 假设df是我们的数据框
missing_values <- is.na(df)
# 查看缺失值的分布情况
sum(is.na(df)) # 统计缺失值的总数
colSums(is.na(df)) # 统计每列的缺失值数量
2. 删除缺失值
删除含有缺失值的观测是一种简单直接的处理方法，但可能会导致数据量的显著减少，从而影响分析结果的代表性。
# 删除含有任何缺失值的行
df_cleaned <- na.omit(df)
# 或者，只删除特定列的缺失值
df_cleaned <- df[complete.cases(df$column_name), ]
3. 插补缺失值
插补缺失值是一种保留数据量的方法，但需要谨慎选择插补策略，以避免引入偏差。
- 均值/中位数/众数插补：适用于数值型数据。
- 模型预测插补：使用回归、随机森林等模型预测缺失值。
- 多重插补：通过创建多个插补数据集来分析插补不确定性。
# 使用均值插补
df$column_name[is.na(df$column_name)] <- mean(df$column_name, na.rm = TRUE)
# 或使用mice包进行多重插补
library(mice)
imp <- mice(df, m = 5) # m表示生成的数据集数量
completed_data <- complete(imp, "long") # 将多个插补数据集转换为长格式
二、处理重复数据
重复数据（Duplicate Data）是指数据集中完全相同的观测重复出现，这可能是由于数据收集过程中的错误或重复录入等原因造成的。
1. 识别重复数据
在R中，我们可以使用duplicated()函数来识别重复数据。
# 识别重复的行（除了第一次出现的）
duplicates <- duplicated(df)
# 识别所有重复的行（包括第一次出现的）
all_duplicates <- duplicated(df) | duplicated(df, fromLast = TRUE)
2. 删除重复数据
一旦识别出重复数据，我们可以选择删除它们。
# 删除除了第一次出现以外的所有重复行
df_cleaned <- df[!duplicated(df), ]
# 或者，完全删除所有重复的行（只保留一个）
df_unique <- df[!all_duplicates, ]
