Python数据清洗的四大核心操作(去重/标准化/归一化/编码)实战指南

import pandas as pd

# 构造含重复数据的业务场景数据（电商订单表）
df = pd.DataFrame({
    "订单ID": ["O1001", "O1002", "O1002", "O1003", "O1003"],
    "用户ID": ["U2023", "U2024", "U2024", "U2025", "U2025"],
    "支付金额": [199.9, 299.9, 299.9, 399.9, 399.9],
    "支付时间": ["2025-01-01 10:00", "2025-01-01 14:30", "2025-01-01 14:30", "2025-01-02 09:15", "2025-01-02 09:15"]
})

# 1. 全量去重（默认按所有列判断）
df_clean1 = df.drop_duplicates()  # 保留首次出现的记录，删除后续重复行

# 2. 按关键列去重（订单ID唯一，避免同一订单重复统计）
df_clean2 = df.drop_duplicates(subset=["订单ID"], keep="last")  # 保留最后一次支付记录（处理订单重试场景）

print(f"原始数据行数：{len(df)}，全量去重后：{len(df_clean1)}，按订单ID去重后：{len(df_clean2)}")

from sklearn.preprocessing import StandardScaler
import numpy as np

# 构造含不同量纲的特征数据（用户画像：年龄、收入、消费频次）
data = pd.DataFrame({
    "年龄": [25, 30, 35, 40, 45],
    "月收入（元）": [8000, 15000, 25000, 35000, 50000],
    "消费频次（次/月）": [5, 8, 12, 15, 20]
})

# 初始化标准化器（默认计算全局均值和标准差）
scaler = StandardScaler()
# 执行标准化（仅对数值型特征操作）
data_std = scaler.fit_transform(data[["年龄", "月收入（元）", "消费频次（次/月）"]])
data_std_df = pd.DataFrame(data_std, columns=["年龄_std", "收入_std", "频次_std"])

# 验证结果（均值≈0，方差≈1）
print("标准化后各特征均值：", np.round(data_std_df.mean(), 6))  # 输出：[0. 0. 0.]
print("标准化后各特征方差：", np.round(data_std_df.var(), 6))   # 输出：[1. 1. 1.]

from sklearn.preprocessing import MinMaxScaler

# 沿用上述用户画像数据，对消费频次归一化
scaler_minmax = MinMaxScaler(feature_range=[0, 1])  # 可指定区间，如[0, 10]
data_norm = scaler_minmax.fit_transform(data[["消费频次（次/月）"]])
data["消费频次_norm"] = data_norm

print("归一化后的消费频次：", data["消费频次_norm"].tolist())  # 输出：[0. , 0.375, 0.7, 0.95, 1. ]

# 构造分类特征数据（电商商品表：类别、品牌、评分等级）
df_category = pd.DataFrame({
    "商品类别": ["电子产品", "服装", "食品", "电子产品", "服装"],
    "品牌": ["华为", "耐克", "海底捞", "苹果", "阿迪达斯"],
    "评分等级": ["高", "中", "高", "中", "低"]  # 有序分类
})

# 1. 独热编码（One-Hot）：适用于无序分类（如商品类别、品牌）
df_onehot = pd.get_dummies(df_category, columns=["商品类别", "品牌"])

# 2. 标签编码（LabelEncoder）：适用于有序分类（如评分等级）
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
df_category["评分等级_encoded"] = le.fit_transform(df_category["评分等级"])  # 高=2，中=1，低=0

# 3. 有序编码（OrdinalEncoder）：显式指定有序关系（推荐）
from sklearn.preprocessing import OrdinalEncoder
oe = OrdinalEncoder(categories=[["低", "中", "高"]])
df_category["评分等级_ordinal"] = oe.fit_transform(df_category[["评分等级"]])  # 低=0，中=1，高=2

print("独热编码后数据形状：", df_onehot.shape)  # 输出：(5, 8)，新增6个编码列
print("有序编码结果：", df_category["评分等级_ordinal"].tolist())  # 输出：[2.0, 1.0, 2.0, 1.0, 0.0]

# 1. 数据加载与探索
df_behavior = pd.read_csv("user_behavior.csv")
print(f"原始数据形状：{df_behavior.shape}")
print(f"缺失值统计：\n{df_behavior.isnull().sum()}")
print(f"异常值统计（消费金额）：{len(df_behavior[(df_behavior['消费金额']  (df_behavior['消费金额'] > 100000)])}")

# 2. 去重（按用户ID+商品ID去重，保留最后一次浏览记录）
df_behavior = df_behavior.drop_duplicates(subset=["用户ID", "商品ID"], keep="last")

# 3. 异常值处理（删除无效消费金额记录）
df_behavior = df_behavior[(df_behavior["消费金额"] > 0) & (df_behavior["消费金额"] 000)]

# 4. 标准化（对浏览时长、消费金额标准化）
scaler = StandardScaler()
df_behavior[["浏览时长_std", "消费金额_std"]] = scaler.fit_transform(df_behavior[["浏览时长", "消费金额"]])

# 5. 编码（对商品类别独热编码，支付状态标签编码）
df_behavior = pd.get_dummies(df_behavior, columns=["商品类别"])
le_pay = LabelEncoder()
df_behavior["支付状态_encoded"] = le_pay.fit_transform(df_behavior["支付状态"])

# 6. 结果验证
print(f"清洗后数据形状：{df_behavior.shape}")
print(f"标准化后消费金额均值：{df_behavior['消费金额_std'].mean():.6f}，方差：{df_behavior['消费金额_std'].var():.6f}")

# 先剔除异常值（3σ法则）
def remove_outliers(df, col):
    mu = df[col].mean()
    sigma = df[col].std()
    return df[(df[col] >= mu - 3*sigma) & (df[col] sigma)]

df_behavior["消费金额"] = remove_outliers(df_behavior, "消费金额")

# 对数变换处理极值
df_behavior["收入_log"] = np.log1p(df_behavior["月收入（元）"])
# 再归一化
scaler_minmax = MinMaxScaler()
df_behavior["收入_log_norm"] = scaler_minmax.fit_transform(df_behavior[["收入_log"]])