04 - 数据预处理与特征工程 | AI项目开发实战教学平台

🧹 Step 1：深度清洗

质检初筛是"看病发报告"，深度清洗是"动手治病"。同一个问题（缺失值、异常值），质检初筛阶段只统计不修改，深度清洗阶段才根据决策落地处理。

🔍 质检初筛 vs 深度清洗

💡 一句话：质检初筛是看病发报告——同一个问题（缺失值、异常值）只统计不修改；深度清洗是动手治病——根据报告+业务决策落地处理。

🩺 质检初筛 —— 只扔"真垃圾"

• 两件事：检查（出质检报告）+ 初筛（扔真垃圾）

• 真垃圾 = 不可救药：物理重复（完全一样）、文件损坏（打不开）、全黑全白、分辨率 < 32×32、CSV 完全空行、音频时长 < 0.1 秒、时序全 NaN

• 初筛不扔"可修复"的：缺 8% 不是 100% 空、5 条异常值不是整列都错、图像有噪声不是全黑、音频有底噪不是损坏

• 初筛也绝不修：缺多少、异常多少只统计数量写进报告，原样留给深度清洗

🔧 深度清洗（预处理阶段）

• 修为主，慎删——能修复的不丢，只有确实没用才删

• 决策依据：质检报告 + 业务理解 + 统计分布

• 典型动作：填缺失值、截异常值（盖帽）、格式转换、去噪

• 绝对不能做：用全量数据 fit 清洗器（会数据泄漏）

💡 完整链条：为什么质检了又标注了，还要深度清洗？

这是故意的分层设计——三步各有职责，前两步故意不做修复，把修复留给第三步：

🩺 ① 质检初筛（数据工程阶段，已完成）

做了：扔真垃圾（物理重复、损坏文件、全黑全白、分辨率过低）+ 出质检报告（缺失率 8%、异常值 12 个、格式错误 23 条）
故意没做：缺失值不填、异常值不盖帽、格式不转、噪声不去——只统计数量原样记录进报告

🏷️ ② 标注（人工/半自动，已完成）

做了：给每条数据打 label（框对猫、情感正负、这是异常点）
故意没做：标注员眼里只看 label 对不对，不填 NaN、不删 HTML、不转 EXIF——这些是脏东西，但人眼能自动跳过

🔧 ③ 深度清洗 ← 当前就在做这步 （预处理阶段）

现在才做：拿着质检报告（缺失率 8% 建议中位数填充；异常值 12 个建议盖帽）+业务理解（标签列的 NaN 必须 dropna），才开始动手修复
为什么不能提前做：修复需要统计分布（用什么值填？3σ 阈值多少？）和业务决策（删还是修？）——这不是初筛或标注阶段能拍板的

🔑 核心边界：初筛到底扔什么、留什么？（5 模态具体例子）

模态	🗑️ 初筛直接扔（不可救药的真垃圾）	📝 初筛统计但留着（可修复的，交给深度清洗）
📊 表格	整行完全空白 / 完全重复的副本 / 文件损坏打不开 / 全部字段只有 NaN	value 列 8% 缺失 / 12 个异常值 / 日期格式不统一（5种写法）/ 分类值有别名
🖼️ 图像	文件损坏 / 全黑 / 全白 / 分辨率 < 32×32 / 完全重复像素	EXIF 方向标记导致歪 90° / 有高斯噪声 / CLAHE 才能看清的暗光 / 轻微压缩伪影
📝 文本	空字符串 / 完全重复的评论（刷量）/ 无法解码的乱码	HTML 标签残留 / URL 和 @用户名 / Emoji 要不要留 / 繁简混杂
🎵 音频	文件损坏 / 时长 < 0.1 秒 / 全静音 / 全部段完全相同	首尾各 2 秒静音 / 空调底噪 -35dB / 采样率 8kHz 和 16kHz 混杂 / 双声道要转单声道
📈 时序	文件损坏 / 全部只有一个值 / 只有 2 个数据点 / 时间戳乱序且无法还原	value 列 5% 缺失（但不是全空）/ 秒级分钟级混杂 / 有 3 个尖峰异常 / 方差不平稳

🧐 具体到每个模态——前两步留下了什么，这一步要清什么：

📊 表格

初筛报告缺 8% value 列；标注员照样标 label；现在模型报 Input contains NaN

clean_missing / clean_outlier

🖼️ 图像

初筛只扔全黑图；标注员能框歪图的猫；现在模型学了歪的特征

img_align / img_denoise

📝 文本

初筛不碰格式；标注员忽略 HTML/URL；现在 TF-IDF 把 div 当高频词

txt_regex / txt_jieba

🎵 音频

初筛只扔损坏文件；标注员听到哭声就行；现在 Mel 频谱里静音占 30%

aud_silence / aud_denoise

📈 时序

初筛只报告缺失数；标注员看出异常点标 label；现在 ARIMA 要求等距索引

ts_interpolate / ts_diff

一句话总结：初筛 = 体检（只出报告），标注 = 给病人贴身份标签（谁是谁），深度清洗 = 主治医生（拿着报告 + 标签，动手治病）。跳过前两步直接修 = 瞎修，只做前两步不修 = 病人还是有问题。

🧰 各模态深度清洗方法

点击切换不同数据类型，查看各自的清洗重点和代码示例

📊 表格数据深度清洗修为主，慎删

🕳️缺失值智能填充

先判断缺失率 + 缺失类型，再选方法——少量删行，中量填值，大量删列

年龄缺失 2 行 → 中位数 30 填充 · 标签缺失 1 行 → 直接删（标签不能猜）

🔢异常值盖帽（Winsorize）

不丢样本，截断到 IQR / 业务合法范围

年龄 -45 → clip 到 0 · 年龄 999 → clip 到 120 · 金额用 1.5×IQR 盖帽

📐格式/类型统一

标签编码 + 正则清洗 + 日期归一

label 是/否 → 1/0 · 手机号非法值 maybe → 删行 · 金额 $1,200 → 1200.0

🆔去重 + 业务规则校验

物理重复必删 + 主键重复保最新 + 业务范围过滤

全表 drop_duplicates → 删 1 行 · user_id 重复 002 → keep='last' 保留

🎯 交互式演练：一份脏数据的深度清洗

点击任意一行查看具体清洗方案和代码：

ID	姓名	年龄	手机号	金额	🎯 是否流失（label）	→ 清洗后
001	张三	28	13800138001	5000	0	✓ 正常
002	李四	32	13912345678	8000	1	⚠️ 重复
002	李四	32	13912345678	8000	1	⚠️ 重复
003	王五	NaN	13798765432	6500	是	⚠️ 缺+格式
004	赵六	-45	13600001111	9200	0	⚠️ 异常
005	钱七	24	12345	3800	maybe	⚠️ 非法
006	孙八	30	13555556666	7100	0	✓ 正常
010	冯十二	999	13612345678	10500	1	⚠️ 异常
013	卫十五	NaN	13888889999	5100	NaN	⚠️ 双缺

🛠️ 一键运行：完整表格深度清洗 Pipeline pip install pandas numpy scikit-learn

import pandas as pd
import numpy as np

# ═══════════════════════════════════════════
# 一键运行：完整深度清洗 Pipeline
# 覆盖 4 张卡片：缺失值 · 盖帽 · 格式统一 · 去重
# 依赖：pip install pandas numpy scikit-learn
# ═══════════════════════════════════════════

# ====== Step 0: 读取数据 ======
# 🎯 先明确标签列（监督学习必须）
TARGET = "churn"
df = pd.read_csv("dirty_users.csv")

# ====== Step 1: 加载 + 去重 ======
df.drop_duplicates(inplace=True)

# ====== Step 2: 标签优先清洗（标签绝对不能瞎填！）======
# 2a. 格式统一：是/否/Yes/No → 1/0
df[TARGET] = df[TARGET].replace({"是":1, "否":0,
                                  "Yes":1, "No":0})
# 2b. 非法值 + 缺失 → 直接删行
df = df[df[TARGET].isin([0, 1])]
df.dropna(subset=[TARGET], inplace=True)

# ====== Step 3: 特征列缺失值智能填充（跳过标签列）======
feature_cols = [c for c in df.columns if c != TARGET]
for col in feature_cols:
    rate = df[col].isna().mean()
    if rate < 0.05:
        df.dropna(subset=[col], inplace=True)
    elif rate < 0.3:
        fill = df[col].median() if df[col].dtype != "object" \
               else df[col].mode()[0]
        df[col].fillna(fill, inplace=True)
    else:
        df.drop(columns=[col], inplace=True)

# ====== Step 4: 特征异常值盖帽（跳过标签列）======
for col in df.select_dtypes(include=[np.number]).columns:
    if col == TARGET: continue
    Q1, Q3 = df[col].quantile(0.25), df[col].quantile(0.75)
    IQR = Q3 - Q1
    df[col] = df[col].clip(Q1-1.5*IQR, Q3+1.5*IQR)
df["age"] = df["age"].clip(0, 120)

# ====== Step 5: 输出干净数据 ======
df.to_csv("clean_users.csv", index=False)

🖼️ 图像数据深度清洗修为主，慎删

🔄方向/EXIF 矫正 + 分辨率统一

手机拍的 90% 有 EXIF 方向标记，不旋转模型会学到歪的特征

EXIF 自动旋转 · 统一 RGB 3 通道 · 居中裁剪到 640×640

✨去噪（高斯 + 椒盐）

高斯滤波去连续噪声，中值滤波去椒盐噪点，非局部均值去最干净

GaussianBlur → medianBlur → fastNlMeansDenoisingColored

💡亮度/对比度归一（CLAHE）

暗光/过曝图直接让模型失明，CLAHE 局部自适应均衡

LAB 空间分离 L 通道 → CLAHE clipLimit=2.0 → 合并回 BGR

🗑️自动删除"坏图"

打不开、全黑/全白、分辨率极低——这些只能删，修了也没用

mean() 判全黑全白 · shape 判低分辨率 · cv2.imread 判损坏

🛠️ 一键运行：完整图像深度清洗 Pipeline pip install opencv-python pillow numpy

import cv2
from PIL import Image, ImageOps
import os, numpy as np

# ═══════════════════════════════════════════
# 一键运行：完整图像深度清洗 Pipeline
# 覆盖 4 张卡片：矫正 · 去噪 · CLAHE · 删坏图
# 依赖：pip install opencv-python pillow numpy
# ═══════════════════════════════════════════

# ====== Step 0: 配置 ======
IMG_DIR = "./images_raw"
OUT_DIR = "./images_clean"
TARGET_SIZE = (640, 640)
os.makedirs(OUT_DIR, exist_ok=True)

# ====== Step 1: 删坏图（先删最省时间）======
def is_bad(path):
    img = cv2.imread(path)
    if img is None: return True
    if img.mean() < 5 or img.mean() > 250: return True
    h, w = img.shape[:2]
    return h < 100 or w < 100

# ====== Step 2: 逐图清洗 ======
for fname in os.listdir(IMG_DIR):
    fpath = os.path.join(IMG_DIR, fname)
    if is_bad(fpath):
        os.remove(fpath); continue

    # 2a. EXIF 矫正 + 分辨率统一
    pil_img = Image.open(fpath)
    pil_img = ImageOps.exif_transpose(pil_img)
    pil_img = pil_img.convert("RGB")
    pil_img = ImageOps.fit(pil_img, TARGET_SIZE, Image.LANCZOS)
    img = cv2.cvtColor(np.array(pil_img), cv2.COLOR_RGB2BGR)

    # 2b. 去噪
    img = cv2.GaussianBlur(img, (3, 3), 0)
    img = cv2.medianBlur(img, 3)

    # 2c. CLAHE 亮度归一
    lab = cv2.cvtColor(img, cv2.COLOR_BGR2LAB)
    l, a, b = cv2.split(lab)
    clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8, 8))
    l = clahe.apply(l)
    img = cv2.cvtColor(cv2.merge([l, a, b]), cv2.COLOR_LAB2BGR)

    cv2.imwrite(os.path.join(OUT_DIR, fname), img)

print("✅ 全部清洗完成 →", OUT_DIR)

📝 文本 NLP 深度清洗正则一刀流 · jieba + stopwords

🧹通用正则清洗

HTML 标签、URL、@用户名、特殊符号——一刀切掉

re.sub(r'<[^>]+>', '') · re.sub(r'https?://\S+', '') · re.sub(r'@\w+', '')

😄Emoji 按任务保留/删除

情感分析要保留😊，文本分类直接砍掉

emoji 库提取 → 情感任务保留映射 😊→:smile: · 分类任务 re.sub 删除

✂️jieba 分词 + 去停用词

去掉"的/了/是"——让向量模型只看关键信息

jieba.cut(text) · 加载 stopwords.txt · 过滤单字 + 常见停用词

🔤繁简 + 全半角统一

同一词"車"和"车"被当成两个特征——opencc 一刀解决

opencc.OpenCC('t2s.json') · 全角转半角 normalize('NFKC')

🛠️ 一键运行：完整文本 NLP 清洗 Pipeline pip install jieba opencc-python-reimplemented emoji

import re, os
import jieba
from opencc import OpenCC

# ═══════════════════════════════════════════
# 一键运行：完整文本 NLP 清洗 Pipeline
# 覆盖 4 张卡片：正则 · Emoji · 分词 · 繁简
# 依赖：pip install jieba opencc-python-reimplemented emoji
# ═══════════════════════════════════════════

# ====== Step 0: 加载资源 ======
converter = OpenCC('t2s.json')  # 繁体→简体
STOPWORDS = {'的', '了', '是', '在', '有', '和', '就', '不', '人', '都'}

# ====== Step 1: 单条清洗函数 ======
def clean_text(text, task='classify'):
    # 🔤 繁简 + 全半角
    text = converter.convert(text)
    text = lambda t: ''.join(chr(ord(c) - 0xFEE0) if 0xFF01 <= ord(c) <= 0xFF5E else c for c in text)

    # 🧹 正则一刀流
    text = re.sub(r'<[^>]+>', '', text)           # HTML 标签
    text = re.sub(r'https?://\S+', '', text)   # URL
    text = re.sub(r'@\w+', '', text)           # @用户名
    text = re.sub(r'[\u3000\s]+', ' ', text).strip()

    # 😄 Emoji（分类任务删，情感任务留）
    if task != 'sentiment':
        text = re.sub(r'[\U00010000-\U0010ffff]', '', text)

    # ✂️ 分词 + 去停用词
    words = [w for w in jieba.cut(text) if w.strip() and w not in STOPWORDS and len(w) > 1]
    return ' '.join(words)

# ====== Step 2: 批量清洗 ======
with open('sample_review.txt', 'r', encoding='utf-8') as f:
    raw_lines = f.readlines()

cleaned = [clean_text(line.strip(), task='classify') for line in raw_lines if line.strip()]

with open('sample_review_clean.txt', 'w', encoding='utf-8') as f:
    f.write('\n'.join(cleaned))

print(f'✅ 清洗完成：{len(raw_lines)} 条 → {len(cleaned)} 条')
print(f'示例：{cleaned[0][:50]}...')

🎵 音频数据深度清洗统一格式 → 去静音 → 降噪 → 定长

🔊重采样 + 统一声道 + 归一

16kHz + 单声道 + peak 归一——所有音频进模型前先统一格式

librosa.resample(orig_sr, 16000) · pydub set_channels(1) · normalize()

🗑️去首尾静音段

首尾空白段占 30% 时长——切掉能显著提升训练效率

pydub detect_nonsilent(min_silence_len=500, silence_thresh=-40)

🎚️noisereduce 一键降噪

stationary=True 稳噪（空调），False 非稳噪（街道）

noisereduce.reduce_noise(y, sr, stationary=True) · 采样静音段估计噪声

📏统一时长（声音分类必须）

ASR 不需要，声音分类必须固定输入长度——截断或补零

y[:max_len] 截断短的补零 np.zeros(max_len-len(y))

🛠️ 一键运行：完整音频清洗 Pipeline pip install librosa pydub noisereduce

import numpy as np
import librosa
import noisereduce as nr
from pydub import AudioSegment, silence

# ═══════════════════════════════════════════
# 一键运行：完整音频深度清洗 Pipeline
# 覆盖 4 张卡片：重采样 · 去静音 · 降噪 · 定长
# 依赖：pip install librosa pydub noisereduce (需要 ffmpeg)
# ═══════════════════════════════════════════

# ====== Step 0: 配置 ======
SR = 16000         # 统一采样率
MAX_LEN = 5       # 声音分类固定 5 秒
MIN_SIL = 500     # 最小静音段 ms
SIL_THRESH = -40  # 静音 dB 阈值

# ====== Step 1: 单条清洗函数 ======
def clean_audio(wav_path, task='classify'):
    # 🔊 加载 + 重采样 + 单声道
    y, sr = librosa.load(wav_path, sr=SR, mono=True)

    # 🗑️ 去首尾静音
    seg = AudioSegment.from_wav(wav_path)
    non_sil = silence.detect_nonsilent(seg, min_silence_len=MIN_SIL, silence_thresh=SIL_THRESH)
    if non_sil:
        start_ms, end_ms = non_sil[0][0], non_sil[-1][1]
        start_sample = int(start_ms * SR / 1000)
        end_sample = int(end_ms * SR / 1000)
        y = y[start_sample:end_sample]

    # 🎚️ 降噪
    y = nr.reduce_noise(y, sr, stationary=True)

    # 📏 统一时长（声音分类必须，ASR 跳过）
    if task == 'classify':
        max_samples = SR * MAX_LEN
        if len(y) > max_samples:
            y = y[:max_samples]       # 截断
        else:
            y = np.pad(y, (0, max_samples - len(y)))  # 补零

    # 🔊 peak 归一
    y = y / np.max(np.abs(y) + 1e-8)
    return y, SR

# ====== Step 2: 批量清洗 + 保存 ======
import glob, os
IN_DIR = './raw_audio'
OUT_DIR = './clean_audio'
os.makedirs(OUT_DIR, exist_ok=True)

for wav in glob.glob(IN_DIR + '/*.wav'):
    y_out, _ = clean_audio(wav, task='classify')
    out_path = os.path.join(OUT_DIR, os.path.basename(wav))
    librosa.output.write_wav(out_path, y_out, SR)

print(f'✅ 清洗完成：{len(glob.glob(IN_DIR + "/*.wav"))} 个文件')

📈 时间序列深度清洗绝不能删行 · pandas + statsmodels

🕳️时间插值（绝不能删行）

删行会破坏时间连续性——interpolate(method='time') 按实际间隔加权

df.interpolate(method='time') · 尾值 ffill() 头值 bfill()

🔢STL 分解查异常

先拆趋势+季节性+残差 → 在残差上做 3σ 检测才准

STL(period=7) · residual 上做 rolling().std() 3σ 规则

📊resample 统一频率

秒级/分钟级混杂 → resample('5min').mean() 统一

df.resample('5min').agg({'value':'mean', 'count':'sum'})

📉差分 + log 变换（平稳化）

ARIMA/LSTM 要求平稳 → diff() 一阶/二阶差分

df['diff'] = df['value'].diff(1) · log 变换处理指数增长

🛠️ 一键运行：完整时间序列清洗 Pipeline pip install pandas numpy statsmodels

import pandas as pd
import numpy as np
from statsmodels.tsa.seasonal import STL

# ═══════════════════════════════════════════
# 一键运行：完整时间序列清洗 Pipeline
# 覆盖 4 张卡片：插值 · STL 异常 · 重采样 · 平稳化
# 依赖：pip install pandas numpy statsmodels
# ═══════════════════════════════════════════

# ====== Step 0: 读数据 + 设时间索引 ======
df = pd.read_csv('sample_timeseries.csv', parse_dates=['timestamp'])
df = df.set_index('timestamp').sort_index()

# 📊 统一频率（假设源数据混着秒级和分钟级）
df = df.resample('5min').mean()

# ====== Step 1: 🕳️ 缺失值插值（绝不能删行）======
df['value'] = df['value'].interpolate(method='time')
df['value'] = df['value'].ffill().bfill()

# ====== Step 2: 🔢 STL 查异常 ======
st = STL(df['value'], period=288).fit()  # 5min 数据 → 288 = 1 天周期
resid = st.resid
for i in range(len(df)):
    r = resid.iloc[i]
    sigma = resid.rolling(window=20, center=True).std().iloc[i]
    if abs(r) > 3 * sigma:
        df.iloc[i] = np.nan  # 标记异常，后面插值代替
df['value'] = df['value'].interpolate(method='time')

# ====== Step 3: 📉 平稳化（ARIMA/LSTM 要求）======
df['log'] = np.log1p(df['value'].clip(lower=0))  # log 变换处理指数增长
df['diff'] = df['log'].diff(1)       # 一阶差分去趋势
df = df.dropna(subset=['diff'])

df.to_csv('sample_timeseries_clean.csv')
print(f'✅ 清洗完成：{len(df)} 行，频率 5min，平稳化 diff')

✅ 深度清洗 Checklist

处理异常值填充缺失值删除重复值格式统一文本/图像去噪数据类型修正单位统一业务规则校验

⚠️ 清洗阶段的"数据泄漏"红线

清洗时绝对不能用全量数据来计算填充值、异常值阈值——这会把测试集的信息"泄漏"进训练过程。
正确做法：先划分 train/test → 再在 train 上 fit 清洗器 → transform 到 test

# ❌ 错误：全量 fit 会泄漏
imputer = KNNImputer()
df_all = imputer.fit_transform(df)  # test 的信息被用来填充 train

# ✅ 正确：先划分，再在 train 上 fit
X_train, X_test, y_train, y_test = train_test_split(df, label)
imputer = KNNImputer()
X_train_clean = imputer.fit_transform(X_train)  # 只用 train 计算
X_test_clean = imputer.transform(X_test)          # 用 train 的结果转换 test

✂️ Step 2：数据集划分

关键原则：**测试集必须"没见过"**——调参在验证集上做，测试集只用于最终评估。不能把同一数据同时放进训练和测试集。

📐 常见划分比例

经典分割70:15:15

大数据集90:05:05

小数据集 + K折K=5

■ 训练集 (Train)

■ 验证集 (Val)

■ 测试集 (Test)

📌划分策略 · 归纳总结

核心原则

① 初始只分 train + test，test 锁死不动

② 调参时从 train 里 临时切 val（用完可还回去）或用 K 折交叉验证

③ 最终模型用 全部 train_full 重训，test 只评估一次

Val vs K折：怎么选？

🔹 数据大（> 10万）→ 临时切 val，简单快速

🔹 数据小（< 10万）→ K 折交叉验证，不浪费数据

🔹 深度学习 → 必须有固定 val 做 early stopping

🔹 Kaggle 竞赛 → K 折选模型，test 是官方隐藏的

避坑指南

❌ 别用 test 集反复调参 → test 变成了 val

❌ 大数据集别给 test 留 30% → 1-5% 够了

❌ 时间序列别用 train_test_split 打乱 → 泄漏未来信息

❌ K 折时特征工程别在全量数据先 fit → 泄漏

分阶段划分流程

Step 1：全量 → train_full + test（test 锁死）

Step 2：train_full → 临时切 val（调参用）

Step 3：调完参 → val 扔回 train_full

Step 4：最优参数 + train_full 重训

Step 5：test 评估 → 最终分数

💻 划分代码

from sklearn.model_selection import train_test_split

# 两次分割：先切出测试集，再切验证集
X_temp, X_test, y_temp, y_test = train_test_split(
    X, y, test_size=0.15,
    random_state=42,
    stratify=y           # 分层抽样！保证类别比例一致
)
X_train, X_val, y_train, y_val = train_test_split(
    X_temp, y_temp, test_size=0.1765,
    random_state=42,
    stratify=y_temp
)
# 0.85 * 0.8235 ≈ 0.70 (训练集 70%)
# 0.85 * 0.1765 ≈ 0.15 (验证集 15%)

⚠️ stratify=y 一定要加！分类任务中如果某类只占 5%，不加分层可能切出一个完全不含该类的测试集。

🔁 K折交叉验证（小数据集必备）

当数据不够大时，单次划分结果波动大。K折交叉验证让每一条数据都轮流当训练和验证。

1 2 3 4 5 Fold 1: 4,5 验证 | 1,2,3 训练

1 2 3 4 5 Fold 2: 3,5 验证 | 1,2,4 训练

1 2 3 4 5 Fold 3: 2,5 验证 | 1,3,4 训练

1 2 3 4 5 Fold 4: 1,5 验证 | 2,3,4 训练

1 2 3 4 5 Fold 5: 1,2,3,4 训练 | 5 验证

最终分数 = 5 折的平均分数 ✅ 更稳定可靠

✨ Step 3：特征工程

"数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已" — 特征工程是投入产出比最高的环节

🏷️类别特征编码

无序 → One-Hot，有序 → Ordinal，高基数 → Target Encoding

颜色[红/绿/蓝] → 3 列 One-Hot · 尺寸[S/M/L/XL] → Ordinal 0-3 · 城市 100+ 类 → 目标均值替代

📉降维与特征选择

PCA 保留 95% 方差 + 随机森林重要性排序取 Top N

200 特征 → 50 主成分 · RandomForest 输出 feature_importances_ · 只在训练集 fit

🔗交叉特征（业务洞察）

两个特征组合 = 新信号，捕捉"1+1>2"的关系

年龄×消费额 → VIP 识别 · 总价÷数量 → 客单价 · 购买天数差 → 复购周期

⏰时间特征提取

日期/时间本身就是最强的特征来源

date → year/month/day_of_week/is_weekend/hour · 永远先 to_datetime

⚠️特征工程绝对不能犯的错（数据泄漏重灾区）

❌ 用测试集信息做特征（如用全量数据 fit PCA、计算均值）
❌ 把 ID 列（user_id / order_id）当特征 —— 模型会记住 ID 而非真正学到模式
❌ 缺失值用测试集均值 / 中位数填充
❌ 标准化（StandardScaler / MinMaxScaler）时用测试集计算 mean/std / min/max

📏 Step 4：标准化与归一化

为什么要做？不同特征量纲差异大（如年龄 18-80 vs 收入 3k-500k），模型会被大数值特征"绑架"。树形模型（XGBoost/随机森林）对尺度不敏感，但线性模型、神经网络、SVM 必须做。

MinMaxScaler（归一化到 [0,1]）

公式： x' = (x - min) / (max - min)

所有数据被压缩到 [0, 1] 区间，原始的分布形态完全保留。

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
X_train_s = scaler.fit_transform(X_train)
X_test_s = scaler.transform(X_test)  # 用训练集的 min/max

⚠️ 对异常值敏感——一个极端值会压扁整个分布

📊 交互式效果演示

原始数据：[12, 18, 25, 30, 45, 60, 200] — 注意 200 这个异常值的影响

原始值

MinMax 归一化（[0,1]）

⚠️ 正常数据全部被压到 0~0.26 区间，差异很小

RobustScaler（对异常值免疫）

公式： x' = (x - 中位数) / IQR

用中位数和四分位距代替均值和标准差，对异常值**完全免疫**。异常值存在时的首选。

from sklearn.preprocessing import RobustScaler

scaler = RobustScaler()
X_train_s = scaler.fit_transform(X_train)

✅ 推荐：数据有异常值时优先用 RobustScaler

📊 三者对比总结

方法	范围	异常值	首选场景
MinMax	[0,1]	❌ 敏感	无异常值
Z-Score	(-∞, +∞)	⚠️ 较宽容	近似正态
Robust	(-∞, +∞)	✅ 免疫	有异常值

对数变换（处理长尾分布）

收入、用户活跃度、商品销量等特征常呈长尾分布——大部分值小，少部分极端大值。

📐 何时用

• 分布右偏（长尾）
• 值全为正（log 要求）
• 经济/生物/社交数据常见

import numpy as np

# 自然对数（+1 避免 log(0)）
df['income_log'] = np.log1p(df['income'])

# 常用对数（以 10 为底）
df['income_log10'] = np.log10(df['income'] + 1)

变换效果：把 10^5 和 10^2 的差距从 1000 倍压缩到约 3 倍

原始值	log1p
10	2.40
1,000	6.91
100,000	11.51
差距：	11.51 - 2.40 = 9.11

← 返回数据工程

下一章：模型选择 →

让模型吃干净的数据

🔄 数据预处理完整流水线（4 步）

🧹 Step 1：深度清洗

🔍 质检初筛 vs 深度清洗

💡 完整链条：为什么质检了又标注了，还要深度清洗？

🔑 核心边界：初筛到底扔什么、留什么？（5 模态具体例子）

🧐 具体到每个模态——前两步留下了什么，这一步要清什么：

🧰 各模态深度清洗方法

📊 表格数据深度清洗修为主，慎删

🎯 交互式演练：一份脏数据的深度清洗

🛠️ 一键运行：完整表格深度清洗 Pipeline pip install pandas numpy scikit-learn

🖼️ 图像数据深度清洗修为主，慎删

🛠️ 一键运行：完整图像深度清洗 Pipeline pip install opencv-python pillow numpy

📝 文本 NLP 深度清洗正则一刀流 · jieba + stopwords

🛠️ 一键运行：完整文本 NLP 清洗 Pipeline pip install jieba opencc-python-reimplemented emoji

🎵 音频数据深度清洗统一格式 → 去静音 → 降噪 → 定长

🛠️ 一键运行：完整音频清洗 Pipeline pip install librosa pydub noisereduce

📈 时间序列深度清洗绝不能删行 · pandas + statsmodels

🛠️ 一键运行：完整时间序列清洗 Pipeline pip install pandas numpy statsmodels

✅ 深度清洗 Checklist

⚠️ 清洗阶段的"数据泄漏"红线

✂️ Step 2：数据集划分

📐 常见划分比例

📌划分策略 · 归纳总结

💻 划分代码

🔁 K折交叉验证（小数据集必备）

✨ Step 3：特征工程

📏 Step 4：标准化与归一化

MinMaxScaler（归一化到 [0,1]）

📊 交互式效果演示

Z-Score（标准化到均值 0、标准差 1）

📊 Z-Score 变换效果

RobustScaler（对异常值免疫）

📊 三者对比总结

对数变换（处理长尾分布）

让模型吃干净的数据

🔄 数据预处理完整流水线（4 步）

🧹 Step 1：深度清洗

🔍 质检初筛 vs 深度清洗

💡 完整链条：为什么质检了又标注了，还要深度清洗？

🔑 核心边界：初筛到底扔什么、留什么？（5 模态具体例子）

🧐 具体到每个模态——前两步留下了什么，这一步要清什么：

🧰 各模态深度清洗方法

📊 表格数据深度清洗 修为主，慎删 下载样本 CSV

🎯 交互式演练：一份脏数据的深度清洗 下载

🛠️ 一键运行：完整表格深度清洗 Pipeline pip install pandas numpy scikit-learn

🖼️ 图像数据深度清洗 修为主，慎删

🛠️ 一键运行：完整图像深度清洗 Pipeline pip install opencv-python pillow numpy

📝 文本 NLP 深度清洗 正则一刀流 · jieba + stopwords 下载样本 TXT

🛠️ 一键运行：完整文本 NLP 清洗 Pipeline pip install jieba opencc-python-reimplemented emoji

🎵 音频数据深度清洗 统一格式 → 去静音 → 降噪 → 定长 下载样本 WAV

🛠️ 一键运行：完整音频清洗 Pipeline pip install librosa pydub noisereduce

📈 时间序列深度清洗 绝不能删行 · pandas + statsmodels 下载样本 CSV

🛠️ 一键运行：完整时间序列清洗 Pipeline pip install pandas numpy statsmodels

✅ 深度清洗 Checklist

⚠️ 清洗阶段的"数据泄漏"红线

✂️ Step 2：数据集划分

📐 常见划分比例

📌划分策略 · 归纳总结

💻 划分代码

🔁 K折交叉验证（小数据集必备）

✨ Step 3：特征工程

📏 Step 4：标准化与归一化

MinMaxScaler（归一化到 [0,1]）

📊 交互式效果演示

Z-Score（标准化到均值 0、标准差 1）

📊 Z-Score 变换效果

RobustScaler（对异常值免疫）

📊 三者对比总结

对数变换（处理长尾分布）

📊 表格数据深度清洗修为主，慎删

🎯 交互式演练：一份脏数据的深度清洗

🖼️ 图像数据深度清洗修为主，慎删

📝 文本 NLP 深度清洗正则一刀流 · jieba + stopwords

🎵 音频数据深度清洗统一格式 → 去静音 → 降噪 → 定长

📈 时间序列深度清洗绝不能删行 · pandas + statsmodels