03 - 数据工程全流程 | AI项目开发实战教学平台

📥 Step 1：数据收集全方案

平台	适用任务	典型数据集	特点
Kaggle	全能	30万+数据集	社区活跃，有竞赛
HuggingFace	NLP/CV	datasets库集成	一键加载，文档好
Papers with Code	学术	论文配套数据	最新最权威
UCI Machine Learning	表格	经典小型数据集	教学常用
COCO / ImageNet	CV	图像检测/分类	行业标准
Common Crawl	NLP	互联网文本	超大规模

🧹 Step 2：原始数据清洗

"垃圾进，垃圾出"——数据质量决定模型上限

🎯 交互式演练：清理一份脏数据

下面是一份带有问题的客户数据，请点击每个"问题行"查看清洗逻辑：

ID	姓名	年龄	手机号	注册日期	操作
001	张三	28	13800138001	2024-01-15	✓ 正常
002	李四	32	13912345678	2024-02-20	⚠️ 问题行
003	王五	-	13798765432	2024-03-10	⚠️ 问题行
004	赵六	-45	13600001111	2024-04-05	⚠️ 问题行
005	钱七	24	12345	2024-05-12	⚠️ 问题行
006	孙八	30	13555556666	2024-06-18	✓ 正常

📝 Pandas 清洗代码示例

import pandas as pd

df = pd.read_csv("raw_data.csv")

# 1. 去重
df = df.drop_duplicates(subset=["手机号"])

# 2. 缺失值处理（年龄用中位数填充）
df["年龄"] = pd.to_numeric(df["年龄"], errors="coerce")
df["年龄"] = df["年龄"].fillna(df["年龄"].median())

# 3. 异常值剔除（年龄0-120才合理）
df = df[(df["年龄"] > 0) & (df["年龄"] < 120)]

# 4. 手机号格式校验
df = df[df["手机号"].str.match(r"^1[3-9]\d{9}$")]

# 5. 保存清洗后数据
df.to_csv("cleaned_data.csv", index=False)

🖼️ 图像数据清洗检查清单

🌫️模糊图检测

用 Laplacian 方差判断清晰度

import cv2
def is_blurry(img, threshold=100):
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    return cv2.Laplacian(gray, cv2.CV_64F).var() < threshold

⚫黑屏/白屏检测

像素标准差过小 → 无内容

std = img.std()
if std < 5:  # 纯黑/纯白
    remove(img)

☀️过曝/欠曝检测

直方图分布判断

mean_bright = img.mean()
if mean_bright > 240 or mean_bright < 15:
    remove(img)

📏尺寸异常过滤

过滤极小/极大图片

h, w = img.shape[:2]
if h < 64 or w < 64:
    remove(img)

💧水印遮挡检测

边缘高频区域+OCR识别

# 检测角落是否有固定水印
corner = img[:50, -50:]
if corner.std() < 20:  
    remove(img)

♻️图像去重

感知哈希 pHash

import imagehash
hash1 = imagehash.phash(img1)
hash2 = imagehash.phash(img2)
if hash1 - hash2 < 5:
    # 高度相似，删除

🏷️ Step 3：数据标注

标注是让数据"有意义"的关键步骤

📊

分类标注

给样本打类别标签（如：正面/负面/中性）

工具：Label Studio, Doccano

🎯

检测标注

在图像上画框（bbox）标注物体位置

工具：LabelImg, CVAT, Roboflow

🗺️

分割标注

像素级精确标注目标轮廓

工具：LabelMe, CVAT, Supervisely

📝

NLP标注

实体识别、关系抽取、意图标注

工具：Doccano, Label Studio, Prodigy

💰 标注成本估算器（交互式）

标注类型

样本数量

质量要求

预估时间

-- 天

预估成本

-- 元

推荐方案

--

✅

Step 4：质检纠错

标注完不代表数据可用，必须经过质量检查：

✓
抽样复核：每批抽 5-10% 人工检查
✓
多人交叉：同一样本让 2-3 人独立标注，取多数
✓
一致性检验：用 Kappa 系数衡量标注者一致性
✓
模型反查：先用初始模型训练，找预测错误集中的样本复查
✓
硬样本挖掘：模型混淆度高的样本优先人工复核

✂️

Step 5：训练/验证/测试集划分

训练集 70%

验证集 15%

测试集 15%

训练集（Train）：模型真正用来学习的数据

验证集（Val）：调参时用来评估效果，不能参与训练

测试集（Test）：最终只用一次的"大考"数据，绝对不能调参时看

💡 划分原则：分层抽样（保持各类别比例一致）、随机打乱、k折交叉验证（数据少时）

← 返回需求定义

数据是AI的燃料

🔄 数据工程完整流水线

📥 Step 1：数据收集全方案

热门开源数据集平台一览

🛠️ 主流爬虫工具

⚠️ 合规与反爬策略

📝 简单爬虫示例（Requests + BS4）

工业相机方案

移动端采集SDK

传感器阵列

💡 设备采集最佳实践

🎨 合成数据的应用场景

🛠️ 合成数据技术路线