03 - 数据工程全流程 | AI项目开发实战教学平台

📥 Step 1：数据收集全方案

数据收集是整个流水线的起点——没有好数据，再好的模型也白搭。核心问题：从哪来？够不够？合不合法？

🕷️

网络爬虫采集

▸适用场景：公开网页数据、电商评论、新闻文本、社交媒体

▸技术栈：Requests + BeautifulSoup / Selenium / Scrapy / Playwright

▸关键注意：遵守 robots.txt、控制请求频率、处理反爬机制

# 最简爬虫示例
import requests
from bs4 import BeautifulSoup

resp = requests.get("https://example.com")
soup = BeautifulSoup(resp.text, "html.parser")
items = soup.select(".product")  # CSS 选择器

📚

开源数据集

▸适用场景：计算机视觉、NLP、语音、推荐系统等通用任务

▸热门仓库：HuggingFace 🤗、Kaggle、UCI ML、Open Images、Common Voice

▸关键注意：检查数据许可证（CC / MIT / 商业限制）、评估数据偏差

ImageNet COCO MNIST IMDB Reviews CIFAR-10

📡

传感器/设备采集

▸适用场景：物联网、医疗监测、工业质检、自动驾驶

▸数据类型：温度/湿度/振动时序、摄像头图像、LiDAR 点云、ECG 信号

▸关键注意：时间同步、设备校准、噪声过滤、隐私合规

📷

摄像头

📏

LiDAR

💓

生物信号

🎛️

人工合成数据

▸适用场景：真实数据稀缺、极端场景模拟、数据隐私敏感

▸方法：GAN 生成图像、3D 引擎渲染、SMOTE 过采样、规则生成文本

▸关键注意：合成数据分布偏差、需要真实数据做验证

# SMOTE 合成少数类样本
from imblearn.over_sampling import SMOTE
smote = SMOTE(random_state=42)
X_new, y_new = smote.fit_resample(X, y)

🧭 数据源选择决策树

1. 有现成数据？

优先查开源数据集，省时间省成本

2. 需要特定场景？

自己爬/采，但注意合规

3. 数据量不够？

合成 + 数据增强补充

4. 有隐私顾虑？

合成数据优先 / 脱敏处理

🔍 Step 2：数据质检与初筛

数据工程环节的质检与初筛：去重、补缺、剔除坏样本、格式核验——深度标准化、特征工程、数据集划分等在下游数据预处理阶段完成

🎯 交互式演练：质检一份脏数据

下面是一份带有问题的客户数据，请点击每个"问题行"查看清洗逻辑：

ID	姓名	年龄	手机号	注册日期	操作
001	张三	28	13800138001	2024-01-15	✓ 正常
002	李四	32	13912345678	2024-02-20	⚠️ 问题行
003	王五	-	13798765432	2024-03-10	⚠️ 问题行
004	赵六	-45	13600001111	2024-04-05	⚠️ 问题行
005	钱七	24	12345	2024-05-12	⚠️ 问题行
006	孙八	30	13555556666	2024-06-18	✓ 正常

📝 Pandas 清洗代码示例

import pandas as pd

df = pd.read_csv("raw_data.csv")

# 1. 去重
df = df.drop_duplicates(subset=["手机号"])

# 2. 缺失值处理（年龄用中位数填充）
df["年龄"] = pd.to_numeric(df["年龄"], errors="coerce")
df["年龄"] = df["年龄"].fillna(df["年龄"].median())

# 3. 异常值剔除（年龄0-120才合理）
df = df[(df["年龄"] > 0) & (df["年龄"] < 120)]

# 4. 手机号格式校验
df = df[df["手机号"].str.match(r"^1[3-9]\d{9}$")]

# 5. 保存清洗后数据
df.to_csv("cleaned_data.csv", index=False)

🖼️ 图像数据清洗检查清单

🌫️模糊图检测

用 Laplacian 方差判断清晰度

import cv2
def is_blurry(img, threshold=100):
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    return cv2.Laplacian(gray, cv2.CV_64F).var() < threshold

⚫黑屏/白屏检测

像素标准差过小 → 无内容

std = img.std()
if std < 5:  # 纯黑/纯白
    remove(img)

☀️过曝/欠曝检测

直方图分布判断

mean_bright = img.mean()
if mean_bright > 240 or mean_bright < 15:
    remove(img)

📏尺寸异常过滤

过滤极小/极大图片

h, w = img.shape[:2]
if h < 64 or w < 64:
    remove(img)

💧水印遮挡检测

边缘高频区域+OCR识别

# 检测角落是否有固定水印
corner = img[:50, -50:]
if corner.std() < 20:  
    remove(img)

♻️图像去重

感知哈希 pHash

import imagehash
hash1 = imagehash.phash(img1)
hash2 = imagehash.phash(img2)
if hash1 - hash2 < 5:
    # 高度相似，删除

数据是AI的燃料

🔄 数据工程完整流水线（3 步）

📥 Step 1：数据收集全方案

网络爬虫采集

开源数据集

传感器/设备采集

人工合成数据

🧭 数据源选择决策树

🔍 Step 2：数据质检与初筛

🎯 交互式演练：质检一份脏数据

📝 Pandas 清洗代码示例

🖼️ 图像数据清洗检查清单

📝 文本NLP数据清洗演练

📝 完整文本清洗流水线

🎵 音频数据清洗演练

📈 时间序列数据清洗演练

🏷️ Step 3：数据标注

分类标注

检测标注

分割标注

NLP标注

💰 标注成本估算器（交互式）