学习如何利用爬虫技术，从互联网获取自定义专属数据，为AI项目提供高质量的数据源
采集特定领域的文本数据，用于训练NLP模型
收集用户评论数据，进行情感分析和产品改进
爬取特定场景的图片，用于计算机视觉训练
获取与特定业务相关的结构化数据
简洁优雅的HTTP请求库，用于发送请求获取网页内容
HTML/XML解析库，用于从网页中提取数据
自动化测试工具，用于处理动态加载的网页内容
专业的爬虫框架，用于构建大规模、高性能的爬虫项目
代码必须添加 time.sleep() 请求延时，避免短时间大量请求压垮对方服务器；设置合理的 User-Agent，不要伪装成浏览器恶意高频爬取。
不采集受版权保护的内容，避免法律风险
对采集到的图片进行处理，去除水印等干扰信息
清洗和预处理数据，去除重复、错误的信息
time.sleep()），避免造成服务器压力Selenium首选！无反爬、专为学习设计，适合直接跑 requests + BeautifulSoup 文本爬虫代码
| 网站 | 说明 | 链接 |
|---|---|---|
| Books to Scrape | 图书静态网页，分页练习 | https://books.toscrape.com |
| Quotes to Scrape | 名人语录，文本采集 | https://quotes.toscrape.com |
| Scrape Center | 多场景测试站点，电影数据 | https://scrape.center |
NLP 项目，构建文本分类、情感分析数据集
| 网站 | 说明 | 链接 |
|---|---|---|
| Project Gutenberg | 公版免费英文书籍，大量长文本 | https://www.gutenberg.org |
| Wikipedia 英文 | 英文维基百科 | https://en.wikipedia.org |
| Wikiquote | 名人语录库 | https://en.wikiquote.org |
构建中文 NLP 数据集，新闻、科普文本
| 网站 | 说明 | 链接 |
|---|---|---|
| 维基百科（中文） | 中文百科文本 | https://zh.wikipedia.org |
CV 图像分类项目素材，CC0 无版权图片，适合训练数据集，可搭配图片下载函数使用
| 网站 | 说明 | 链接 |
|---|---|---|
| Lorem Picsum | 随机占位图，首页有图 + /v2/list 返回 JSON 列表，双重爬取方式 | https://picsum.photos/ |
| LoremFlickr | 按关键词随机图，直接返回 JPG 二进制，requests 保存即可 | https://loremflickr.com/320/240/cat |
| PlaceBear | 熊占位图（PlaceKitten 替代品），纯 CDN 直接返回图片 | https://placebear.com/ |
| OldBook Illustrations | 古籍插图，纯 HTML 页面 img src 直接在 DOM 里，无反爬 | https://oldbookillustrations.com/ |
适合机器学习表格数据采集
| 网站 | 说明 | 链接 |
|---|---|---|
| Letterboxd | 影评社区，90KB 完整 HTML，poster-* / film-list 结构，BS4 直接爬取热门电影列表 | https://letterboxd.com/films/popular/ |
| 豆瓣电影 Top250 | 练习，注意严格控速 | https://movie.douban.com/top250 |
输入目标网址或选择下方推荐站点，体验爬虫从发送请求到提取数据的完整流程（模拟演示，不会发送真实网络请求）