爬虫基础训练----从0到1的业务进阶之旅

在软件和信息技术服务业中，数据已成为企业决策与运营优化的核心资产。企业业务的中后端、运营、财务等岗位人员日常面临大量数据采集需求：运营需要监控竞品动态、抓取用户评论；财务需要自动收集公开财报、税率或行业对标数据；中后端需要整合供应链信息、库存状态或API数据。然而，传统手工复制粘贴效率低下、易出错，而企业又缺乏一套面向非技术人员的系统数据采集培训。本课程专为业务侧人员设计，避开纯编程的陡峭学习曲线，采用“分层教学”策略：零基础学员从可视化爬虫工具入手，有Python基础的学员可进一步掌握轻量级脚本。通过实战，帮助学员建立合法、高效、可落地的数据采集能力，真正实现“从0到1”的业务进阶。

1、掌握爬虫核心原理与法律合规边界，能独立判断数据采集的可行性。

2、了解Python基础与Requests+BeautifulSoup，能够编写简单的自定义爬虫脚本。

3、熟练使用Chrome开发者工具及Web Scraper插件，无需编程即可完成常见网站的数据抓取与导出。

4、学会处理分页、动态加载、简单反爬措施（User-Agent伪装、延时等）；能够将爬取数据保存为Excel/CSV，并进行基础清洗。

5、通过两个完整实战项目（竞品价格监控、财报数据采集），直接应用于自身业务场景。

6、获得一套可复用的爬虫模板与后续进阶学习路径。

一、业务场景驱动：为什么要学爬虫

1. 运营人员的痛点案例：某SaaS公司运营每周需要从5个竞品官网收集价格和功能列表，手工复制耗时6小时，且容易遗漏。爬虫可将其压缩至15分钟。互动破冰：大家工作中哪些数据经常需要重复收集？

2. 财务人员的需求案例：月度行业报告需收集多家上市公司营收数据，手工翻阅PDF报表效率极低。爬虫自动抓取关键表格，一键生成对比。

3. 中后端人员的应用案例：对接多个供应商的库存接口前，用爬虫抓取公开的库存页面作为原型验证。

二、爬虫是什么：原理与流程

1. 模拟浏览器请求HTTP请求与响应（GET/POST），“在地址栏输入网址后按回车”。

2. 获取响应内容HTML网页源码与JSON数据结构，使用浏览器“查看网页源代码”功能直观感受。

3. 解析提取数据从杂乱的文本中定位目标信息，“从抽屉里找到需要的文件”。

4. 存储结构化数据将数据整理成表格（CSV/Excel），便于后续分析。

三、法律与伦理红线（重点）

1. Robots协议解读robots.txt 示例（如淘宝、豆瓣），什么是“允许爬取的路径”。互动场景：分组讨论一个真实网站（如某招聘平台）的robots.txt，判断哪些页面可爬。

2. 反爬与侵权的边界用户隐私数据（手机号、地址）绝 对禁止；版权内容（文章、图片）需注意授权。案例：某公司因高频爬取友商价格被发律师函，重点在于请求频率过高导致对方服务器压力。

3. 合理使用原则建议：控制请求间隔（1-2秒/次），避免并发；只爬公开数据；遵守目标网站的声明。

四、爬虫工具概览：从零代码到低代码

1. 浏览器开发者工具入门F12打开，Elements和Network标签，如何查看某个数据对应的网络请求。实操：打开任意新闻网站，找到一条新闻标题对应的HTML代码。

2. 零代码工具：Web Scraper插件Chrome插件方式，无需安装任何编程环境，点击选择即可抓取。

3. 低代码工具：Python简介最简单的requests.get()示例，感知代码爬虫的能力边界。

一、环境搭建与插件安装

1. Chrome浏览器及Web Scraper安装从Chrome网上应用店安装，或离线安装包。检查安装：在开发者工具中出现“Web Scraper”标签。

2. 界面认识Sitemap（站点地图）：一个爬虫项目。Selector（选择器）：定义要抓取的元素。创建第 一个Sitemap。

二、第 一个爬虫：抓取新闻标题

1. 创建Sitemap，定义起始URL以某新闻网站为例（quotes.toscrape.com及http://books.toscrape.com）。实操：“Create new sitemap”->“Create sitemap”->输入名称起始URL。

2. 使用Selector选取元素（点击模式）添加Selector，类型选择“Text”，“Select”后自动生成CSS选择器。保存并测试（Test selector）验证提取标题。

3. 启动爬取与导出CSV“Scrape”按钮，设置请求间隔（1000毫秒），等待爬取完成。导出为CSV文件，用Excel打开查看。现场练习：每个学员独立完成新闻标题爬取，并导出数据。

三、进阶选择器：列表页与详情页

1. 元素嵌套：抓取列表页中每条记录的多个字段以图书列表页为例

2. 分页处理：识别“下一页”链接添加Link Selector，定位“Next”，勾选“Multiple”以自动跟踪分页。爬取多页图书数据。

3. 详情页链接抓取：Link selector场景：列表页只显示摘要，需进入详情页抓取更多内容（如ISBN号、描述）。方法：创建Element Selector（代表每条记录），内部添加Link Selector指向详情页URL，在Link Selector下创建子Selector抓取详情页内的字段。案例：抓取招聘网站职位列表中的职位描述（进入详情页）。互动场景：展示一个复杂网站，学员分组讨论设计Sitemap的结构。

四、动态页面处理与等待

1. 延时设置与滚动加载网站需要滚动到底部才加载更多内容。Web Scraper中设置“Scroll down”动作。演示抓取微博（或类似无限滚动页面）的博文。

2. 点击事件模拟（Element click selector）场景：点击“加载更多”按钮才能出现新数据。方法：使用“Click”类型Selector，点击目标按钮并设置重复次数。分组实战：每小组选择一个真实网站，完成一个包含列表、分页、至少3个字段的爬取任务，并将结果导出CSV。讲师巡回指导。

本讲采用分层模式，零基础学员可继续巩固Web Scraper，完成进阶实操（抓取带登录的网站思路专题），有Python基础或想挑战的学员跟随讲师操作。

一、Python环境与基础（快速通道，仅核心）

1. 安装Anaconda与Jupyter Notebook提供一键安装包，如何启动Notebook。现场演示创建第 一个.ipynb文件，运行print(“Hello”)。

2. 变量、列表、循环、条件（15分钟闪电复习）列表 = [“苹果”,“香蕉”]；for 水果 in 列表: print(水果)；if 价格 > 100: 跳过。

3. Requests库发起GET请求安装requests：!pip install requests（在Notebook中）。import requests；response=requests.get(“http://quotes.toscrape.com”)；打印response.status_code。

4. 状态码与响应文本response.text 输出HTML源码。讲解常见的200、404、403状态码含义。

二、数据解析：BeautifulSoup入门

1. 安装bs4，解析HTMLfrom bs4 import BeautifulSoup；soup = BeautifulSoup(response.text, “html.parser”)。

2. find与find_all方法通过标签名、class、id定位。soup.find_all(“div”,class_=“quote”)。

3. 提取标签文本与属性取文本：.get_text()；取属性：.get(“href”)。实操：爬取http://quotes.toscrape.com所有名言、作者和标签，打印出来。现场练习：学员独立爬取该网站第 一页的10条名言。

三、JSON解析与API调用

1. 识别网站隐藏的API接口以豆瓣电影为例：打开开发者工具 -> Network -> XHR，刷新页面，找到返回JSON数据的请求。从请求URL直接获取结构化数据，比解析HTML更方便。

2. 使用requests请求JSON数据import json；data = response.json()；查看data的类型（字典或列表）。

3. 解析并提取字段遍历JSON中的结果，提取电影名称、评分。案例：抓取公开的天气API或免费股票报价API。

四、数据存储到Excel/CSV

1. 使用csv模块写入import csv；创建writer，写入表头和数据行。

2. 使用pandas快速保存import pandas as pd；df = pd.DataFrame(数据列表)；df.to_excel(“output.xlsx”, index=False)。现场练习：将刚才爬取的名言数据保存为Excel文件，并用Excel打开查看。

3. 简单数据清洗去重：df.drop_duplicates()；处理空值：df.dropna()；替换无效字符。互动场景：提供一份脏数据（含空行、重复、乱码），学员现场清洗并输出清洁文件。

一、常见反爬机制与应对（重讲策略，不深究代码）

1. User-Agent伪装如何修改requests的headers，模拟真实浏览器。对比：不伪装时可能返回403；伪装后成功。

2. IP代理池思路免费代理与付费代理的区别，使用proxies参数。

强调：企业级采集建议使用代理服务，但个人学习可跳过。

3. 请求频率控制（time.sleep）import time；time.sleep(随机(1,3))。避免高频请求被封。

4. 验证码处理思路OCR识别（tesseract）、人工打码平台（如超级鹰）的适用场景，尽可能避免触发验证码。互动问答：学员分享自己遇到的验证码类型，讨论是否值得攻克。

二、实战项目一：运营场景——竞品价格监控

1. 需求分析某运营需要每天监控3个竞品在某电商平台的价格，并记录变化趋势。要求自动生成价格变动报告。

2. 实现步骤（使用Web Scraper或Python）Web Scraper：创建Sitemap，抓取商品名称、价格、时间戳，手动每日运行。Python：编写脚本，加入定时任务（Windows计划任务或cron），结果追加到CSV。

3. 数据变化可视化用pandas读取历史价格，用matplotlib绘制折线图。分组讨论：每组设计一个监控方案（选什么网站、抓取频率、异常告警方式），选派代表分享。

三、实战项目二：财务场景——上市公司财报数据采集

1. 从巨潮资讯网抓取公开年报中的关键指标巨潮资讯网（www.cninfo.com.cn）提供上市公司公告，且robots.txt允许合理爬取。目标：抓取公司2025年年报中的“营业收入”“归属于母公司净利润”“基本每股收益”。

2. 实现方法方法一：使用Web Scraper先找到公告列表，再进入PDF页面（本课程仅抓取公告标题和发布日期）。方法二：寻找该网站是否有JSON接口（如巨潮的公告搜索API）。通过开发者工具抓取API请求，直接获取结构化公告数据。方法三：对于简单表格，可使用pandas的read_html直接提取页面中的表格。

3. 使用pandas进行多表格合并假定抓取了多家公司数据，用pd.concat合并，并计算行业平均值。分组实操：每个小组选择一个公开数据源（国家统计局、交易所公告、电影票房），完成爬取并输出一份不少于20条记录的数据集，以及一个简单的统计指标（平均值、总数）。要求使用本课程所学任意工具（Web Scraper或Python），时间约30分钟。

四、成果展示与问题复盘

1. 每组5分钟演示爬取结果展示抓取的数据截图、CSV文件内容，并说明业务意义。

各组提问，点评亮点与可改进点。

2. 常见错误与优化建议选择器失效（网站改版）——如何应对：定期检查、使用更稳健的选择器。被封IP——降低频率、使用代理或更换策略。数据乱码——指定UTF-8编码。动态页面未加载——改用Selenium（作为后续进阶知识简单提及）。

课程总结与进阶学习路径

1. 从基础爬虫到爬虫框架Scrapy概览Scrapy的优势（高并发、去重、中间件）。不展开代码，展示一个官方示例。

2. 数据清洗与可视化衔接推荐后续学习pandas、matplotlib、Power BI等，形成数据价值链。

3. 企业级数据采集规范建议建立内部爬虫申请机制，明确爬取范围、频率、存储责任，定期复查合规性。

4. 发放课程资料包：

Web Scraper常用选择器模板、Python示例脚本、法律合规自查清单。

5. 课后互动可建立课程交流群，讲师提供一个月内在线答疑。