python 简单爬虫代码核心就是通过程序模拟浏览器向网站发送请求,获取网页源码之后解析提取想要的数据,入门最常用组合是 requests 库负责请求,BeautifulSoup 负责解析网页,这套方案代码简短容易理解,是学习 python 简单爬虫代码首选方案。很多新手写 python 简单爬虫代码失败,主要是没有设置请求头,网站识别成程序直接拦截,或者不理解网页标签结构,解析选择器写错,还有就是没有遵守网站规则,请求频率太高被封禁 IP。学习的时候先安装依赖库,理解请求响应流程,再编写基础请求代码,接着学习标签解析,最后增加异常处理和延时,就能稳定运行 python 简单爬虫代码,同时一定要记住爬虫只能用于合法公开数据学习,不能突破权限不能频繁访问。
前置准备
需要提前安装两个库,打开命令行执行安装命令
pip install requests
pip install beautifulsoup4
python 版本推荐 3.7 以上,新版 Python 对这两个库兼容性更好
基础原理说明
requests 作用 发送 http 请求,拿到网页 html 文本
BeautifulSoup 作用 把 html 字符串转换成可以检索的对象,方便查找标签和内容
基础完整示例代码
import requests
from bs4 import BeautifulSoup
def get_web_data ():
url = "这里替换成目标网页地址"
headers = {
"User-Agent": "Mozilla/5.0 Windows NT 10.0 Win64 x64 AppleWebKit/537.36 Chrome/120.0.0.0 Safari/537.36"
}
try:
response = requests.get (url, headers=headers, timeout=10)
response.raise_for_status ()
soup = BeautifulSoup (response.text, "html.parser")
items = soup.find_all ("div", class_="item")
for item in items:
title = item.get_text (strip=True)
print (title)
except Exception as e:
print ("请求出错", e)
if name == "main":
get_web_data()
核心代码逐段讲解
导入模块 引入 requests 和 BeautifulSoup,是 python 简单爬虫代码必备组件
url 变量 填写要爬取的网页地址
headers 请求头 模拟浏览器身份,大部分网站必须添加,否则返回 403 禁止访问
get 请求 发送 get 请求,timeout 设置超时时间,防止程序卡死
raise_for_status 判断 http 状态码,状态码不是 200 就抛出异常
BeautifulSoup 解析 指定 html.parser 解析器,把网页源码结构化
find_all 方法 查找符合条件标签,可以按标签名 class 属性 id 属性筛选
循环遍历 取出每一条目标数据,get_text 提取文本内容
进阶改进清单
增加延时 time.sleep 每次请求间隔 1 到 3 秒,降低服务器压力
增加异常捕获 区分连接超时 403 404 编码错误不同报错
数据保存 把提取的数据写入 txt 或者 csv 文件,使用 open 函数保存
翻页处理 修改 url 里面页码参数,循环批量爬取多页数据
代理 IP 遇到 IP 封禁可以增加代理,属于进阶内容,新手前期不需要掌握
常见报错对照表
| 报错现象 | 原因 | 解决方式 |
|---|---|---|
| 返回 403 | 缺少请求头,网站反爬拦截 | 补充完整 User-Agent 请求头 |
| 中文乱码 | 编码识别错误 | 手动设置 response.encoding |
| 解析为空 | 标签选择器写错,网页是动态加载 | 核对网页源码,动态网页需要 selenium |
| 连接超时 | 网络问题或者目标网站屏蔽 | 增加 timeout,更换网络或者降低频率 |
动态网页补充说明
如果网页数据是 js 动态渲染,requests 拿到的源码里面没有目标数据,这种基础 python 简单爬虫代码就失效,需要换成 selenium 或者 playwright,模拟浏览器加载页面之后再提取数据,这属于进阶爬虫,入门阶段优先学习静态网页爬虫。
学习练习步骤
第一步 安装 requests 和 bs4 库,测试最简单的 get 请求,打印 response.text
第二步 学习 html 基础标签,学会浏览器右键查看网页源代码
第三步 修改示例代码,替换 url 和标签选择器,提取指定文本
第四步 添加异常捕获和延时,完善 python 简单爬虫代码稳定性
第五步 练习把爬取结果保存到 csv 文件,完成完整的数据采集流程
【常见问题】
问题 1 python 简单爬虫代码一定要加请求头吗
回答 1 python 简单爬虫代码大部分场景需要加请求头,不加请求头会被网站识别成爬虫程序,经常返回 403 错误,所以编写 python 简单爬虫代码推荐默认带上 User-Agent。
问题 2 python 简单爬虫代码可以爬取所有网站吗
回答 2 python 简单爬虫代码只能爬取静态网页,js 动态渲染的数据无法直接获取,并且不能爬取需要登录权限或者受法律保护的数据,不是所有网站都适合运行 python 简单爬虫代码。
问题 3 python 简单爬虫代码出现中文乱码怎么处理
回答 3 python 简单爬虫代码中文乱码一般是编码识别错误,在代码里面手动设置 response.encoding 等于网页编码,就可以解决 python 简单爬虫代码中文乱码问题。
问题 4 python 简单爬虫代码被封 IP 怎么办
回答 3 python 简单爬虫代码请求频率太高容易触发反爬导致 IP 封禁,编写 python 简单爬虫代码要增加延时,降低访问速度,必要时使用代理方案。
问题 5 python 简单爬虫代码和 selenium 爬虫有什么区别
回答 5 python 简单爬虫代码使用 requests 只请求静态源码,速度快代码轻量,selenium 模拟浏览器,适合动态网页,但是运行速度慢,学习 python 简单爬虫代码之后再学习 selenium 进阶。
【免责申明】
本文 python 简单爬虫代码仅用于编程学习演示,使用爬虫必须遵守目标网站 robots 协议以及相关法律法规,禁止爬取隐私数据 付费内容,禁止高频请求影响网站正常运行,因违规使用代码产生的法律责任由使用者自行承担。


