首页 >> 日常问答 >

问python 简单爬虫代码 零基础入门实战教程

2026-11-11 07:47:06

答

python 简单爬虫代码核心就是通过程序模拟浏览器向网站发送请求,获取网页源码之后解析提取想要的数据,入门最常用组合是 requests 库负责请求,BeautifulSoup 负责解析网页,这套方案代码简短容易理解,是学习 python 简单爬虫代码首选方案。很多新手写 python 简单爬虫代码失败,主要是没有设置请求头,网站识别成程序直接拦截,或者不理解网页标签结构,解析选择器写错,还有就是没有遵守网站规则,请求频率太高被封禁 IP。学习的时候先安装依赖库,理解请求响应流程,再编写基础请求代码,接着学习标签解析,最后增加异常处理和延时,就能稳定运行 python 简单爬虫代码,同时一定要记住爬虫只能用于合法公开数据学习,不能突破权限不能频繁访问。

前置准备

需要提前安装两个库,打开命令行执行安装命令

pip install requests

pip install beautifulsoup4

python 版本推荐 3.7 以上,新版 Python 对这两个库兼容性更好

基础原理说明

requests 作用 发送 http 请求,拿到网页 html 文本

BeautifulSoup 作用 把 html 字符串转换成可以检索的对象,方便查找标签和内容

基础完整示例代码

import requests

from bs4 import BeautifulSoup

def get_web_data ():

url = "这里替换成目标网页地址"

headers = {

"User-Agent": "Mozilla/5.0 Windows NT 10.0 Win64 x64 AppleWebKit/537.36 Chrome/120.0.0.0 Safari/537.36"

}

try:

response = requests.get (url, headers=headers, timeout=10)

response.raise_for_status ()

soup = BeautifulSoup (response.text, "html.parser")

items = soup.find_all ("div", class_="item")

for item in items:

title = item.get_text (strip=True)

print (title)

except Exception as e:

print ("请求出错", e)

if name == "main":

get_web_data()

核心代码逐段讲解

导入模块 引入 requests 和 BeautifulSoup,是 python 简单爬虫代码必备组件

url 变量 填写要爬取的网页地址

headers 请求头 模拟浏览器身份,大部分网站必须添加,否则返回 403 禁止访问

get 请求 发送 get 请求,timeout 设置超时时间,防止程序卡死

raise_for_status 判断 http 状态码,状态码不是 200 就抛出异常

BeautifulSoup 解析 指定 html.parser 解析器,把网页源码结构化

find_all 方法 查找符合条件标签,可以按标签名 class 属性 id 属性筛选

循环遍历 取出每一条目标数据,get_text 提取文本内容

进阶改进清单

增加延时 time.sleep 每次请求间隔 1 到 3 秒,降低服务器压力

增加异常捕获 区分连接超时 403 404 编码错误不同报错

数据保存 把提取的数据写入 txt 或者 csv 文件,使用 open 函数保存

翻页处理 修改 url 里面页码参数,循环批量爬取多页数据

代理 IP 遇到 IP 封禁可以增加代理,属于进阶内容,新手前期不需要掌握

常见报错对照表

报错现象原因解决方式
返回 403缺少请求头,网站反爬拦截补充完整 User-Agent 请求头
中文乱码编码识别错误手动设置 response.encoding
解析为空标签选择器写错,网页是动态加载核对网页源码,动态网页需要 selenium
连接超时网络问题或者目标网站屏蔽增加 timeout,更换网络或者降低频率

动态网页补充说明

如果网页数据是 js 动态渲染,requests 拿到的源码里面没有目标数据,这种基础 python 简单爬虫代码就失效,需要换成 selenium 或者 playwright,模拟浏览器加载页面之后再提取数据,这属于进阶爬虫,入门阶段优先学习静态网页爬虫。

学习练习步骤

第一步 安装 requests 和 bs4 库,测试最简单的 get 请求,打印 response.text

第二步 学习 html 基础标签,学会浏览器右键查看网页源代码

第三步 修改示例代码,替换 url 和标签选择器,提取指定文本

第四步 添加异常捕获和延时,完善 python 简单爬虫代码稳定性

第五步 练习把爬取结果保存到 csv 文件,完成完整的数据采集流程

【常见问题】

问题 1 python 简单爬虫代码一定要加请求头吗

回答 1 python 简单爬虫代码大部分场景需要加请求头,不加请求头会被网站识别成爬虫程序,经常返回 403 错误,所以编写 python 简单爬虫代码推荐默认带上 User-Agent。

问题 2 python 简单爬虫代码可以爬取所有网站吗

回答 2 python 简单爬虫代码只能爬取静态网页,js 动态渲染的数据无法直接获取,并且不能爬取需要登录权限或者受法律保护的数据,不是所有网站都适合运行 python 简单爬虫代码。

问题 3 python 简单爬虫代码出现中文乱码怎么处理

回答 3 python 简单爬虫代码中文乱码一般是编码识别错误,在代码里面手动设置 response.encoding 等于网页编码,就可以解决 python 简单爬虫代码中文乱码问题。

问题 4 python 简单爬虫代码被封 IP 怎么办

回答 3 python 简单爬虫代码请求频率太高容易触发反爬导致 IP 封禁,编写 python 简单爬虫代码要增加延时,降低访问速度,必要时使用代理方案。

问题 5 python 简单爬虫代码和 selenium 爬虫有什么区别

回答 5 python 简单爬虫代码使用 requests 只请求静态源码,速度快代码轻量,selenium 模拟浏览器,适合动态网页,但是运行速度慢,学习 python 简单爬虫代码之后再学习 selenium 进阶。

【免责申明】

本文 python 简单爬虫代码仅用于编程学习演示,使用爬虫必须遵守目标网站 robots 协议以及相关法律法规,禁止爬取隐私数据 付费内容,禁止高频请求影响网站正常运行,因违规使用代码产生的法律责任由使用者自行承担。

 

相关阅读

最新文章