python爬虫怎么爬两个网页

使用 python 爬取两个网页的方法：安装 requests 库；导入 requests 库；向第一个网页发送 http get 请求并处理响应；向第二个网页发送 http get 请求并处理响应；使用合适的库分析和处理网页 html 内容，提取所需数据。

如何使用 Python 爬取两个网页

步骤 1：安装 Python 库

首先，你需要安装 Requests 库，它是一个用于发送 HTTP 请求的 Python 库。你可以使用以下命令安装它：

pip install requests

登录后复制

步骤 2：导入库

立即学习“Python免费学习笔记（深入）”；

在你的 Python 脚本中，导入 Requests 库：

import requests

登录后复制

步骤 3：发送第一个请求

使用 get() 方法向第一个网页发送 HTTP GET 请求。该方法返回一个 Response 对象，其中包含网页的内容。

url1 = 'https://example.com/page1'
response1 = requests.get(url1)

登录后复制

步骤 4：处理第一个响应

检查 response1 的状态码是否为 200，这表示请求成功。然后，你可以使用 response1.text 属性获取网页的 HTML 内容。

if response1.status_code == 200:
    html1 = response1.text

登录后复制

步骤 5：发送第二个请求

使用 get() 方法向第二个网页发送 HTTP GET 请求。

url2 = 'https://example.com/page2'
response2 = requests.get(url2)

登录后复制

步骤 6：处理第二个响应

以与步骤 4 相同的方式检查和处理 response2。

if response2.status_code == 200:
    html2 = response2.text

登录后复制

步骤 7：分析和处理数据

现在，你已经拥有了两个网页的 HTML 内容。你可以使用 BeautifulSoup 等库来分析和处理这些内容，提取所需的数据。

示例代码

以下是爬取两个网页并打印网页标题的示例代码：

import requests
from bs4 import BeautifulSoup

url1 = 'https://example.com/page1'
url2 = 'https://example.com/page2'

response1 = requests.get(url1)
if response1.status_code == 200:
    html1 = response1.text

response2 = requests.get(url2)
if response2.status_code == 200:
    html2 = response2.text

soup1 = BeautifulSoup(html1, 'html.parser')
soup2 = BeautifulSoup(html2, 'html.parser')

title1 = soup1.find('title').text
title2 = soup2.find('title').text

print(title1)
print(title2)

登录后复制

以上就是python爬虫怎么爬两个网页的详细内容，更多请关注抖狐科技其它相关文章！