python爬虫如何获取数据

90次阅读

共计 1151 个字符，预计需要花费 3 分钟才能阅读完成。

使用 Python 爬虫获取数据可以分为以下几个步骤：

导入所需的库：通常情况下，使用 requests 库发送 HTTP 请求获取网页内容，使用 beautifulsoup4 库解析网页内容。

import requests
from bs4 import BeautifulSoup

发送 HTTP 请求获取网页内容：使用 requests 库发送 GET 或 POST 请求获取网页的 HTML 内容。

url = "http://example.com"  # 要爬取的网页的 URL
response = requests.get(url)  # 发送 GET 请求获取网页内容
html_content = response.text  # 获取网页的 HTML 内容

解析网页内容：使用 beautifulsoup4 库解析网页内容，提取所需的数据。

soup = BeautifulSoup(html_content, "html.parser")  # 使用 HTML 解析器解析网页内容
data = soup.find("tag", attrs={"attribute": "value"})  # 根据标签和属性找到特定的数据

提取和处理数据：根据网页的结构和所需的数据进行相应的处理和提取。

# 提取文本数据
text_data = data.get_text()

# 提取链接
link_data = data["href"]

# 提取图片链接
img_data = data.find("img")["src"]

# 提取表格数据
table_data = []
table = soup.find("table")
rows = table.find_all("tr")
for row in rows:
    cols = row.find_all("td")
    cols = [col.get_text() for col in cols]
    table_data.append(cols)

存储数据：将提取的数据保存到文件中、存储到数据库中或者进行其他形式的处理。

# 保存到文件
with open("data.txt", "w") as file:
    file.write(text_data)

# 存储到数据库
import sqlite3
conn = sqlite3.connect("data.db")
cursor = conn.cursor()
cursor.execute("CREATE TABLE IF NOT EXISTS data (text TEXT, link TEXT, img TEXT)")
cursor.execute("INSERT INTO data VALUES (?, ?, ?)", (text_data, link_data, img_data))
conn.commit()
conn.close()