学习爬虫基础知识（爬虫入门需要学哪些知识）

学习爬虫需要掌握以下 **Python 基础知识点**和 **爬虫核心技术**，分为 **Python基础**、**爬虫核心库**和**进阶技能**三部分，结合示例详细说明：

---

### **一、Python 基础要求**

#### **1. 基础语法与数据结构**

- **变量与数据类型**

爬虫处理的数据多为字符串、字典、列表，需熟练操作：

```python

# 字符串处理（切片、格式化、编码转换）

url = "https://example.com/page/1"

page_num = url.split("/")[-1] # 提取末尾数字 "1"

# 字典（存储请求头、参数）

headers = {"User-Agent": "Mozilla/5.0", "Cookie": "session=123"}

```

- **控制流**

`if-else` 判断和 `for`/`while` 循环用于逻辑控制和遍历数据：

```python

# 遍历列表中的URL并过滤

urls = ["https://site.com/a", "https://site.com/b"]

for url in urls:

if "a" in url:

print("处理URL:", url)

```

#### **2. 函数与模块化**

- **自定义函数**

封装爬虫的重复逻辑（如请求发送、数据清洗）：

```python

def get_html(url):

response = requests.get(url)

return response.text

```

- **模块导入**

使用第三方库（如 `requests`、`BeautifulSoup`）需掌握 `import`：

```python

import requests

from bs4 import BeautifulSoup

```

#### **3. 文件操作**

- **读写本地文件**

保存爬取结果到文本、CSV或JSON：

```python

import json

data = {"title": "Example", "content": "..."}

with open("data.json", "w", encoding="utf-8") as f:

json.dump(data, f, ensure_ascii=False) # 保存为JSON

```

#### **4. 异常处理**

- 处理网络请求超时、页面解析失败等问题：

```python

try:

response = requests.get(url, timeout=5)

response.raise_for_status() # 检查HTTP状态码

except requests.exceptions.Timeout:

print("请求超时！")

except Exception as e:

print("错误：", e)

```

---

### **二、爬虫核心技术**

#### **1. 网络请求库**

- **`requests` 库**

发送HTTP请求（GET/POST），设置请求头、参数、代理：

```python

import requests

url = "https://httpbin.org/get"

params = {"key": "value"}

headers = {"User-Agent": "Mozilla/5.0"}

response = requests.get(url, params=params, headers=headers)

print(response.json()) # 解析JSON响应

```

- **`aiohttp` 库（异步）**

提升爬虫效率（需配合 `asyncio`）：

```python

import aiohttp

import asyncio

async def fetch(url):

async with aiohttp.ClientSession() as session:

async with session.get(url) as response:

return await response.text()

```

#### **2. 数据解析库**

- **`BeautifulSoup`**

解析HTML/XML，通过标签、类名提取数据：

```python

from bs4 import BeautifulSoup

html = "<div class='content'><h1>标题</h1></div>"

soup = BeautifulSoup(html, "lxml")

title = soup.find("h1").text # 提取文本

```

- **`lxml` 与 XPath**

更高效的解析方式（适合复杂页面）：

```python

from lxml import etree

html = etree.HTML(response.text)

items = html.xpath("//div[@class='item']/a/@href") # 提取链接

```

#### **3. 动态页面处理**

- **`selenium` 或 `playwright`**

模拟浏览器操作，解决JavaScript渲染问题：

```python

from selenium import webdriver

driver = webdriver.Chrome()

driver.get("https://example.com")

button = driver.find_element("xpath", "//button")

button.click() # 点击按钮加载动态内容

```

---

### **三、进阶技能**

#### **1. 反爬虫应对策略**

- **请求头伪装**

设置 `User-Agent`、`Referer` 等字段模拟浏览器：

```python

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...",

"Referer": "https://www.google.com/"

}

```

- **IP代理与延迟设置**

避免IP被封禁：

```python

proxies = {"http": "http://10.10.1.10:3128"}

requests.get(url, proxies=proxies, timeout=2) # 设置代理和超时

```

- **处理Cookies与Session**

维持登录状态：

```python

session = requests.Session()

session.post(login_url, data={"user": "admin", "pass": "123"}) # 登录

response = session.get(protected_url) # 保持会话

```

#### **2. 数据存储**

- **数据库操作**

使用 `sqlite3`、`pymysql` 或 `pymongo` 存储数据：

```python

import sqlite3

conn = sqlite3.connect("data.db")

cursor = conn.cursor()

cursor.execute("CREATE TABLE IF NOT EXISTS articles (title TEXT, content TEXT)")

cursor.execute("INSERT INTO articles VALUES (?, ?)", ("标题", "内容"))

conn.commit()

```

#### **3. 爬虫框架**

- **`Scrapy`**

高效、可扩展的爬虫框架（适合大型项目）：

```python

import scrapy

class MySpider(scrapy.Spider):

name = "example"

start_urls = ["https://example.com"]

def parse(self, response):

title = response.css("h1::text").get()

yield {"title": title}

```

---

### **四、学习路径与资源推荐**

1. **基础练习**

- 爬取静态网站（如豆瓣电影TOP250、Wikipedia页面）。

- 使用 `requests` + `BeautifulSoup` 提取标题、链接、文本内容。

2. **中级项目**

- 爬取动态页面（如电商网站商品价格，需 `selenium`）。

- 实现自动登录（如模拟GitHub登录，处理Cookies）。

3. **高级实战**

- 分布式爬虫（使用 `Scrapy-Redis`）。

- 破解验证码（调用OCR API或机器学习模型）。

4. **资源推荐**

- 书籍：《Python网络数据采集》（Mitchell Erickson）

- 教程：[Scrapy官方文档](https://docs.scrapy.org/)

- 实战：[爬虫案例库](https://github.com/facert/awesome-spider)

---

### **总结**

- **核心能力**：HTTP请求、数据解析、反反爬策略、数据存储。

- **避坑指南**：遵守 `robots.txt`，控制请求频率，避免法律风险。

- **关键点**：从简单页面开始，逐步增加复杂度，多调试代码！

掌握以上内容后，可独立完成90%的常见爬虫需求！