基于LangChain爬虫增强RAG应用
来源：互联网
时间：2026-07-20 13:09:16
掌握LangChain与网络爬虫的结合，提升LLM数据获取能力。
## 核心内容
1. 网络爬虫在LLM数据增强中的作用和优势
2. LangChain中使用爬取数据的挑战及解决方案
3. 实操教程：构建LangChain网络爬虫，从CNN文章提取内容并生成摘要
本文将介绍如何结合网络爬虫与LangChain，通过分步指南实现LLM数据增强。在本指南中，你将学习：
- 为什么网络爬虫是增强LLM实时数据的有效方法
- 在LangChain中使用爬取数据的优势与挑战
- 分步教程：构建完整的LangChain网络爬虫集成
---
## 01 用网络爬虫赋能LLM应用
网络爬虫是从网页中提取数据的技术。这些数据可用于支持RAG（检索增强生成）应用，并增强大语言模型（LLM）的能力。RAG应用需要实时、领域特定或海量数据集，而这些数据通常无法通过静态数据库获取。网络爬虫通过从文章、商品列表或社交媒体等多样化来源提取结构化和非结构化数据，填补了这一空白。
---
## 02 在LangChain中使用爬取数据的优势与挑战
LangChain是一个强大的AI驱动工作流框架，支持将LLM与多样化数据源无缝集成。它擅长通过结合LLM与实时、领域特定知识完成数据分析、摘要和问答任务。然而，获取高质量数据始终是难题。网络爬虫可以解决这一问题，但需应对以下挑战：
- **反爬机制**：如验证码（CAPTCHA）和动态网页。
- **合规性与效率**：维护合规且高效的爬虫耗时且技术复杂。
针对这些难点，市面上已有成熟的解决方案，例如提供预配置爬取端点的API服务，通过IP轮换、验证码自动破解和Ja vaScript渲染等功能，实现高效、可靠的数据收集。后面的教程会具体演示如何使用这类工具。
---
## 03 分步教程：用API实现LangChain网络爬虫
本教程将演示如何构建一个LangChain爬虫脚本，目标是从CNN文章中提取内容，并通过Web Scraper API和OpenAI进行摘要生成。我们将以CNN的以下文章为目标：
我们将在这里构建的示例是一个简单的起点，但使用LangChain可以轻松扩展附加的特性和分析。例如，你甚至可以基于SERP数据创建一个RAG聊天机器人。
按照下面的步骤开始吧！
### 前期准备
要完成本教程，你将需要以下内容：
- 你的计算机上安装了Python 3+
- OpenAI API密钥
- 一个爬虫服务的数据账户（后面会说明如何配置）
如果你错过了这些，请不要担心。我们将指导你完成从安装Python到获得OpenAI和爬虫服务证书的整个过程。
### 步骤1：项目初始化
首先，检查你的机器上是否安装了Python 3。如果没有，下载并安装它。
在终端中运行此命令，为项目创建一个文件夹：
```bash
mkdir langchain_scraping
```
`langchain_scraping` 将包含你的Python LangChain抓取项目。
然后，导航到项目文件夹，并在其中初始化一个Python虚拟环境：
```bash
cd langchain_scraping
python3 -m venv env
```
> 注意：在Windows上，使用 `python` 而不是 `python3`。
现在，在你最喜欢的Python IDE中打开项目目录。PyCharm社区版或带有Python扩展的Visual Studio Code就可以了。
在 `langchain_scraping` 中，添加一个 `script.py` 文件。这是一个空Python脚本，但它很快就会包含LangChain的网页抓取逻辑。
在IDE的终端中，使用下面的命令激活虚拟环境：
```bash
./env/bin/activate
```
或者，在Windows上运行：
```bash
env/Scripts/activate
```
太棒了！现在你已经完全准备好了。
### 步骤2：安装依赖库
Python LangChain抽取项目依赖于以下库：
- `python-dotenv`：从 `.env` 文件中加载环境变量。它将用于管理敏感信息，如爬虫服务和OpenAI凭据。
- `requests`：执行HTTP请求以与Web Scraper API交互。
- `langchain_openai`：通过OpenAI SDK对OpenAI的LangChain集成。
在激活的虚拟环境中，用以下命令安装所有依赖项：
```bash
pip install python-dotenv requests langchain-community
```
### 步骤3：准备你的项目
在 `script.py` 中，添加以下导入：
```python
from dotenv import load_dotenv
import os
```
这两行允许你读取环境变量文件。注意：`os` 来自Python标准库，所以你不需要安装它。
然后，在项目文件夹中创建一个 `.env` 文件来存储所有凭据。下面是当前的项目文件结构应该是什么样子的：
在 `script.py` 中用下面一行指示python-dotenv从 `.env` 中加载环境变量：
```python
load_dotenv()
```
现在，你可以通过以下方式从 `.env` 文件或系统中读取环境变量：
```python
os.environ.get("")
```
酷啊！是时候配置Web Scraper API解决方案了。
### 步骤4：配置Web Scraper API
网页抓取会带来不少挑战——反爬机制、动态页面、合规要求等。使用一体化的Web Scraper API可以大大简化工作。这些API允许你毫不费力地从超过100个网站检索经过解析的内容。
要设置Web Scraper API，请按照下面的说明进行操作。
如果你还没有，请创建一个数据服务的帐户。登录后，进入你的帐户仪表盘。在这里，点击左侧的“Web Scraper API”按钮：
由于目标站点是CNN.com，请在搜索输入中输入“cnn”，然后选择“CNN新闻-按URL分类”抽取器：
在当前页面上，点击“Create token”按钮，生成一个API token：
这将打开以下模式，你可以在其中配置token的详细信息：
完成后，单击“Sa ve”保存并复制API token的值。
在你的 `.env` 文件中，将此信息存储如下：
```env
BRIGHT_DATA_API_TOKEN="
"
```
用从模态中复制的值替换 ``。
你的CNN新闻Web Scraper API页面现在看起来应该类似于下面的示例：
我们开始吧！配置你的Web Scraper API请求并使用它。
### 步骤5：使用Web Scraper API进行抓取
Web Scraper API会启动根据你的需求配置的抓取任务。然后，该过程生成包含抓取数据的快照。
下面是Web Scraper API抽取过程的工作概述：
- 你向Web Scraper API发出请求，通过URL提供要抓取的页面。
- 将启动一个网页抓取任务，从这些URL中检索和解析数据。
- 一旦任务完成，你将反复查询快照检索API以获取结果数据。
CNN Web Scraper API的POST端点是：
```
https://api.brightdata.com/datasets/v3/trigger?dataset_id=gd_lycz8783197ch4wvwg&include_errors=true
```
该端点接受包含 `url` 字段的对象数组，并返回如下响应：
```json
{"snapshot_id":""}
```
使用此响应中的 `snapshot_id`，你需要查询以下端点以检索数据：
```
https://api.brightdata.com/datasets/v3/snapshot/?format=json
```
如果任务仍在进行中，则此端点返回HTTP状态代码202，当任务完成且数据准备就绪时，则返回200。建议的方法是每10秒钟对该端点进行一次轮询，直到任务完成。
任务完成后，端点将以以下格式返回数据：
```json
[
{
"input": {
"url": "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/",
"keyword": ""
},
"id": "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/index.html",
"url": "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/index.html",
"author": "Mary Gilbert",
"headline": "White Christmas forecast: Will you be left dreaming of snow or reveling in it?",
"topics": [
"weather"
],
"publication_date": "2024-12-16T13:20:52.800Z",
"updated_last": "2024-12-16T13:20:52.800Z",
"content": "Christmas is approaching nearly as fast as Santa’s sleigh, but almost anyone in the United States fantasizing about a movie-worthy white Christmas might need to keep dreaming. Early forecasts indicate temperatures could max out around 10 to 15 degrees above normal for much of the country on Christmas Day. [omitted for brevity...]",
"videos": null,
"images": [
"omitted for brevity..."
],
"related_articles": [],
"keyword": null,
"timestamp": "2024-12-16T14:18:14.101Z"
}
]
```
`content` 属性包含解析的文章数据，表示你要访问的信息。
要实现这一点，首先从 `.env` 读取环境变量并初始化端点URL常量：
```python
BRIGHT_DATA_API_TOKEN = os.environ.get("BRIGHT_DATA_API_TOKEN")
BRIGHT_DATA_CNN_WEB_SCRAPER_API_URL = "https://api.brightdata.com/datasets/v3/trigger?dataset_id=gd_lycz8783197ch4wvwg&include_errors=true"
```
接下来，你可以使用下面的代码将上面的过程变成一个可复用的函数：
```python
def get_scraped_data(url):
# Authorization headers
headers = {
"Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}"
}
# Web Scraper API payload
data = [{
"url": url
}]
# Making the POST request to the Bright Data Web Scraper API
response = requests.post(BRIGHT_DATA_CNN_WEB_SCRAPER_API_URL, headers=headers, json=data)
if response.status_code == 200:
response_data = response.json()
snapshot_id = response_data.get("snapshot_id")
if snapshot_id:
# Iterate until the snapshot is ready
snapshot_url = f"https://api.brightdata.com/datasets/v3/snapshot/{snapshot_id}?format=json"
while True:
snapshot_response = requests.get(snapshot_url, headers=headers)
if snapshot_response.status_code == 200:
# Parse and return the snapshot data
snapshot_response_data = snapshot_response.json()
return snapshot_response_data[0].get("content")
elif snapshot_response.status_code == 202:
print("Snapshot not ready yet. Retrying in 10 seconds...")
time.sleep(10) # Wait for 10 seconds before retrying
else:
print(f"Failed to retrieve snapshot. Status code: {snapshot_response.status_code}")
print(snapshot_response.text)
break
else:
print("Snapshot ID not found in the response")
else:
print(f"Error: {response.status_code}")
print(response.text)
```
要使其正常工作，请添加这两个导入：
```python
import requests
import time
```
太不可思议了！你刚刚学习了如何使用Web Scraper API进行网页抓取。
### 步骤6：准备使用OpenAI模型
这个示例依赖OpenAI模型在LangChain中集成LLM。要使用这些模型，你必须在环境变量中配置OpenAI API密钥。
默认情况下，`langchain_openai` 会自动从 `OPENAI_API_KEY` 环境变量读取OpenAI API密钥。要设置此功能，请在 `.env` 文件中添加以下行：
```env
OPENAI_API_KEY=""
```
将 `` 替换为你的OpenAI API密钥的值。如果你不知道如何获得一个，请参考官方指南。
太棒了！是时候在LangChain抽取脚本中使用OpenAI模型了。
### 步骤7：生成LLM Prompt
定义一个函数，该函数取出抽取的数据，并生成一个Prompt以获取文章摘要：
```python
def create_summary_prompt(content, words=100):
return f"""Summarize the following content in less than {words} words.
CONTENT:
'{content}'
"""
```
在当前示例中，完整的Prompt会是：
```
Summarize the following content in less than 100 words.
CONTENT:
'Christmas is approaching nearly as fast as Santa’s sleigh, but almost anyone in the United States fantasizing about a movie-worthy white Christmas might need to keep dreaming. Early forecasts indicate temperatures could max out around 10 to 15 degrees above normal for much of the country on Christmas Day. It’s a forecast reminiscent of last Christmas for many, which came amid the warmest winter on record in the US. But the country could be split in two by warmth and cold in the run up to the big day. [omitted for brevity...]'
```
如果你把它传递给ChatGPT，你会得到想要的结果。这足以说明Prompt效果很好！
### 步骤8：集成OpenAI
首先，调用 `get_scraped_data()` 函数从文章页面中检索内容：
```python
article_url = "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/"
scraped_data = get_scraped_data(article_url)
```
如果 `scraped_data` 不是 `None`，生成Prompt：
```python
if scraped_data is not None:
prompt = create_summary_prompt(scraped_data)
```
最后，将其传递给配置在GPT-4o迷你AI模型上的 `ChatOpenAI` LangChain对象：
```python
model = ChatOpenAI(model="gpt-4o-mini")
response = model.invoke(prompt)
```
不要忘记从 `langchain_openai` 导入 `ChatOpenAI`：
```python
from langchain_openai import ChatOpenAI
```
在流程结束时，`summary` 应该包含类似于ChatGPT在上一步骤中生成的摘要：
```python
summary = response.content
```
哇！LangChain网络抓取逻辑已完成。
### 步骤9：导出AI处理的数据
现在，你只需通过LangChain将所选AI模型生成的数据导出为人类可阅读的格式，例如JSON文件。
为此，用你想要的数据初始化一个字典，然后将其保存为JSON文件，如下图：
```python
export_data = {
"url": article_url,
"summary": summary
}
file_name = "summary.json"
with open(file_name, "w") as file:
json.dump(export_data, file, indent=4)
```
从Python标准库导入 `json`：
```python
import json
```
恭喜你！你的脚本准备好了。
### 步骤10：添加日志
使用Web Scraping AI和ChatGPT分析进行抓取过程可能需要一些时间。因此，一个好的做法是包含日志来跟踪脚本的进度。
可以通过在脚本的关键步骤中添加 `print()` 语句来实现这一点，如下所示：
```python
article_url = "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/"
print(f"Scraping data from '{article_url}'...")
scraped_data = get_scraped_data(article_url)
if scraped_data is not None:
print("Data successfully scraped, creating summary prompt")
prompt = create_summary_prompt(scraped_data)
# Ask ChatGPT to perform the task specified in the prompt
print("Sending prompt to ChatGPT for summarization")
model = ChatOpenAI(model="gpt-4o-mini")
response = model.invoke(prompt)
# Get the AI result
summary = response.content
print("Received summary from ChatGPT")
# Export the produced data to JSON
export_data = {
"url": article_url,
"summary": summary
}
print("Exporting data to JSON")
# Write the output dictionary to JSON file
file_name = "summary.json"
with open(file_name, "w") as file:
json.dump(export_data, file, indent=4)
print(f"Data exported to '{file_name}'")
else:
print("Scraping failed")
```
### 步骤11：完整的脚本
最终的 `script.py` 文件应该包含以下内容（已整合所有代码）：
```python
from dotenv import load_dotenv
import os
import requests
import time
from langchain_openai import ChatOpenAI
import json
load_dotenv()
BRIGHT_DATA_API_TOKEN = os.environ.get("BRIGHT_DATA_API_TOKEN")
BRIGHT_DATA_CNN_WEB_SCRAPER_API_URL = "https://api.brightdata.com/datasets/v3/trigger?dataset_id=gd_lycz8783197ch4wvwg&include_errors=true"
def get_scraped_data(url):
headers = {
"Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}"
}
data = [{"url": url}]
response = requests.post(BRIGHT_DATA_CNN_WEB_SCRAPER_API_URL, headers=headers, json=data)
if response.status_code == 200:
response_data = response.json()
snapshot_id = response_data.get("snapshot_id")
if snapshot_id:
snapshot_url = f"https://api.brightdata.com/datasets/v3/snapshot/{snapshot_id}?format=json"
while True:
snapshot_response = requests.get(snapshot_url, headers=headers)
if snapshot_response.status_code == 200:
snapshot_response_data = snapshot_response.json()
return snapshot_response_data[0].get("content")
elif snapshot_response.status_code == 202:
print("Snapshot not ready yet. Retrying in 10 seconds...")
time.sleep(10)
else:
print(f"Failed to retrieve snapshot. Status code: {snapshot_response.status_code}")
print(snapshot_response.text)
break
else:
print("Snapshot ID not found in the response")
else:
print(f"Error: {response.status_code}")
print(response.text)
def create_summary_prompt(content, words=100):
return f"""Summarize the following content in less than {words} words.
CONTENT:
'{content}'
"""
article_url = "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/"
scraped_data = get_scraped_data(article_url)
if scraped_data is not None:
prompt = create_summary_prompt(scraped_data)
model = ChatOpenAI(model="gpt-4o-mini")
response = model.invoke(prompt)
summary = response.content
export_data = {
"url": article_url,
"summary": summary
}
with open("summary.json", "w") as file:
json.dump(export_data, file, indent=4)
```
用以下命令运行脚本：
```bash
python3 script.py
```
或者在Windows上：
```bash
python script.py
```
终端中的输出应该接近这个：
```
Scraping data from 'https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/'...
Snapshot not ready yet. Retrying in 10 seconds...
Data successfully scraped, creating summary prompt
Sending prompt to ChatGPT for summarization
Received summary from ChatGPT
Exporting data to JSON
Data exported to 'summary.json'
```
打开项目目录中间出现的 `summary.json` 文件，你应该会看到类似如下的内容：
```json
{
"url": "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/",
"summary": "As Christmas approaches, forecasts indicate temperatures in the US may be 10 to 15 degrees above normal, continuing a trend from last year’s warm winter. The western US will likely remain warm, while the East experiences colder conditions leading up to Christmas. Some areas may see a mix of rain and snow, but a true 'white Christmas' requires at least an inch of snow on the ground. Historically, cities like Minneapolis and Burlington ha ve the best chances for snow, while places like New York City and Atlanta ha ve significantly lower probabilities."
}
```
任务完成！在不到100行的代码中，你构建了一个基于AI的LangChain网络爬虫脚本。
---
## 04 结论
在本教程中，你发现了为什么网络爬虫是收集AI工作流程数据的绝佳方法，以及如何使用LangChain进行分析。具体来说，你学习了如何创建基于Python的LangChain网络抽取脚本，以从CNN新闻文章中提取数据并使用OpenAI API进行处理。
这种方法的主要挑战包括：
- **页面结构频繁变动**
- **反爬机制复杂**
- **大规模数据抓取成本高**
市面上成熟的Web Scraper API提供了从主要网站提取数据的无缝解决方案，轻松克服了这些挑战。这使其成为支持RAG应用程序和其他LangChain支持的解决方案的宝贵工具。
