DeepSeek与浏览器自动化AI Agent构建指南

文章使用到的模型可以用硅基流动中的：
注册链接：硅基流动统一登录

邀请码：FytHp9Xa

一、技术选型阶段

1. 基础组件选择

• AI模型：DeepSeek-R1开放API（对话/推理）或DeepSeek-Coder（代码生成）

• 浏览器控制：Playwright（比Selenium更快的现代浏览器自动化库）

• 编排框架：LangChain或Autogen（用于构建AI Agent工作流）

• 后端服务：FastAPI（轻量级API框架）+ RabbitMQ（任务队列）

2. 开发环境搭建

# 创建虚拟环境
python -m venv agent_env
source agent_env/bin/activate# 安装核心依赖
pip install deepseek-api playwright langchain python-dotenv
playwright install chromium

二、架构设计阶段

1. 系统架构图

[用户接口]↓
[API网关] → (身份验证/请求分发)↓
[任务队列] → RabbitMQ（保证任务有序执行）↓
[AI Agent核心]├─ 自然语言理解 → DeepSeek-R1├─ 代码生成 → DeepSeek-Coder└─ 浏览器控制 → Playwright Driver

2. 核心工作流程

1. 接收自然语言指令（如"获取亚马逊iPhone 15前3页价格"）

2. 通过DeepSeek-R1进行意图识别和任务分解

3. 生成Playwright控制代码并验证安全性

4. 执行浏览器自动化操作

5. 结果清洗和结构化处理

6. 生成最终自然语言报告

三、核心实现阶段

1. 初始化模块

# config.py
import os
from dotenv import load_dotenvload_dotenv()DEEPSEEK_API_KEY = os.getenv("DEEPSEEK_API_KEY")
BROWSER_HEADLESS = os.getenv("HEADLESS", "true").lower() == "true"

2. DeepSeek集成模块

# deepseek_integration.py
import requestsclass DeepSeekClient:def __init__(self, api_key):self.base_url = "https://api.deepseek.com/v1"self.headers = {"Authorization": f"Bearer {api_key}","Content-Type": "application/json"}def generate_response(self, prompt, model="deepseek-r1"):payload = {"model": model,"messages": [{"role": "user", "content": prompt}],"temperature": 0.7}response = requests.post(f"{self.base_url}/chat/completions",json=payload,headers=self.headers)return response.json()["choices"][0]["message"]["content"]

3. 浏览器控制模块

# browser_controller.py
from playwright.sync_api import sync_playwright
import jsonclass BrowserAgent:def __init__(self, headless=True):self.playwright = sync_playwright().start()self.browser = self.playwright.chromium.launch(headless=headless)self.context = self.browser.new_context(user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")self.page = self.context.new_page()def execute_actions(self, actions_json):try:for action in actions_json["steps"]:method = getattr(self.page, action["action"])if action["type"] == "click":method(action["selector"])elif action["type"] == "input":method(action["selector"], action["value"])self.page.wait_for_timeout(1000)  # 适当等待return self.page.content()except Exception as e:print(f"执行错误: {str(e)}")return Nonedef close(self):self.context.close()self.browser.close()self.playwright.stop()

4. 任务编排模块

# task_orchestrator.py
from deepseek_integration import DeepSeekClient
from browser_controller import BrowserAgent
import jsonclass TaskOrchestrator:def __init__(self):self.ai_client = DeepSeekClient(os.getenv("DEEPSEEK_API_KEY"))self.browser = BrowserAgent()def process_task(self, user_input):# 步骤1：生成浏览器操作指令prompt = f"""用户请求：{user_input}请生成Playwright操作步骤，格式要求：{{"steps": [{{"action": "goto|click|fill","type": "navigation|click|input","selector": "CSS选择器","value": "输入内容（可选）"}},// 更多步骤...]}}"""# 步骤2：获取结构化操作指令action_plan = self.ai_client.generate_response(prompt)# 步骤3：执行浏览器操作try:actions = json.loads(action_plan)result_html = self.browser.execute_actions(actions)# 步骤4：结果分析analysis_prompt = f"""原始网页内容：{result_html[:5000]}...（截断）用户需求：{user_input}请提取结构化数据并生成自然语言报告"""final_report = self.ai_client.generate_response(analysis_prompt)return final_reportexcept json.JSONDecodeError:return "操作指令生成失败，请重新尝试"

四、优化迭代阶段

1.性能优化技巧

• 使用Playwright的异步API

• 实现智能等待（替代固定等待时间）：

self.page.wait_for_selector(selector, state="attached", timeout=5000)

五、典型用例演示

场景：商品价格监控

orchestrator = TaskOrchestrator()
result = orchestrator.process_task("请访问亚马逊中国，搜索'iPhone 15'，获取前3页商品的价格和评价数"
)
print(result)

执行流程：

1. 生成导航到amazon.cn的操作指令

2. 自动处理搜索框输入和搜索按钮点击

3. 滚动翻页并提取数据

4. 使用DeepSeek分析HTML结构并提取信息

5. 生成包含价格趋势分析的Markdown报告

六、扩展方向建议

1. 视觉集成：结合Playwright的截图功能+视觉模型进行验证

2. 身份管理：实现多用户Cookie隔离存储

3. RPA扩展：集成桌面自动化库（如PyAutoGUI）突破浏览器限制

4. 知识记忆：使用向量数据库存储历史操作记录