Selenium自动化ChatGPT：绕过API限制，实现Web端高效批量交互

1. 项目概述与核心价值最近在GitHub上看到一个挺有意思的项目叫“Michelangelo27/chatgpt_selenium_automation”。光看名字你大概能猜到它想做什么用Selenium自动化操作ChatGPT。这听起来是不是有点“用大炮打蚊子”的感觉毕竟ChatGPT自己有API直接调用多方便。但恰恰是这种“非主流”的思路让我觉得有必要深入聊聊。这个项目的核心其实不是简单地模拟登录和发送消息它瞄准的是一个更具体、也更“接地气”的场景自动化处理那些无法通过官方API直接访问或者需要模拟人类交互流程才能完成的ChatGPT任务。举个例子你可能需要批量测试不同提示词Prompt在ChatGPT Web界面下的响应效果或者想自动化完成一些基于Web界面的复杂对话流程比如多轮对话中穿插文件上传、代码解释器的使用等。这些场景下官方的API可能要么功能不全要么成本高昂要么根本就没开放对应功能。这时候一个稳定、可靠的Selenium自动化脚本就成了刚需。这个项目提供了一个现成的框架帮你绕开了从零搭建的繁琐直接聚焦于业务逻辑。对于开发者、测试人员、AI应用研究者或者任何需要与ChatGPT Web端进行规模化、自动化交互的人来说这无疑是一个能显著提升效率的工具箱。2. 项目整体设计与思路拆解2.1 为什么选择Selenium而非官方API这是理解这个项目价值的第一道门槛。OpenAI提供了完善的ChatGPT API为什么还要“舍近求远”核心原因在于“能力边界”和“成本控制”。官方API是面向程序化交互设计的它高效、稳定但功能集是固定的。而ChatGPT的Web界面作为面向最终用户的产品往往会率先集成一些实验性功能或更丰富的交互模块。比如在某个时间段Web端可能已经支持了多模态图片输入、联网搜索、自定义指令的持久化或者特定的插件调用而这些功能可能尚未同步到API中或者需要更高级别的API权限才能使用。其次是成本与访问策略。虽然API调用按Token计费清晰透明但对于需要高频次、多样化测试尤其是生成大量长文本的场景成本可能迅速攀升。而通过Web端自动化操作如果拥有相应的账户权限则可以在一定限制内如GPT-3.5的免费额度或Plus订阅的额度内进行大规模测试这对于前期探索和实验非常友好。此外一些教育或研究机构提供的内部ChatGPT访问渠道可能也只有Web界面没有直接的API密钥。最后模拟真实用户行为本身就是一个需求。比如你需要测试Web界面的用户体验、监控响应时间在不同网络环境下的表现或者研究对话流的设计。这些都需要一个能像真人一样点击、输入、等待的自动化工具。Selenium正是浏览器自动化的行业标准它能完整地模拟人类在浏览器中的所有操作。因此这个项目的设计思路非常明确以Selenium为引擎将ChatGPT的Web界面当作一个“黑盒”服务进行自动化驱动从而解锁那些API无法覆盖或访问受限的自动化场景。2.2 核心架构与组件解析虽然我无法看到该项目最新的每一行代码但基于其项目名和常见实现模式我们可以推断出其核心架构必然包含以下几个关键组件浏览器驱动层这是Selenium的基础。项目需要集成ChromeDriver、GeckoDriverFirefox或Microsoft Web DriverEdge。通常会通过webdriver-manager这样的库来自动管理驱动程序的下载和匹配避免手动配置的麻烦。这一层负责启动和操控一个真正的浏览器实例。页面对象模型层这是保证代码可维护性的关键。好的Selenium项目不会把find_element_by_id这样的定位语句散落在业务逻辑里。它会为ChatGPT的登录页、主聊天页面、设置弹窗等关键界面创建独立的“页面对象”类。每个类内部封装了该页面的所有元素定位器如输入框、发送按钮、回复区域的CSS选择器或XPath和基本的页面操作如input_query(text),get_last_response()。这样当ChatGPT前端UI改版时你只需要更新对应的页面对象类而不必改动核心业务流程代码。会话管理与状态维护层ChatGPT Web会话是有状态的。你需要处理登录状态Cookie、LocalStorage的持久化管理对话上下文可能涉及“新对话”按钮或对话历史列表的切换。这一层需要实现会话的恢复功能避免每次运行脚本都重新登录既费时又容易触发风控。业务流程封装层这是暴露给最终用户的核心接口。例如一个ChatGPTAutomator类提供了login(username, password),send_message(prompt),send_message_and_get_response(prompt),upload_file(file_path)等高阶方法。用户只需要关心“我要做什么”而不需要知道具体怎么找到输入框、怎么点击发送按钮。健壮性处理与等待策略网络延迟、前端渲染时间不确定是Web自动化的天敌。项目必须实现智能等待。不能使用time.sleep(10)这种硬编码等待而应该使用Selenium的WebDriverWait配合expected_conditions例如等待输入框变为可编辑状态、等待“停止生成”按钮消失表示回复完成、等待回复区域出现新的消息气泡。这能大幅提高脚本的运行速度和稳定性。配置与扩展点通过配置文件或环境变量来管理浏览器类型、无头模式开关、用户数据目录、代理设置等。同时设计良好的钩子函数或事件监听器允许用户注入自定义逻辑比如在发送消息前对提示词进行预处理或在收到回复后进行后处理和数据提取。3. 核心细节解析与实操要点3.1 元素定位与动态前端斗智斗勇ChatGPT的Web界面是典型的现代单页应用元素ID和类名很可能由前端框架动态生成不具备唯一性和稳定性。直接使用by_id或by_class_name定位元素今天能跑通的脚本明天ChatGPT前端发布一个热更新可能就崩溃了。更可靠的定位策略是组合使用相对稳定的属性CSS选择器与XPath结合优先寻找具有>pip install selenium webdriver-managerwebdriver-manager会自动处理浏览器驱动的下载和路径问题强烈推荐使用。对于项目本身如果“Michelangelo27/chatgpt_selenium_automation”提供了setup.py或requirements.txt直接安装即可。如果没有你可能需要手动组织代码结构。这里我们以模拟使用该项目的模式进行。创建一个项目目录结构如下chatgpt_automation_project/ ├── config.yaml # 配置文件 ├── cookies.json # 保存的会话cookies ├── prompts.txt # 待测试的100个提示词每行一个 ├── results.csv # 结果输出文件 ├── core/ │ ├── __init__.py │ ├── automator.py # 核心自动化类 │ └── pages.py # 页面对象类 └── main.py # 主执行脚本4.2 构建核心自动化类在core/automator.py中我们构建一个简化的ChatGPTAutomator类展示关键方法。from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.common.exceptions import TimeoutException, NoSuchElementException import json import time class ChatGPTAutomator: def __init__(self, headlessFalse, cookie_filecookies.json): self.cookie_file cookie_file options webdriver.ChromeOptions() if headless: options.add_argument(--headlessnew) # 新版Chrome的headless模式 options.add_argument(--disable-blink-featuresAutomationControlled) options.add_experimental_option(excludeSwitches, [enable-automation]) options.add_experimental_option(useAutomationExtension, False) # 可添加代理、用户数据目录等其他选项 self.driver webdriver.Chrome(optionsoptions) self.driver.execute_script(Object.defineProperty(navigator, webdriver, {get: () undefined})) self.wait WebDriverWait(self.driver, 30) # 全局显式等待超时时间 def login_or_restore_session(self): 登录或恢复会话 self.driver.get(https://chat.openai.com) time.sleep(2) # 初始加载等待 try: # 尝试加载cookies恢复会话 with open(self.cookie_file, r) as f: cookies json.load(f) for cookie in cookies: # 确保domain匹配有时需要处理 self.driver.add_cookie(cookie) self.driver.refresh() time.sleep(3) # 检查是否登录成功查找消息输入框 self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, textarea#prompt-textarea))) print(会话恢复成功。) return True except (FileNotFoundError, TimeoutException): print(未找到有效会话需要手动登录。) print(请在浏览器中完成登录完成后回到控制台按回车继续...) input() # 阻塞等待用户手动操作 # 用户手动登录后保存cookies cookies self.driver.get_cookies() with open(self.cookie_file, w) as f: json.dump(cookies, f) print(会话已保存。) return True def send_prompt_and_get_response(self, prompt): 发送提示词并获取完整回复 # 1. 定位输入框并输入 textarea self.wait.until( EC.element_to_be_clickable((By.CSS_SELECTOR, textarea#prompt-textarea)) ) textarea.clear() # 对于长文本分次输入模拟真人避免被拦截 for chunk in [prompt[i:i100] for i in range(0, len(prompt), 100)]: textarea.send_keys(chunk) time.sleep(0.1) time.sleep(0.5) # 2. 定位并点击发送按钮 send_button self.driver.find_element( By.CSS_SELECTOR, button[data-testidsend-button] ) send_button.click() print(f已发送提示词: {prompt[:50]}...) # 3. 等待AI开始生成出现停止按钮 try: stop_button self.wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, button[aria-labelStop generating])) ) except TimeoutException: print(未检测到生成开始可能立即完成了或出错了。) # 可能回复极快直接进入下一步等待 # 4. 等待生成结束停止按钮消失且最后一个助手消息稳定 start_time time.time() try: # 等待停止按钮消失 self.wait.until(EC.invisibility_of_element_located( (By.CSS_SELECTOR, button[aria-labelStop generating]) )) except TimeoutException: print(警告在超时时间内未检测到生成结束。) # 5. 等待最后一个助手消息内容稳定 last_response_text stable_count 0 for _ in range(30): # 最多等待30*0.515秒 time.sleep(0.5) try: # 定位所有消息气泡取最后一个角色为assistant的 messages self.driver.find_elements(By.CSS_SELECTOR, div[data-message-author-role]) assistant_messages [m for m in messages if m.get_attribute(data-message-author-role) assistant] if not assistant_messages: continue current_last assistant_messages[-1] current_text current_last.text if current_text last_response_text: stable_count 1 else: last_response_text current_text stable_count 0 if stable_count 2: # 连续两次文本无变化认为稳定 break except (NoSuchElementException, StaleElementReferenceException): pass end_time time.time() response_time end_time - start_time # 6. 提取最终文本 final_response last_response_text if last_response_text else 未能获取回复 print(f获取到回复长度{len(final_response)}耗时{response_time:.2f}秒) return final_response, response_time def close(self): self.driver.quit()4.3 主流程脚本集成在main.py中我们集成上述自动化类完成批量测试任务。import csv import time from core.automator import ChatGPTAutomator def load_prompts(file_path): with open(file_path, r, encodingutf-8) as f: return [line.strip() for line in f if line.strip()] def main(): prompts load_prompts(prompts.txt) bot ChatGPTAutomator(headlessTrue) # 生产环境建议用无头模式 try: if not bot.login_or_restore_session(): print(登录失败程序退出。) return with open(results.csv, w, newline, encodingutf-8) as csvfile: fieldnames [prompt, response, response_time_seconds] writer csv.DictWriter(csvfile, fieldnamesfieldnames) writer.writeheader() for idx, prompt in enumerate(prompts): print(f\n--- 处理第 {idx1}/{len(prompts)} 个提示词 ---) try: response, rt bot.send_prompt_and_get_response(prompt) writer.writerow({ prompt: prompt, response: response, response_time_seconds: f{rt:.2f} }) csvfile.flush() # 及时写入防止程序中断丢失数据 # 可选在对话间短暂停顿模拟人类行为降低风控风险 time.sleep(2) except Exception as e: print(f处理提示词时发生错误: {e}) writer.writerow({ prompt: prompt, response: fERROR: {str(e)}, response_time_seconds: N/A }) # 发生错误后可以尝试刷新页面或进行简单恢复 bot.driver.refresh() time.sleep(5) finally: bot.close() print(自动化任务结束。) if __name__ __main__: main()这个脚本清晰地展示了从会话管理、提示词发送、响应等待到结果收集的完整闭环。使用无头模式可以在服务器后台静默运行。将结果实时写入CSV文件即使中途出错也已保存的数据也不会丢失。5. 常见问题与排查技巧实录在实际使用Selenium自动化ChatGPT的过程中你会遇到各种各样的问题。下面是我在实践中总结的一些典型问题及其解决思路。5.1 元素定位失败前端更新与动态加载问题现象昨天还能正常运行的脚本今天突然报错NoSuchElementException找不到输入框或按钮。排查与解决手动验证第一时间用相同的浏览器手动访问ChatGPT使用开发者工具F12检查目标元素的HTML结构是否发生变化。查看之前使用的CSS选择器或XPath是否还能匹配到元素。使用更稳健的定位器优先使用>options.add_argument(--headlessnew) options.add_argument(--disable-gpu) options.add_argument(--no-sandbox) # 常见于Linux服务器环境 options.add_argument(--disable-dev-shm-usage) # 解决共享内存问题 options.add_argument(--disable-extensions) options.add_argument(--disable-software-rasterizer)实现断点续跑在主脚本中记录已成功处理的提示词索引。当脚本因错误、网络中断或人为停止后再次启动时可以从断点处继续而不是从头开始。这可以通过在CSV结果文件中记录状态或单独维护一个进度文件来实现。异常捕获与恢复对send_prompt_and_get_response这类核心函数进行细致的异常捕获。发生TimeoutException、StaleElementReferenceException元素状态过期时不要立即崩溃。可以尝试刷新页面、重新查找元素、甚至重新恢复会话并进行有限次数的重试如最多3次。只有重试全部失败后才记录错误并继续下一个任务。资源清理确保在脚本结束无论是正常结束还是异常退出时调用driver.quit()来关闭浏览器进程。对于长时间运行的脚本可以定期如每处理100个请求关闭并重启浏览器实例以释放内存避免内存泄漏导致浏览器变慢或崩溃。6. 扩展思路与应用场景探讨掌握了基础的自动化操作后这个框架的潜力远不止于批量发送提示词。我们可以将其视为一个浏览器端的ChatGPT机器人驱动引擎在此基础上构建更复杂的应用。场景一自动化内容审核与标注假设你有一个用户生成内容的数据库需要判断每条内容是否包含违规信息。你可以编写脚本将每条内容作为提示词例如“请判断以下内容是否包含暴力或仇恨言论[用户内容]只回答‘是’或‘否’。”驱动ChatGPT Web端进行判断并将结果收集回来。利用无头浏览器集群可以并行处理大量任务。场景二交互式工作流自动化某些任务需要多轮交互。例如自动化生成一份周报第一轮提示“请根据我以下的工作列表生成一份周报的草稿。” 发送工作列表。解析ChatGPT的回复。第二轮提示“将草稿中的‘完成’一词全部替换为‘已顺利交付’。”第三轮提示“将最终版用Markdown格式输出并加上标题。” 通过编排多个send_prompt_and_get_response调用并解析中间输出可以实现复杂的、依赖上下文的自动化流程。场景三UI/回归测试对于基于ChatGPT API或类似模型开发的应用其前端需要与模型交互。你可以使用Selenium自动化脚本作为端到端测试的一部分模拟用户在前端输入、检查AI回复的UI展示是否正确、功能如重新生成、复制代码按钮是否正常。这比单纯的API测试更能发现集成层面的问题。场景四数据爬取与知识库构建虽然需要严格遵守robots.txt和服务条款但在允许的范围内你可以设计一系列提示词引导ChatGPT以特定格式如JSON、表格输出信息然后自动化抓取这些结构化的数据用于构建特定领域的知识库或训练集。关键在于提示词工程和输出后处理。要实现这些高级场景就需要对基础框架进行增强例如任务队列与调度引入Celery或RQ管理异步任务。结果解析器针对不同的任务类型编写专门的函数来从ChatGPT的回复中提取结构化信息如正则匹配、解析JSON。状态机引擎对于多轮对话工作流可以设计一个状态机来管理对话状态和流程跳转。监控与告警集成日志系统如structlog和监控如Prometheus指标对脚本成功率、响应时间、异常类型进行监控。最后我必须强调合规与伦理。使用自动化工具与ChatGPT交互必须严格遵守OpenAI的使用条款。避免进行任何形式的滥用、骚扰、试图绕过安全限制或产生大量垃圾请求的行为。将自动化用于学习、研究、效率提升和合法的测试目的才是这个项目正确的打开方式。工具本身无好坏全在于使用它的人。