基于Python与LLM API构建轻量级命令行问答工具

1. 项目概述一个轻量级命令行问答工具最近在折腾一些自动化脚本经常需要在终端里快速查询一些信息比如某个命令的用法、一个概念的简单解释或者把一段代码从Python翻译成Go。每次都打开浏览器、切换标签页、输入关键词这个过程虽然不复杂但打断工作流的感觉很烦。于是我就想能不能在终端里直接完成这些简单的问答这就是pengfeng/ask.py这个项目诞生的初衷。ask.py本质上是一个用 Python 编写的命令行工具它的核心功能是让你在终端里通过一行命令直接向一个大型语言模型提问并获取答案。它不是一个复杂的聊天机器人而是一个聚焦于“快速获取信息”的利器。想象一下你正在写一个 Bash 脚本突然忘了awk某个字段分隔符的写法直接在终端输入ask “awk 如何按逗号分割字段并打印第二列”一两秒后清晰准确的示例代码和解释就出来了这效率提升是实实在在的。这个工具非常适合开发者、运维工程师、数据分析师或者任何需要频繁在命令行环境下工作的人。它不要求你有多深的 AI 知识只需要会基本的命令行操作和 Python 环境就能立刻上手。接下来我会详细拆解这个项目的设计思路、实现细节、如何配置使用以及我在开发和使用过程中踩过的坑和总结的经验。2. 核心设计思路与架构选型2.1 为什么选择命令行工具CLI形式首先得明确需求场景。我们的核心诉求是“快”和“不打断上下文”。快意味着启动速度要快交互延迟要低。一个独立的 GUI 应用启动再快也比不上在已经打开的终端里直接敲命令。不打断上下文开发者或运维人员的工作流往往深度绑定在终端里。SSH 连接到服务器、在vim里编辑代码、用tmux管理多个会话……在这些场景下手离开键盘去操作鼠标是一种巨大的心智负担和效率损失。CLI 工具可以无缝嵌入这个工作流。因此CLI 形式是满足“终端内快速问答”这一核心需求的最自然选择。它通过标准输入stdin和标准输出stdout与用户交互可以轻松地通过管道|与其他命令组合例如cat error.log | ask “请帮我分析这段日志的错误原因”这种灵活性是 GUI 难以比拟的。2.2 技术栈选型Python Requests 模型 API确定了形式接下来是技术实现。选择 Python 作为开发语言几乎是必然的生态丰富处理 HTTP 请求有requests解析命令行参数有argparse或更强大的click/typer管理配置有configparser或toml/yaml库这些都有成熟、稳定的库。开发效率高Python 语法简洁能快速实现原型并迭代。跨平台主流的操作系统Linux, macOS, Windows都能很好地运行 Python 脚本。核心交互对象是大型语言模型的 API。这里有几个关键考量模型选择初期可以选择一个稳定、通用的模型例如 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列或国内一些提供 API 的服务。ask.py需要设计成可配置的以便用户灵活切换后端。API 调用使用requests库发送 HTTP POST 请求到模型提供商的服务端点。请求体需要按照提供商的文档规范构造通常包含model,messages(角色和内容),temperature(创造性),max_tokens(最大生成长度) 等参数。异步考虑对于简单的问答同步请求足够。但如果未来想支持流式输出像 ChatGPT 那样一个字一个字显示或者同时处理多个问答就需要引入asyncio和aiohttp。在ask.py的初期版本我们可以从同步开始保持简单。2.3 配置与安全如何管理 API Key这是所有调用第三方 API 的工具必须严肃对待的问题。不能把 API Key 硬编码在脚本里更不能上传到公开的代码仓库。常见的解决方案有环境变量最通用和推荐的方式。例如设置OPENAI_API_KEYsk-xxx。工具运行时从os.environ中读取。这便于在不同环境开发、生产和不同项目间隔离配置。配置文件在用户的家目录~/.askrc或~/.config/ask/config.toml下创建一个配置文件。文件格式可以是 JSON, YAML, TOML 或 INI。这种方式可以存储更多配置项如默认模型、温度、代理设置等。命令行参数允许通过--api-key直接传入但通常不推荐因为命令历史可能会记录密钥不安全。ask.py的配置策略应采用优先级合并的方式命令行参数 环境变量 配置文件 默认值。例如用户可以在配置文件中设置默认模型为gpt-3.5-turbo但本次想用gpt-4就可以通过ask --model gpt-4 “...”临时覆盖。API Key 则优先从环境变量读取如果没有再提示用户去配置文件中设置或直接输入。3. 核心功能实现与代码拆解3.1 命令行参数解析一个友好的 CLI 工具必须有清晰的参数说明。Python 标准库的argparse足够完成这个任务。我们需要定义以下参数question(位置参数)用户要问的问题是必须提供的。--model/-m指定使用的模型。--temperature/-t控制回答的随机性0.0 到 1.0。--max-tokens限制回答的最大长度。--config指定自定义配置文件路径。--version显示版本信息。--help显示帮助信息。# 示例代码结构 import argparse def create_parser(): parser argparse.ArgumentParser( descriptionAsk questions to an LLM from the command line., epilogExample: ask “如何用Python递归列出目录下所有文件” ) parser.add_argument( question, nargs, # 支持问题中包含空格 helpThe question you want to ask. ) parser.add_argument( --model, -m, defaultgpt-3.5-turbo, helpThe model to use (e.g., gpt-3.5-turbo, gpt-4). ) parser.add_argument( --temperature, -t, typefloat, default0.7, helpControls randomness (0.0 to 1.0). Lower is more deterministic. ) # ... 其他参数 return parser3.2 配置管理模块这是工具稳定性的基石。我们需要一个Config类来统一管理所有设置。import os import json from pathlib import Path class Config: def __init__(self, config_pathNone): self.config_path config_path or self._get_default_config_path() self.settings self._load_config() def _get_default_config_path(self): # 优先查找 ~/.askrc 然后是 ~/.config/ask/config.json home Path.home() paths [ home / .askrc, home / .config / ask / config.json, ] for p in paths: if p.exists(): return p # 如果都不存在返回一个默认的路径用于创建 return paths[1] # 通常选择 ~/.config/ask/config.json def _load_config(self): default_config { api_key: , default_model: gpt-3.5-turbo, default_temperature: 0.7, api_base_url: https://api.openai.com/v1, # 示例 timeout: 30, } if not self.config_path.exists(): return default_config try: with open(self.config_path, r, encodingutf-8) as f: user_config json.load(f) # 用用户配置覆盖默认配置 default_config.update(user_config) return default_config except (json.JSONDecodeError, IOError) as e: print(f警告读取配置文件失败 ({e})使用默认配置。) return default_config def get(self, key, defaultNone): return self.settings.get(key, default) # 还可以添加保存配置的方法用于初始化设置实操心得配置文件格式的选择JSON 很通用但写注释不方便。TOML 可读性更好支持注释近年来在配置文件中很流行。YAML 功能强大但依赖缩进容易出错。对于ask.py这类个人工具TOML 是个不错的选择。你需要根据选择的格式使用对应的解析库如tomllib/tomli。3.3 核心问答引擎这是与 LLM API 交互的核心。我们需要一个函数接收问题字符串和配置参数构造请求处理响应和错误。import requests import sys class AskEngine: def __init__(self, config): self.config config self.api_key self._resolve_api_key() self.api_base config.get(api_base_url) self.timeout config.get(timeout, 30) def _resolve_api_key(self): # 优先级环境变量 配置文件 key_from_env os.environ.get(ASK_API_KEY) or os.environ.get(OPENAI_API_KEY) if key_from_env: return key_from_env key_from_config self.config.get(api_key) if not key_from_config: raise ValueError( API Key 未设置。请通过环境变量 ASK_API_KEY 设置 或编辑配置文件 ~/.config/ask/config.json ) return key_from_config def ask(self, question, modelNone, temperatureNone, max_tokensNone): 发送问题并返回答案 model model or self.config.get(default_model) temperature temperature or self.config.get(default_temperature) headers { Authorization: fBearer {self.api_key}, Content-Type: application/json, } payload { model: model, messages: [ {role: user, content: question} ], temperature: temperature, } if max_tokens: payload[max_tokens] max_tokens try: # 注意不同API的端点可能不同这里是OpenAI格式示例 response requests.post( f{self.api_base}/chat/completions, headersheaders, jsonpayload, timeoutself.timeout ) response.raise_for_status() # 如果状态码不是200抛出HTTPError result response.json() answer result[choices][0][message][content].strip() return answer except requests.exceptions.ConnectionError: return 错误无法连接到API服务请检查网络。 except requests.exceptions.Timeout: return f错误请求超时{self.timeout}秒。 except requests.exceptions.HTTPError as e: if response.status_code 401: return 错误API Key 无效或过期。 elif response.status_code 429: return 错误请求速率超限请稍后再试。 else: return fHTTP错误 ({response.status_code}): {response.text} except KeyError: return 错误解析API响应失败响应格式可能已更改。注意事项错误处理是重中之重网络请求有无数种失败的可能断网、超时、API 服务宕机、密钥失效、额度不足、响应格式变化等等。必须用try...except包裹并对常见错误如 401、429给出用户能看懂的友好提示而不是一堆 Python 异常栈信息。这直接决定了工具的健壮性和用户体验。3.4 主程序入口与流程串联最后我们把所有模块组装起来。# ask.py 主文件 def main(): parser create_parser() args parser.parse_args() # 将位置参数列表合并成一个字符串问题 question .join(args.question) # 加载配置 config Config() # 命令行参数优先级最高覆盖配置 model args.model or config.get(default_model) temperature args.temperature or config.get(default_temperature) # 初始化引擎并提问 engine AskEngine(config) answer engine.ask(question, modelmodel, temperaturetemperature, max_tokensargs.max_tokens) # 输出答案 print(f\n{answer}\n) if __name__ __main__: main()4. 高级功能与体验优化一个基础可用的ask.py已经完成了。但要让它变得“好用”还需要一些优化。4.1 支持上下文多轮对话基础的问答是单轮的。但很多时候我们需要基于上一个回答继续追问。这就需要工具能记住一点“历史”。实现思路在AskEngine中维护一个conversation_history列表每次提问不仅发送当前问题还发送之前几轮的roleuser/assistant和content。需要一个新的命令行参数比如--conversation-id或--session来标识不同的对话线程。或者更简单在单次运行中通过交互模式来维持上下文。一个简单的交互模式实现当用户不提供问题参数时工具进入一个while循环持续接收用户输入并将历史记录附加到每次的请求中直到用户输入exit或quit。def interactive_mode(engine, initial_history[]): print(进入交互模式。输入 ‘exit’ 或 ‘quit’ 退出。) history initial_history.copy() while True: try: user_input input(\nYou: ).strip() except (EOFError, KeyboardInterrupt): # 处理 CtrlD, CtrlC print(\n再见) break if user_input.lower() in (exit, quit): break if not user_input: continue history.append({role: user, content: user_input}) answer engine._ask_with_history(history) # 需要一个新方法 print(f\nAssistant: {answer}) history.append({role: assistant, content: answer})注意事项上下文长度与成本模型 API 通常有上下文长度限制如 4096、8192、128K tokens。历史记录越长消耗的 tokens 越多费用也越高且响应可能变慢。需要设计一个机制当历史记录超过一定长度时丢弃最早的一些对话轮次或者进行智能摘要。这是一个高级特性初期可以只保留最近 5-10 轮对话。4.2 流式输出默认情况下我们等 API 返回完整答案后才一次性打印。这对于长回答用户需要等待较长时间体验不佳。流式输出可以像打字机一样实时显示生成的文字。实现思路在调用 API 时设置参数streamTrue。API 会返回一个事件流Server-Sent Events我们需要逐块读取。解析每个数据块提取出新增的文本片段并立即打印到标准输出同时不换行使用print(fragment, end, flushTrue)。这需要修改AskEngine.ask方法或者新增一个ask_stream方法。处理流响应比处理普通响应要复杂一些需要正确处理中间的数据格式。def ask_stream(self, question, ...): payload[stream] True response requests.post(..., jsonpayload, streamTrue) for line in response.iter_lines(): if line: decoded_line line.decode(utf-8) if decoded_line.startswith(data: ): data decoded_line[6:] # 去掉 data: 前缀 if data [DONE]: break try: chunk json.loads(data) delta chunk[choices][0][delta] if content in delta: print(delta[content], end, flushTrue) except json.JSONDecodeError: continue print() # 最后换行4.3 代码高亮与格式化输出如果答案中包含代码块纯文本输出可读性差。我们可以集成一个像Pygments这样的语法高亮库或者至少用 Markdown 的代码块格式包裹起来。更简单的方案是检测到答案中包含 language ... 这样的模式时在打印时做一些简单的格式化比如在代码块前后加一行等号分隔。import re def pretty_print_answer(answer): # 简单的代码块检测与格式化 code_block_pattern r(\w)?\n(.*?) def replace_code_block(match): lang match.group(1) or code match.group(2) # 这里可以调用 pygments 进行高亮此处仅做简单包装 return f\n{*60}\n代码 ({lang}):\n{code}\n{*60}\n formatted_answer re.sub(code_block_pattern, replace_code_block, answer, flagsre.DOTALL) print(formatted_answer)5. 打包、分发与安装优化要让别人也能方便地使用你的工具你需要把它打包并分发。5.1 使用setuptools打包创建一个标准的 Python 项目结构并编写setup.py或setup.cfg/pyproject.toml。# setup.py 示例 from setuptools import setup, find_packages setup( nameask-cli-tool, version0.1.0, authorYour Name, descriptionA command-line QA tool powered by LLMs., long_descriptionopen(README.md).read(), long_description_content_typetext/markdown, packagesfind_packages(), install_requires[ requests2.28.0, # tomli2.0.0, # 如果使用TOML ], entry_points{ console_scripts: [ askask.cli:main, # 关键这将创建全局命令 ask ], }, classifiers[ Programming Language :: Python :: 3, License :: OSI Approved :: MIT License, Operating System :: OS Independent, ], python_requires3.7, )关键点entry_points通过console_scripts声明在用户使用pip install .安装你的包后会自动在系统的可执行路径下创建一个名为ask的脚本它直接调用你指定的函数这里是ask.cli:main。这是将 Python 脚本变成全局 CLI 命令的标准方式。5.2 编写完善的文档一个README.md文件是必不可少的它应该包含简介工具是做什么的。特性列表。安装指南pip install或者从源码安装。快速开始如何设置 API Key运行第一个命令。详细配置说明环境变量、配置文件各字段的含义。使用示例展示各种参数用法的例子。常见问题FAQ。贡献指南。5.3 发布到 PyPI这样用户就可以直接通过pip install ask-cli-tool来安装了。注册 PyPI 账号。构建分发包python -m build上传python -m twine upload dist/*6. 实际使用场景与避坑指南6.1 经典使用场景示例快速查询命令用法$ ask “tar 命令如何解压一个 .gz 文件到指定目录”解释错误信息$ python my_script.py 21 | ask “请解释这个Python错误并给出修复建议”这里21将标准错误重定向到标准输出一起传给ask代码片段翻译/转换$ ask “将以下Python函数转换为JavaScriptdef greet(name): return fHello, {name}!”学习概念$ ask “用简单的比喻解释什么是DNS递归查询”头脑风暴/起名$ ask “为我的一个开源项目它是一个轻量级任务队列起5个有科技感的名字”6.2 常见问题与排查问题1安装后ask命令找不到。原因通常是因为 Python 的ScriptsWindows或binUnix目录不在系统的PATH环境变量中或者虚拟环境未激活。解决全局安装使用pip install --user ask-cli-tool安装到用户目录通常会自动添加到 PATH。检查 PATH在终端输入echo $PATHUnix或echo %PATH%Windows查看安装目录是否在其中。如果没有需要手动添加。虚拟环境确保在安装和使用的终端会话中是同一个激活的虚拟环境。问题2总是提示 “API Key 无效” 或 “未设置”。原因配置未正确加载。排查步骤echo $ASK_API_KEY或echo $OPENAI_API_KEY检查环境变量是否设置且正确。检查配置文件~/.config/ask/config.json是否存在格式是否正确特别是 JSON 的引号和逗号。运行ask --help查看是否有--api-key参数可以临时指定。在代码中临时添加print(self.api_key)来调试确认最终读取到的密钥是什么调试后务必删除。问题3请求超时或网络错误。原因网络连接问题或 API 服务不稳定。解决检查网络连通性ping api.openai.com或你的 API 地址。如果使用了网络代理需要在代码中配置requests的proxies参数或者通过环境变量HTTP_PROXY/HTTPS_PROXY设置。在Config中增加timeout配置项并适当调大超时时间。考虑增加重试逻辑使用tenacity库或简单的for循环加try...except。问题4回答不准确或胡言乱语。原因模型本身的问题或参数设置不当。调整降低--temperature值如设为 0.2让回答更确定、更保守。尝试更换模型例如从gpt-3.5-turbo切换到gpt-4如果可用且预算允许。在问题中提供更明确的上下文和约束。例如指定“请用 Bash 命令回答”或“列出三个最常用的方法”。6.3 安全与成本控制建议密钥安全永远不要将包含真实 API Key 的代码或配置文件提交到公开的 Git 仓库。使用.gitignore忽略本地配置文件。在README中提供配置模板如config.example.json。用量监控大多数 API 提供商都有用量仪表板。定期查看了解自己的消耗情况避免意外超额。可以在工具中简单实现一个本地日志功能记录每次请求的时间、模型和 token 用量如果 API 返回的话。设置预算警报在 API 提供商的控制台设置每月预算和用量警报。对于长文本如果问题或上下文非常长注意 token 消耗会剧增。可以考虑在本地先对长文本进行摘要再将摘要发送给 API。开发pengfeng/ask.py这样的工具最大的乐趣在于它完美地解决了一个具体的、高频的痛点。从构思、编码、调试到优化体验整个过程就像在打磨一件趁手的兵器。它可能只有几百行代码但带来的效率提升是每天都能感受到的。最关键的是通过这个项目你不仅得到了一个工具还深入实践了 CLI 开发、API 集成、配置管理、错误处理和打包分发等一系列实用技能。