Stable-Diffusion-V1-5 效率工具集：Ollama本地LLM辅助提示词生成

Stable-Diffusion-V1-5 效率工具集Ollama本地LLM辅助提示词生成你是不是也遇到过这种情况脑子里有个绝妙的画面但打开Stable Diffusion面对那个空白的提示词输入框却不知道从何写起。要么写得太简单生成的东西和想象中差得远要么想写得详细点又觉得词穷翻来覆去就是那几个形容词。我以前也这样直到我开始用本地的大语言模型来帮忙。今天要聊的就是怎么把Ollama这个轻量好用的工具和你的Stable Diffusion V1.5组合起来打造一个属于你自己的“创意加速器”。你不用再为写提示词发愁只需要告诉它一个简单的想法它就能帮你扩展成一段详细、风格化、SD能听懂的“绘画指令”。整个过程都在你自己的电脑上完成数据不出门想法更自由。接下来我就带你一步步搭建这个工作流让你体验一下“动动嘴皮子”就能出好图的快乐。1. 为什么需要本地LLM来辅助生成提示词用Stable Diffusion画画提示词就是你和AI画家沟通的语言。语言越精准、越丰富画出来的东西就越接近你心中的样子。但问题在于我们大多数人并不是专业的“AI语术师”。你可能只想到“一个女孩在森林里”但SD需要的是“一个有着银色长发、穿着精灵服饰的少女站在清晨弥漫着薄雾的魔法森林中阳光透过树叶形成丁达尔效应奇幻风格细节丰富8K画质”。自己凭空构思出后面这一长串不仅费时还很考验词汇量和对SD模型的理解。这时候大语言模型LLM的优势就体现出来了。它读过海量的文本擅长理解和扩展描述。你可以告诉它核心概念它能帮你补充环境、光影、风格、构图、画质等细节。而选择在本地用Ollama运行Llama这类模型最大的好处就是快、私密、且可控。快省去了调用云端API的网络延迟响应几乎是实时的。私密你的所有创意构思、生成的提示词都只在你的电脑里流转不用担心隐私泄露。可控你可以根据自己的喜好微调LLM的“性格”。比如你可以让它更偏向于生成电影感强的提示词或者更擅长描述二次元风格。简单说这个组合就是把“构思创意”和“翻译成SD语言”这两件最耗神的事交给更擅长它们的AI伙伴而你只需要专注于提出那个最初始、最核心的灵感火花。2. 准备工作搭建你的本地AI小助手在开始让它们俩合作之前我们需要先把两位“主角”请到你的电脑上安顿好。别担心过程都很简单。2.1 第一步安装Ollama并拉取模型Ollama是目前在个人电脑上运行大语言模型最简单的方式之一。它帮你处理了所有复杂的依赖和配置。下载安装访问Ollama官网根据你的操作系统Windows, macOS, Linux下载对应的安装包像安装普通软件一样完成安装。拉取模型安装完成后打开你的终端命令提示符、PowerShell或Terminal。我们将用一个在性能和资源占用上平衡得很好的模型比如llama3.1:8b8B参数版本。在终端里输入以下命令ollama pull llama3.1:8b这个命令会从Ollama的模型库中下载Llama 3.1 8B模型。下载时间取决于你的网速模型大小约4.7GB。如果你的电脑内存更大比如32GB以上也可以尝试llama3.1:70b以获得更强的能力。测试运行下载完成后输入以下命令和你的新助手打个招呼ollama run llama3.1:8b进入交互界面后你可以问它“你好”看到它的回复就说明模型已经准备就绪了。按CtrlD可以退出交互模式。2.2 第二步确保Stable Diffusion WebUI就绪这里假设你已经安装好了基于Stable Diffusion V1.5的WebUI比如Automatic1111或SD.Next。确保它能正常启动并且你能通过浏览器访问它的界面。我们的目标是让Ollama中的LLM生成的提示词能方便地填入WebUI的提示词框里。所以你需要知道你的WebUI在本地网络的访问地址通常是http://127.0.0.1:7860。3. 核心工作流从想法到成图的自动化桥梁两位主角都已就位现在我们来设计它们如何配合。核心思路是用一个Python脚本作为“调度员”。这个脚本负责三件事1. 接收你的简单想法2. 交给本地LLM加工成详细提示词3. 将提示词发送给SD WebUI并触发生图。下面是一个最直接、也最容易理解的工作流示例。我们将创建一个Python脚本它使用Ollama的API来与LLM对话并使用requests库来调用SD WebUI的API。3.1 编写你的“创意调度员”脚本首先确保安装了必要的Python库pip install requests然后创建一个新的Python文件比如叫sd_prompt_helper.py将下面的代码复制进去。代码里有详细的注释告诉你每一部分在做什么。import requests import json import time class StableDiffusionPromptGenerator: def __init__(self, ollama_urlhttp://localhost:11434, sd_urlhttp://127.0.0.1:7860): 初始化设置Ollama和Stable Diffusion WebUI的地址。 默认情况下Ollama运行在11434端口SD WebUI运行在7860端口。 self.ollama_url ollama_url self.sd_url sd_url def generate_prompt_with_llm(self, simple_idea, style_guidancephotorealistic, highly detailed, 8k): 使用Ollama的LLM来扩展提示词。 :param simple_idea: 你的简单想法例如“a cat sitting on a bookshelf” :param style_guidance: 你对画面风格的引导例如“cinematic lighting, fantasy art” :return: 由LLM生成的详细提示词 # 构建一个给LLM的“系统指令”告诉它应该扮演什么角色如何生成提示词。 # 这个指令prompt是效果好坏的关键你可以根据自己的需求修改它。 system_prompt f你是一个专业的AI绘画提示词工程师。你的任务是将用户简短的想法扩展成适合Stable Diffusion模型的、详细且高质量的英文提示词。 生成的提示词应包含主体描述、环境背景、光影效果、艺术风格、构图视角、画质细节等。 请直接输出最终的提示词不要添加任何解释或前缀。 默认艺术风格参考{style_guidance}。 # 组合成完整的对话消息 messages [ {role: system, content: system_prompt}, {role: user, content: simple_idea} ] # 准备请求数据调用Ollama的聊天API payload { model: llama3.1:8b, # 确保这里是你拉取的模型名称 messages: messages, stream: False # 我们一次性获取完整回复 } try: response requests.post(f{self.ollama_url}/api/chat, jsonpayload) response.raise_for_status() # 检查请求是否成功 result response.json() detailed_prompt result[message][content].strip() print(f[LLM生成的提示词]: {detailed_prompt}) return detailed_prompt except requests.exceptions.RequestException as e: print(f调用Ollama API时出错: {e}) return None def generate_image_with_sd(self, prompt, negative_prompt, steps20, cfg_scale7): 将生成的提示词发送给Stable Diffusion WebUI来生成图片。 :param prompt: 正面提示词 :param negative_prompt: 负面提示词告诉SD不要什么 :param steps: 采样步数 :param cfg_scale: 提示词相关性 # 准备SD WebUI的API请求数据 payload { prompt: prompt, negative_prompt: negative_prompt, steps: steps, cfg_scale: cfg_scale, width: 512, height: 512, restore_faces: False, tiling: False, # 可以添加更多参数如sampler_name, seed等 } try: # 调用SD WebUI的txt2img API response requests.post(f{self.sd_url}/sdapi/v1/txt2img, jsonpayload) response.raise_for_status() r response.json() # 保存生成的图片 for i, img_data in enumerate(r[images]): import base64 from io import BytesIO from PIL import Image image Image.open(BytesIO(base64.b64decode(img_data.split(,, 1)[0]))) timestamp int(time.time()) filename foutput_{timestamp}_{i}.png image.save(filename) print(f[图片已保存]: {filename}) return filename except requests.exceptions.RequestException as e: print(f调用Stable Diffusion API时出错: {e}) return None # 使用示例 if __name__ __main__: # 1. 创建生成器实例 generator StableDiffusionPromptGenerator() # 2. 输入你的简单想法 my_idea a steampunk robot drinking tea my_style steampunk style, intricate gears and brass details, cozy atmosphere, cinematic # 3. 让LLM生成详细提示词 print(f[你的想法]: {my_idea}) detailed_prompt generator.generate_prompt_with_llm(my_idea, my_style) if detailed_prompt: # 4. 用生成的提示词去画图 generator.generate_image_with_sd( promptdetailed_prompt, negative_promptblurry, ugly, deformed, disfigured, # 可以设置一些通用的负面词 steps25 )3.2 运行并看看效果在运行脚本前请确保Ollama服务正在运行通常安装后会自动在后台运行。Stable Diffusion WebUI已经启动并且开启了API选项通常默认是开启的。然后在终端里进入你的脚本所在目录运行python sd_prompt_helper.py你会看到终端里先打印出LLM生成的详细提示词然后脚本会调用SD WebUI生成图片并保存到当前文件夹下。以“一个喝茶的蒸汽朋克机器人”为例LLM可能会生成类似这样的提示词“A detailed steampunk robot with a brass body and visible intricate clockwork gears, sitting at a small wooden table, holding a delicate porcelain teacup with its metallic fingers. The scene is set in a cozy, cluttered inventors workshop filled with blueprints and tools. Warm, soft light streams through a dusty window, creating a cinematic atmosphere. Steampunk style, hyper-detailed, 8k resolution.”这比你最初那句“a steampunk robot drinking tea”要丰富和可执行得多。SD拿到这样的提示词生成画面的细节和氛围感会显著提升。4. 进阶技巧让你的工作流更顺手基础的管道打通后你可以根据自己的习惯把这个流程打磨得更高效、更个性化。4.1 优化给LLM的“指令”脚本中的system_prompt是灵魂。你可以不断调整它让LLM输出更符合你需求的提示词。比如指定艺术家风格在指令中加入“in the style of Greg Rutkowski and Artgerm”。控制输出格式要求它“将提示词分为‘主题’、‘环境’、‘风格’三部分输出”。强调负面词让它“同时生成3个相关的负面提示词”。多尝试几次找到最能让你满意的指令模板。4.2 集成到WebUI中可选如果你觉得每次运行脚本还是有点麻烦可以尝试更深入的集成。一些SD WebUI支持自定义脚本Script。你可以将上面的Python逻辑改写成一个WebUI的扩展脚本这样就能在WebUI的界面里直接有一个输入框输入简单描述一点按钮就能自动填充生成好的详细提示词甚至直接开始生图。这需要一些额外的WebUI扩展开发知识但用起来会无缝衔接。4.3 建立你的提示词库每次LLM生成的不错的提示词都可以保存下来。你可以按主题、风格分类建立一个自己的小型提示词库。下次遇到类似需求时可以直接从库里找灵感或者让LLM基于类似的优质提示词进行改编效率更高。5. 实际应用与效果体验我用自己的电脑配备RTX 4070显卡和32GB内存测试了这个工作流。运行llama3.1:8b模型生成提示词几乎感觉不到延迟从输入简单想法到拿到扩展后的提示词通常在2-5秒内。随后SD V1.5生图的时间就是常规速度了。最大的体验提升在于创意发散阶段。当你没有灵感时可以尝试输入一些非常抽象或跳跃的关键词比如“寂静与喧嚣的碰撞”看看LLM会如何解读并转化为视觉元素。它给出的结果往往能带来意想不到的灵感火花。当然它也不是万能的。LLM生成的提示词有时会过于冗长或包含一些矛盾的元素需要你人为地进行筛选和精简。它更像一个不知疲倦的“创意副驾驶”负责提供大量选项和细节而最终的“方向盘”和“决策权”依然在你手上。6. 总结把Ollama上的本地大语言模型和Stable Diffusion V1.5组合起来相当于为你配备了一个24小时在线的提示词创意顾问。它解决了从模糊灵感到具体执行指令之间的鸿沟让你能更专注于构思画面的核心创意而不是纠结于描述词的选择。这个方法尤其适合那些想要提高出图效率、探索更多风格可能性同时又注重隐私和离线工作的创作者。搭建过程并不复杂带来的效率提升却是实实在在的。你不妨今天就花上半小时按照上面的步骤试试看。当看到第一个由你的简单想法经过本地AI助手的“翻译”最终变成一张细节丰富的图片时那种感觉就像突然掌握了一门与机器沟通的新语言。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。