AgentAi视频模型开发对接部署使用

一、整体方案设计思路要制作一个基于ComfyUI Dify Python Web LangChain的视频生成网站并部署到服务器核心逻辑是LangChain处理用户文本输入进行意图解析、文案生成、关键词提取如视频主题/风格/时长Dify封装LangChain的能力提供可视化的prompt管理、对话流程编排简化业务逻辑开发ComfyUI作为视频生成的核心引擎可对接AI绘画、视频剪辑、文生视频模型通过API调用执行视频生成工作流Python Web搭建后端服务如FastAPI承接前端请求串联Dify、LangChain、ComfyUI同时处理文件存储、任务队列前端简单的网页界面供用户输入需求、查看生成进度、下载视频服务器部署将各组件容器化Docker通过Docker Compose编排保证环境一致性。二、环境准备服务器端1. 基础依赖安装# 更新系统依赖sudoaptupdatesudoaptinstall-ydockerdocker-composepython3-pipgit# 启动Docker服务sudosystemctl startdockersudosystemctlenabledocker# 安装Python依赖pip3installfastapi uvicorn requests langchain dify-client python-multipart redis celery2. 组件部署前置准备ComfyUI提前部署并开启API服务默认端口8188配置好视频生成的工作流如文生图→图生视频、文本直接生视频Dify参考Dify官方部署文档用Docker Compose部署创建应用并配置LangChain的插件Redis用于任务队列Celery存储视频生成任务状态。三、核心代码实现1. 后端服务FastAPI串联所有组件fromfastapiimportFastAPI,UploadFile,File,BackgroundTasksfromfastapi.middleware.corsimportCORSMiddlewarefromdify_clientimportDifyClientfromlangchain.promptsimportPromptTemplatefromlangchain_openaiimportChatOpenAIimportrequestsimportjsonimportuuidimportos# 初始化FastAPIappFastAPI(title视频生成网站后端)# 跨域配置app.add_middleware(CORSMiddleware,allow_origins[*],# 生产环境替换为前端域名allow_credentialsTrue,allow_methods[*],allow_headers[*],)# 配置各组件地址和密钥COMFYUI_API_URLhttp://localhost:8188/prompt# ComfyUI API地址DIFY_API_KEYyour_dify_api_keyDIFY_API_URLhttp://localhost:8000/v1/completions# Dify API地址VIDEO_SAVE_DIR./generated_videosos.makedirs(VIDEO_SAVE_DIR,exist_okTrue)# 初始化Dify客户端dify_clientDifyClient(api_keyDIFY_API_KEY,base_urlDIFY_API_URL)# 1. LangChain Dify处理用户输入生成视频参数defgenerate_video_params(user_prompt:str)-dict: 通过Dify调用LangChain解析用户输入生成视频参数 :param user_prompt: 用户输入的视频需求如生成10秒的海边日落视频风格治愈 :return: 视频参数主题、风格、时长、分辨率等 # LangChain提示词模板prompt_templatePromptTemplate(input_variables[user_prompt],template解析用户需求生成视频生成所需的参数返回JSON格式 要求 1. 主题简洁描述视频内容 2. 风格如治愈、科技、卡通等 3. 时长单位秒整数 4. 分辨率如1080p、720p 用户需求{user_prompt} )# 调用Dify APIDify已集成LangChain和大模型responsedify_client.completions.create(modelgpt-3.5-turbo,# Dify中配置的模型promptprompt_template.format(user_promptuser_prompt),temperature0.7)# 解析返回的参数paramsjson.loads(response.choices[0].text.strip())returnparams# 2. 调用ComfyUI API生成视频defgenerate_video_with_comfyui(params:dict,task_id:str)-str: 调用ComfyUI API执行视频生成工作流 :param params: 视频参数 :param task_id: 任务ID用于命名视频文件 :return: 生成的视频文件路径 # ComfyUI工作流配置需提前在ComfyUI中保存工作流复制JSONcomfyui_workflow{prompt:{3:{inputs:{text:params[主题]}},# 文本输入节点5:{inputs:{style:params[风格]}},# 风格节点7:{inputs:{seconds:params[时长]}},# 时长节点9:{inputs:{resolution:params[分辨率]}},# 分辨率节点10:{inputs:{output_path:f{VIDEO_SAVE_DIR}/{task_id}.mp4}}# 输出路径节点},client_id:video_generator,extra:{save_images:True}}# 调用ComfyUI APIresponserequests.post(COMFYUI_API_URL,jsoncomfyui_workflow,headers{Content-Type:application/json})ifresponse.status_code200:returnf{VIDEO_SAVE_DIR}/{task_id}.mp4else:raiseException(fComfyUI调用失败{response.text})# 3. 前端接口提交视频生成请求app.post(/api/generate-video)asyncdefgenerate_video(user_prompt:str,background_tasks:BackgroundTasks): 接收用户视频生成请求异步执行生成任务 # 生成唯一任务IDtask_idstr(uuid.uuid4())try:# 步骤1生成视频参数paramsgenerate_video_params(user_prompt)# 步骤2异步调用ComfyUI生成视频避免前端等待background_tasks.add_task(generate_video_with_comfyui,params,task_id)return{code:200,msg:视频生成任务已提交,data:{task_id:task_id,params:params}}exceptExceptionase:return{code:500,msg:f任务提交失败{str(e)}}# 4. 前端接口查询任务状态/获取视频链接app.get(/api/task-status/{task_id})asyncdefget_task_status(task_id:str): 查询视频生成任务状态 video_pathf{VIDEO_SAVE_DIR}/{task_id}.mp4ifos.path.exists(video_path):return{code:200,status:completed,video_url:f/videos/{task_id}.mp4# 前端访问的视频URL}else:return{code:200,status:processing,msg:视频生成中...}# 5. 静态文件服务提供视频下载app.get(/videos/{filename})asyncdefserve_video(filename:str):fromfastapi.responsesimportFileResponsereturnFileResponse(f{VIDEO_SAVE_DIR}/{filename})# 启动服务if__name____main__:importuvicorn uvicorn.run(app,host0.0.0.0,port8080)2. 简单前端页面HTMLJS用户交互!DOCTYPEhtmlhtmllangzh-CNheadmetacharsetUTF-8titleAI视频生成网站/titlestylebody{max-width:800px;margin:0 auto;padding:20px;}#prompt-input{width:100%;height:100px;margin-bottom:10px;}#generate-btn{padding:10px 20px;background:#007bff;color:white;border:none;border-radius:4px;}#status{margin-top:20px;color:#666;}#video-container{margin-top:20px;display:none;}/style/headbodyh1AI视频生成工具/h1textareaidprompt-inputplaceholder请输入视频需求如生成10秒的海边日落视频风格治愈/textareabuttonidgenerate-btn生成视频/buttondividstatus/divdividvideo-containerh3生成的视频/h3videocontrolswidth100%/video/divscriptconstgenerateBtndocument.getElementById(generate-btn);conststatusDivdocument.getElementById(status);constvideoContainerdocument.getElementById(video-container);constvideoElementvideoContainer.querySelector(video);lettaskIdnull;// 提交生成请求generateBtn.addEventListener(click,async(){constpromptdocument.getElementById(prompt-input).value.trim();if(!prompt){alert(请输入视频需求);return;}statusDiv.textContent提交中...;try{constresponseawaitfetch(http://localhost:8080/api/generate-video,{method:POST,headers:{Content-Type:application/json},body:JSON.stringify({user_prompt:prompt})});constdataawaitresponse.json();if(data.code200){taskIddata.data.task_id;statusDiv.textContent视频生成中请等待...;// 轮询查询任务状态checkTaskStatus();}else{statusDiv.textContent失败${data.msg};}}catch(e){statusDiv.textContent请求失败${e.message};}});// 轮询查询任务状态asyncfunctioncheckTaskStatus(){if(!taskId)return;try{constresponseawaitfetch(http://localhost:8080/api/task-status/${taskId});constdataawaitresponse.json();if(data.statuscompleted){statusDiv.textContent视频生成完成;videoElement.srcdata.video_url;videoContainer.style.displayblock;}elseif(data.statusprocessing){statusDiv.textContent视频生成中进度未知ComfyUI可扩展进度接口...;setTimeout(checkTaskStatus,3000);// 每3秒查询一次}}catch(e){statusDiv.textContent查询失败${e.message};setTimeout(checkTaskStatus,3000);}}/script/body/html3. Docker Compose部署配置服务器端创建docker-compose.yml文件统一管理所有组件version:3services:# Redis任务队列/状态存储redis:image:redis:latestports:-6379:6379volumes:-redis_data:/datarestart:always# ComfyUI视频生成引擎comfyui:image:comfyui/comfyui:latest# 或自定义构建的镜像ports:-8188:8188volumes:-./comfyui:/app-./generated_videos:/app/outputenvironment:-PYTHONUNBUFFERED1restart:alwaysdeploy:resources:reservations:devices:-driver:nvidiacount:allcapabilities:[gpu]# 需服务器有NVIDIA显卡支持CUDA# DifyLLM流程编排dify:image:langgenius/dify-api:latestports:-8000:8000volumes:-./dify:/appenvironment:-DATABASE_URLsqlite:///./dify.db-REDIS_URLredis://redis:6379/0-OPENAI_API_KEYyour_openai_api_key# 若使用OpenAI模型depends_on:-redisrestart:always# Python Web后端FastAPIvideo-api:build:./# 假设Dockerfile和代码在同一目录ports:-8080:8080volumes:-./generated_videos:/app/generated_videosenvironment:-COMFYUI_API_URLhttp://comfyui:8188/prompt-DIFY_API_URLhttp://dify:8000/v1/completions-DIFY_API_KEYyour_dify_api_keydepends_on:-redis-comfyui-difyrestart:always# Nginx前端静态文件服务反向代理nginx:image:nginx:latestports:-80:80volumes:-./frontend:/usr/share/nginx/html# 前端HTML文件放此目录-./nginx.conf:/etc/nginx/conf.d/default.conf-./generated_videos:/usr/share/nginx/html/videosdepends_on:-video-apirestart:alwaysvolumes:redis_data:创建Dockerfile用于构建FastAPI后端镜像FROM python:3.10-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . CMD [python, main.py]创建requirements.txtfastapi0.104.1 uvicorn0.24.0 requests2.31.0 dify-client0.3.0 langchain0.1.0 langchain-openai0.1.0 python-multipart0.0.6 redis5.0.1 celery5.3.4创建nginx.confNginx反向代理配置server { listen 80; server_name localhost; # 前端静态文件 location / { root /usr/share/nginx/html; index index.html; try_files $uri $uri/ /index.html; } # 后端API反向代理 location /api { proxy_pass http://video-api:8080; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } # 视频文件访问 location /videos { alias /usr/share/nginx/html/videos; expires 7d; # 视频文件缓存7天 } }四、部署步骤服务器端目录结构准备/video-generator/ ├── frontend/ # 前端HTML文件 │ └── index.html ├── comfyui/ # ComfyUI挂载目录提前复制ComfyUI配置 ├── generated_videos/ # 视频存储目录 ├── main.py # FastAPI后端代码 ├── Dockerfile ├── requirements.txt ├── docker-compose.yml └── nginx.conf启动所有服务cd/video-generatordocker-composeup-d# 后台启动所有服务验证部署访问http://服务器IP可看到前端页面输入视频需求提交访问http://服务器IP:8188验证ComfyUI是否正常访问http://服务器IP:8000验证Dify是否正常查看日志docker-compose logs -f video-api排查后端错误。五、关键优化点任务队列若视频生成耗时久用Celery替代BackgroundTasks支持任务重试、进度追踪资源限制ComfyUI视频生成耗GPU/CPU在docker-compose中配置资源限制如mem_limit: 16g缓存与清理定期清理generated_videos目录的旧视频避免磁盘占满权限控制生产环境添加用户登录如FastAPI-Users限制视频生成次数进度反馈扩展ComfyUI的API返回视频生成进度如帧生成百分比前端实时展示。总结核心流程前端输入 → FastAPI后端 → DifyLangChain解析需求生成参数 → ComfyUI执行视频生成 → 前端查询进度/下载视频部署关键通过Docker Compose统一编排ComfyUI、Dify、FastAPI、Nginx保证环境一致性扩展方向添加任务队列、GPU优化、用户权限、视频预览、多模型支持如Stable Video Diffusion。