『NAS』老破小也能玩 AI？飞牛 NAS 部署 LocalAI

点赞 关注 收藏 学会了整理了一个 NAS 专属玩法专栏感兴趣的工友可以戳这里关注 《NAS邪修》LocalAI是一个开源的AI壳它能让你在自己的硬件上比如 NAS离线运行各种大模型LLM、生成图片或语音并提供与 OpenAI 兼容的 API 接口。在开始折腾前请确保你的 NAS 具备“留学上网”能力否则下载模型会让你怀疑人生。这次我用飞牛 NAS (fnOS)进行演示其他品牌 NAS如群晖、威联通逻辑通用。我用老爷机装了 fnOS想顺便测测这台老爷机能不能跑得动小模型。先开动。打开「文件管理」应用找到docker文件夹在里面创建一个localai文件夹然后在localai里再创建一个models文件夹之后下载的模型都是存放在这个位置的。打开「Docker」应用切换到Compose面板新增一个项目。项目名称localai路径选择刚刚在「文件管理」应用里创建的/docker/localai来源创建 docker-compose.yml输入以下代码services: localai: image: localai/localai:latest container_name: localai ports: - 3456:8080 # 3456 可自定义映射端口 volumes: - ./models:/models # 映射模型存放路径 restart: always等项目构建成功后在浏览器访问NAS_IP:3456就可以打开 LocalAI 了。第一次使用需要下载模型点击左侧菜单的“Install Models”然后搜索你想下载的模型我用千问举例。搜索 qwen然后选一个小尺寸的模型我选了9b参数量太大的模型我这台老爷机跑不动点击下载。在页面头部可以看到模型下载的进度。下载完模型后回到首页Home或者聊天页Chat就可以开始聊天了。我的老爷机跑9b模型每秒吐2.3token出来有点慢除了聊天之外LocalAI还支持文生图、文生视频、文本转语音等功能但都需要大模型支持。比如文生图我用 sd-1.5 这个老模型也能抽卡。回到/docker/localai/models目录可以看到我刚刚下载的 qwen 和 sd-1.5 这两个模型都在里面。以上就是本文的全部内容啦你有好玩的镜像推荐吗欢迎在评论区留言讨论想了解更多NAS玩法记得关注《NAS邪修》往期推荐『NAS』不止娱乐NAS也是生产力在绿联部署AI工作流工具-n8n『NAS』在绿联部署DeepSeek接入n8n工作流-ollama『NAS』绿联NAS AI Plugins每天白嫖美团 5500万 Token 大模型点赞 关注 收藏 学会了