测试大语言模型在嵌入式设备部署的可能性-ollama本地部署测试

前言

当今各种大语言模型百花齐放，为了方便使用者更加自由的使用大模型，将大模型变成如同棒球棍一样每个人都能用，并且顺手方便的工具，本地私有化具有重要意义。

本次测试使用ollama完成模型下载，过程简单快捷。
1、进入ollama：https://ollama.com/下载对应系统的ollama
2、windows中使用cmd或powershell执行ollama server进入ollama命令行
3、ollama run llm-model即可检测是否下载模型，并运行模型

本次测试的大语言模型大小均在1GB左右，具体如下图所示：

以上使用的模型最大的是llama3.2:1b，大小达到了1.3GB
在ollam项目的github:https://github.com/ollama/ollama页面可以看到提示：

因此，考虑到边缘嵌入式设备的内存大小，并且如果需要大语言模型能够在嵌入式设备中运行，那么必须要要留足空间给大语言模型。此外，还要留出一部分空间给比如数据库、UI等各种资源的。
如果大语言模型占用了1GB，个人认为嵌入式设备的RAM大小至少要3GB可能才不会影响其他进程的运行。

测试过程

测试问题

从解释性编程语言编程、日常问题和长句问题，三个方向出问题测试：

1. 使用python编写一个贪吃蛇游戏
2. 天空为什么是蓝色的？
3. 当今时代，大语言模型大行其道，大量的文员类工作可能很快被大语言模型替代，如果因此被辞退应该何去何从？

测试效果

qwen2.5:1.5b

问题1

问题2

问题3

---

qwen2.5-coder:0.5b

问题1

问题2

问题3

---

qwen2.5:0.5b

问题1

问题2

问题3

---

llama3.2:1b

问题1

测试过程中出现过中文全部乱码的问题。

问题2

问题3

---

deepseek-r1:1.5b

问题1

编写代码大概率（3次测试出现2次）出现编写代码循环重复和无法停止的问题。

问题2

问题3

---

结论

从反应速度（完成问题回答）、回答问题准确性（语言一致性，但不包括回答正确性），两方面进行比较，分别分为低中高三个档次。

模型	模型大小	反应速度	准确性
qwen2.5:1.5b	986 MB	中	高
qwen2.5-coder:0.5b	531 MB	高	中
qwen2.5:0.5b	397 MB	高	中
llama3.2:1b	1.3 GB	中	低
deepseek-r1:1.5b	1.1 GB	低	中

总体来说qwen2.5:1.5b在边缘嵌入式设备部署最具有综合竞争力。同时，qwen2.5:0.5b在除了代码编程当中比较不足，但qwen2.5-coder:0.5b又专门提供了这方面的能力，两者的总大小小于qwen2.5:1.5b。
可以考虑使用一个折中的方法，主模型使用qwen2.5:0.5b用户回答问题，在回答问题前先问是否是需要编程，或使用正则表达式判断问题当中是否有python,cpp,c++,c语言,java等字段。如果需要编程则转到作为子模型的qwen2.5-coder:0.5b回答问题。