本地运行AI大模型简单示例

一、引言

大模型LLM英文全称是Large Language Model，是指包含超大规模参数（通常在十亿个以上）的神经网络模型。2022年11月底，人工智能对话聊天机器人ChatGPT一经推出，人们利用ChatGPT这样的大模型帮助解决很多事情，提高人们的工作效率。

利用大模型，多模态，RAG等具体技术，各种AI应用在各行各业落地。这些技术往往需要很高GPU算力等服务器资源，那么如何在本地运行大模型呢，发现了一个帮助在本地电脑运行大模型的工具 ollama。

二、简介

本文会介绍一下ollama如何安装以及运行大模型并和大模型进行交互对话，帮助我们回答问题，进行问答交互。

三、实践

1. 下载安装ollama环境，访问ollama官网 就可以看到可爱的羊驼了，（Meta AI Meta AI 发布的预训练大语言基础模型（Large Language Model Meta AI）也就是LLaMA翻译过来就是羊驼的意思）。

根据自己电脑操作系统下载即可，ollama支持macOS, Linux, and Windows (preview)。
ollama 官网有模型库，选择自己感兴趣的大模型，敲命令就可以运行了，首次运行会先下载大模型包，大家要注意自己的磁盘大小。

2. 使用命令运行大模型

ollama run llama2

3. 这样就可以直接通过命令行和大模型进行问答交互了。

这样，通过命令行就可以和 llama2 大模型进行基本的问答了。