Ollama 运行 Cohere 的 command-r 模型

0. 引言

Command-R

Command-R 是一种大型语言模型，针对对话交互和长上下文任务进行了优化。它针对的是“可扩展”类别的模型，这些模型在高性能和高精度之间取得平衡，使公司能够超越概念验证，进入生产阶段。Command-R 在检索增强生成 （RAG） 和工具使用任务方面拥有高精度、低延迟和高吞吐量、128k 长上下文以及跨 10 种关键语言的强大功能。

独特的 Command-R 模型功能
Command-R 已经接受过多种语言的大量不同文本语料库的训练，可以执行各种不同的文本生成任务。此外，Command-R 经过训练，在业务用例的一些最关键功能方面尤其出色。

多语言能力
我们希望 Command-R 能够为尽可能多的人、组织和市场提供服务，因此新的 Command-R 能够以相当高的准确性以多种语言进行交互。

该模型经过优化，可在以下语言中表现良好：英语、法语、西班牙语、意大利语、德语、巴西葡萄牙语、日语、韩语、简体中文和阿拉伯语。

此外，还包括以下 13 种语言的预训练数据：俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印度尼西亚语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语、波斯语。

该模型已经过训练，可以用用户的语言进行响应。

1. 安装 MSYS2

MSYS2 是工具和库的集合，为您提供了一个易于使用的环境来构建、安装和运行本机 Windows 软件。

它由名为 mintty、bash 的命令行终端、git 和 subversion 等版本控制系统、tar 和 awk 等工具，甚至 autotools 等构建系统组成，所有这些都基于 Cygwin 的修改版本。尽管其中一些核心部分基于 Cygwin，但 MSYS2 的主要重点是为本机 Windows 软件提供构建环境，并且使用 Cygwin 的部分保持在最低限度。 MSYS2 为 GCC、mingw-w64、CPython、CMake、Meson、OpenSSL、FFmpeg、Rust、Ruby 等提供最新的本机构建。

为了提供软件包的轻松安装和保持更新的方法，它提供了一个名为 Pacman 的软件包管理系统，Arch Linux 用户应该熟悉该系统。它带来了许多强大的功能，例如依赖关系解析和简单的完整系统升级，以及直接且可重复的包构建。我们的软件包存储库包含 3000 多个可供安装的预构建软件包。

访问 https://www.msys2.org/，参考 Installation 进行安装。

2. 安装 Golang

运行下面命令安装 Golang，你可以访问 Golang Releases 下载你喜欢的版本，

wget https://go.dev/dl/go1.22.1.linux-amd64.tar.gz -O go.tar.gz
sudo tar -xzvf go.tar.gz -C /usr/local
echo 'export PATH=$HOME/go/bin:/usr/local/go/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

3. Build Ollama

$env:CGO_ENABLED="1"
# git clone https://github.com/ollama/ollama ollama
git clone https://github.com/acanis/ollama.git; cd ollama
cd ollama
gh pr checkout 3190
go generate ./...
go build .

4. 运行 command-r

ollama run cohereforai:c4ai-command-r-v01-Q8_0

refer: https://github.com/ollama/ollama/blob/main/docs/development.md

完成！