llama3.1本地部署方式

llama3.1 资源消耗情况

Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析



70B版本，FP16+16K token需要的资源约为75G；FP16+128K token需要的资源约为110G



1、ollama

ollama工具部署及使用：

https://github.com/ollama/ollama/blob/main/README.md#quickstart

ollama工具支持模型：

https://ollama.com/library

开放IP （配置修改教程）：

阿里云Linux服务器安装Ollama后，IP无法访问_ollama ip-CSDN博客

第二十六篇-Ollama-监听本地IP与端口_ollama 修改端口-CSDN博客



开源模型地址：

https://github.com/meta-llama/llama-models/blob/main/README.md



2、modelscope

模型文件：

魔搭社区

使用方式：

魔搭社区