本地部署huggingface模型，建立自己的翻译应用

过去，我们使用翻译接口时，往往都是使用百度等的接口，每天有一定量的免费额度。今天为大家介绍一个可以进行翻译的模型，具备英译中、中译英的能力。并且在这个过程中，向大家介绍一个如何在本地部署模型。在之前的”五天入门RAG“中，我们介绍过如何线上运行，但这是需要网络条件的，当你不具备时，可以在本地安装使用。

这个模型就是Helsinki-NLP/opus-mt-zh-en和Helsinki-NLP/opus-mt-en-zh。在后面，我们会再带大家体验具备语音翻译，转录的模型SeamlessM4T。

首先进入：https://huggingface.co/

搜索：Helsinki-NLP/opus-mt-zh-en

点击右边的compute试一下，翻译效果还不错。

然后点击files卡片。

主要下载如下的几个文件。

放到自己本地目录下：

然后输入我们的翻译代码：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM# 模型名称，如果模型已经下载到本地，可以直接指定路径
modelName = "D:/workspace/work/translate/bert_model/"
srcText = [
"大家好，我是一只来自中国的大熊猫",
"在这种方式下，我们的transformers才能发挥最大的作用",
"啊！华山，你可真是壮美",
]#---------------------------------tokenizer = AutoTokenizer.from_pretrained(modelName)
model = AutoModelForSeq2SeqLM.from_pretrained(modelName)
translated = model.generate(**tokenizer(srcText, return_tensors="pt", padding=True))
# 返回结果
r = [tokenizer.decode(t, skip_special_tokens=True) for t in translated]print(r)

代码可能会提示错误

那么我们安装这个就是了，代码如下：

pip install SentencePiece

然后再运行：

["Hello. I'm a big panda from China.", 
"In this way, our transformers will be most effective.", 
"Oh, you're so beautiful, Wahshan."]

同样的，英译中使用另一个模型即可。

我们简单解释一下代码！

AutoTokenizer.from_pretrained

用于加载预训练的文本处理模型（Tokenizer），以便将文本数据转换为模型可以接受的输入格式。这个方法接受多个参数，以下是这些参数的详细说明：

1.pretrained_model_name_or_path (str):

-这是最重要的参数，指定要加载的预训练模型的名称或路径。可以是模型名称（例如 “bert-base-uncased”）或模型文件夹的路径。

\2. inputs (additional positional arguments, optional)

它表示额外的位置参数，这些参数会传递给标记器（Tokenizer）的__init__()方法。这允许你进一步自定义标记器的初始化。

\3. config ([PretrainedConfig], optional)

这个配置对象用于确定要实例化的分词器类。

4.cache_dir (str, optional):

用于缓存模型文件的目录路径

\5. force_download (bool, optional):

如果设置为 True，将强制重新下载模型配置，覆盖任何现有的缓存。

\6. resume_download (bool, optional)：

-这是可选参数，如果设置为 True，则在下载过程中重新开始下载，即使部分文件已经存在。

\7. proxies (Dict[str, str], optional)

proxies（可选参数）：这是一个字典，用于指定代理服务器的设置。代理服务器允许您在访问互联网资源时通过中继服务器进行请求，这对于在受限网络环境中使用 Transformers 库来加载模型配置信息非常有用。

​ proxies = { “http”: “http://your_http_proxy_url”, “https”: “https://your_https_proxy_url” }

\8. revision (str, optional):

指定要加载的模型的 Git 版本（通过提交哈希）。

\9. subfolder (str, optional)

如果相关文件位于 huggingface.co 模型仓库的子文件夹内（例如 facebook/rag-token-base），请在这里指定。

\10. use_fast (bool, optional, defaults to True)

这是一个布尔值，指示是否强制使用 fast tokenizer，即使其不支持特定模型的功能。默认为 True。

\11. tokenizer_type (str, optional)

参数用于指定要实例化的分词器的类型

\12. trust_remote_code (bool, optional, defaults to False)

trust_remote_code=True：

默认情况下，trust_remote_code 设置为 True。这意味着当您使用 from_pretrained() 方法加载模型配置文件时，它将下载来自 Hugging Face 模型中心或其他在线资源的配置文件。这是一个方便的默认行为，因为通常这些配置文件是由官方提供的，且是可信的。

trust_remote_code=False：

如果您将 trust_remote_code 设置为 False，则表示您不信任从远程下载的配置文件，希望加载本地的配置文件。这对于安全性或定制性要求较高的场景可能是有用的。

在这种情况下，您需要提供一个本地文件路径，以明确指定要加载的配置文件

总之，trust_remote_code 参数允许您在使用 Hugging Face Transformers 库时控制是否信任从远程下载的配置文件。默认情况下，它被设置为 True，以方便加载官方提供的配置文件，但您可以将其设置为 False 并提供本地配置文件的路径，以进行更精细的控制。

AutoModel.from_pretrained()

AutoModel.from_pretrained() 是 Hugging Face Transformers 库中的一个函数，用于加载预训练的深度学习模型。它允许你加载各种不同的模型，如BERT、GPT-2、RoBERTa 等，而无需为每个模型类型编写单独的加载代码。以下是 AutoModel.from_pretrained() 函数的主要参数：

\1. pretrained_model_name_or_path (str):

-这是一个字符串参数，用于指定要加载的预训练模型的名称或路径。可以是模型的名称（如 “bert-base-uncased”）或模型文件夹的路径。

\2. *model_args

直接传参的方式，传入配置项，例如，我们将编码器层数改为3层

model = AutoModel.from_pretrained(“./models/bert-base-chinese”, num_hidden_layers=3)

加载模型时，指定配置类实例

model = AutoModel.from_pretrained(“./models/bert-base-chinese”, config=config)

3.trust_remote_code (bool, optional, defaults to False)

trust_remote_code=True：

默认情况下，trust_remote_code 设置为 True。这意味着当您使用 from_pretrained() 方法加载模型配置文件时，它将下载来自 Hugging Face 模型中心或其他在线资源的配置文件。这是一个方便的默认行为，因为通常这些配置文件是由官方提供的，且是可信的。

trust_remote_code=False：

如果您将 trust_remote_code 设置为 False，则表示您不信任从远程下载的配置文件，希望加载本地的配置文件。这对于安全性或定制性要求较高的场景可能是有用的。

在这种情况下，您需要提供一个本地文件路径，以明确指定要加载的配置文件

总之，trust_remote_code 参数允许您在使用 Hugging Face Transformers 库时控制是否信任从远程下载的配置文件。默认情况下，它被设置为 True，以方便加载官方提供的配置文件，但您可以将其设置为 False 并提供本地配置文件的路径，以进行更精细的控制。

hub_kwargs_names = [

“cache_dir”, #同上面

“force_download”,#同上面

“local_files_only”,

“proxies”, #同上面

“resume_download”, #同上面

“revision”, #同上面

“subfolder”, #同上面

“use_auth_token”,

]

local_files_only:

如果设置为True，将只尝试从本地文件系统加载模型。如果本地文件不存在，它将不会尝试从Hugging Face模型存储库下载模型文件。如果本地存在模型文件，它将从本地加载。如果设置为False（默认值），它将首先尝试从本地加载，如果本地不存在模型文件，它将尝试从Hugging Face模型存储库下载模型文件并缓存到本地，然后加载。

from transformers import AutoModel

model = AutoModel.from_pretrained(“bert-base-uncased”, local_files_only=True)

详解 use_auth_token 参数：

默认值：use_auth_token 参数的默认值通常为 None，这意味着在默认情况下不使用身份验证令牌。

作用：Hugging Face Model Hub 上的一些模型可能需要身份验证令牌才能访问。这通常是因为模型的创建者希望对其进行访问控制，或者出于其他原因需要进行身份验证。如果模型需要身份验证令牌，你可以在 use_auth_token 参数中提供有效的令牌，以便在下载模型时使用。

获取身份验证令牌：要获得有效的身份验证令牌，你需要注册并登录到 Hugging Face Model Hub，然后访问你的个人配置文件（profile），那里会提供一个 API 令牌（API token），你可以将其用作 use_auth_token 的值。

from transformers import AutoModel

# 使用身份验证令牌来加载模型

model = AutoModel.from_pretrained(‘model_name’, use_auth_token=‘your_auth_token’)

大多数模型不需要身份验证令牌，并且可以在不提供 use_auth_token 参数的情况下加载。只有在你确实需要进行身份验证才需要使用此参数。

model.generate()

model()的使用场景：当你需要对输入数据执行一次完整的前向计算时使用，如分类任务、特征提取等。
model.generate()的使用场景：当你需要模型自动生成文本或序列，尤其是在语言模型中，如GPT、T5等。

return_tensors=‘pt’, 自动的将所有的结果都转化成二纬的tensor数据，因此，后面我们还需要将数据进行解码，完成编码解码。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】