HuggingFace中的 Files and versions 如何优雅下载到本地?(Python requests,tqdm)

前言

在使用huggingface把玩各种大模型时，如果选择从远程加载模型，这个过程可能因为网络问题而非常耗时甚至直接失败，所以把模型、分词器等相关文件下载到本地，再直接从本地加载就成了不可回避的流程。

在进入具体版本的模型后，我们可以去Files and Versions这个菜单项下面找到需要下载到本地的全部模型(以WizardCoder为例)

第一步是获取我们想要下载的文件的下载时url

在文件大小的右侧，可以看到一个向下的箭头表示下载，鼠标移动到箭头上，右键，选择“复制链接地址”，这样就得到了下载时url

我们将这些url存放到list中。

第二步就是python代码，这里除了用于请求的request库，我还使用了tqdm库，tqdm也可通过pip install来安装，它的作用是在下载较大的文件时，我们可以在终端看到下载的速度和进度

import requests
import os
from tqdm import tqdmurls = ["https://huggingface.co/WizardLM/WizardCoder-15B-V1.0/resolve/main/pytorch_model.bin"
]filepath = "WizardCoder/WizardCoder-15B-V1.0"def download_file(url):filename = url.split("/")[-1]download_path = os.path.join(filepath, filename)response = requests.get(url, stream=True, verify=False)response.raise_for_status()file_size = int(response.headers.get("Content-Length", 0))  # 获取待下载的文件大小chunk_size = 8192  # 读取的数据块的大小是8千字节with open(download_path, "wb") as file, tqdm(total=file_size, unit="B", unit_scale=True, unit_divisor=1024, desc=filename) as progress_bar:for chunk in response.iter_content(chunk_size=chunk_size):if chunk:file.write(chunk)progress_bar.update(1)for url in urls:download_file(url)