计算huggingface模型占用硬盘空间的实战代码
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。
本文主要介绍了计算huggingface模型占用硬盘空间的实战代码，希望对学习大语言模型的同学们有所帮助。
文章目录
- 1. 前言
- 2. 代码思路
- 3. 实战代码
1. 前言
最近在和学习大模型的同学们交流，由于大模型占用的磁盘空间都比较大，所以经常会出现磁盘空间接近爆满的情况。
因此如果能在下载模型之前预留好对应的磁盘空间，就能够很好的解决上述的问题。
在经过了亲身的实践后，终于找到了可复现的实战代码，最终将详细的代码总结如下。希望对同学们有所帮助。
相关文章：
计算huggingface模型占用硬盘空间的实战代码
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…...
Leetcode 3031. Minimum Time to Revert Word to Initial State II
Leetcode 3031. Minimum Time to Revert Word to Initial State II 1. 解题思路2. 代码实现 题目链接：3031. Minimum Time to Revert Word to Initial State II 1. 解题思路 这一题就是一个z算法的题目，算是比较套路的题目了。 关于z算法，…...
游戏后端如何实现服务器之间的负载均衡？
在当今的游戏行业中，随着游戏用户数量的不断增加，如何实现服务器之间的负载均衡成为了一个亟待解决的问题。游戏后端作为游戏的重要组成部分，承载着游戏逻辑处理和数据存储等功能，因此游戏后端的负载均衡问题尤为重要。本文将详细…...
es6中标签模板
之所以写这篇文章，是因为标签模板是一个很容易让人忽略的知识点 首先我们已经非常熟悉模板字符串的使用方法 const name "诸葛亮" const templateString hello, My name is ${name}标签模板介绍 这里的标签模板其实不是模板，而是函数调用…...
二级C语言笔试1
(总分96,考试时间90分钟) 一、选择题 下列各题A)、B)、C)、D)4个选项中，只有1个选项是正确的。 1. 有以下程序： void sum(int a[]) a[0]a[-1]a[1]; main() int a[10]1,2,3,4,5,6,7,8,9,10; sum(&a[2]); printf(…...
Spring MVC跨域设置
简介 出于安全方面考虑，浏览器发起请求时，会先检查同源策略（协议、主机、端口是否与当前页面相同），不匹配则认为是跨域请求。 CORS (Cross-Origin Resource Sharing) CORS是一种机制，允许服务器声明哪些…...
基于Python的HTTP隧道安全性分析：魔法背后的锁与钥匙
当我们谈论基于Python的HTTP隧道时，不禁让人想起那些神秘的魔法门。但是，在魔法背后，我们也需要确保安全性，就像需要确保魔法不会落入邪恶之手一样。那么，基于Python的HTTP隧道在安全性方面表现如何呢？让我…...
linux的stat/lstat函数和目录遍历函数使用
stat函数： 作用：获取文件属性 函数原型：int stat(const char *pathname, struct stat *statbuf); 返回值：成功返回0 失败返回-1 struct stat { dev_t st_dev; //文件设备编号 ino_…...
HTTP MIME 类型
MIME - Multipurpose Internet Mail Extension, 多用途因特网邮件扩展，起初是为了解决不同的电子邮件系统之间搬移报文时存在的问题。MIME 在电子邮件系统中工作得非常好，因此 HTTP 也采纳了它，用它来描述并标记多媒体内容。 MIME 类…...
Mac OS中创建适合网络备份的加密镜像文件：详细步骤与参数选择
这篇文章提供了在Mac OS中创建适合网络备份的加密镜像文件的详细步骤，同时探讨了在选择相关参数时的关键考虑因素，以确保用户能够安全、高效地存储和保护重要数据。 创建步骤 在Mac OS Monterey中，你可以使用“磁盘工具”（Disk …...
Java TreeSet 添加自定义对象 必须指定排序规则
Java TreeSet 添加自定义对象 必须指定排序规则 package com.zhong.collection.set;import java.util.Comparator; import java.util.TreeSet;public class TreeSetDemo {public static void main(String[] args) {// TreeSet 添加自定义数据类型 应该自定义排序规则TreeSet<…...
vue - 指令（一）
看文章可以得到什么？ 1.可以快速的了解并会使用vue的指令 2.可以加深你对vue指令的理解，知道每个指令代表什么功能 目录 什么是vue的指令？ vue常见指令的使用 v-html v-show v-if v-else 和v-else-…...
正则表达式 regex
文章目录 参考 参考 https://blog.csdn.net/Conradine_Lian/article/details/108890595 regex可以很简单 也可以很复杂 /* 限定符 修饰前面的一个字符,可以是元字符* 重复0次或更多次 重…...
iOS自动打包如何用Python实现
在Python中实现iOS自动打包的过程需要使用第三方库和工具，如pyobjc和appdirs。以下是一个基本的Python脚本示例，用于自动打包iOS应用程序： python复制代码 import os import appdirs import subprocess import pyobjc # 获取应用程序目…...
springboot161基于springboot的公交线路查询系统
简介 【毕设源码推荐 javaweb 项目】基于springbootvue 的 适用于计算机类毕业设计，课程设计参考与学习用途。仅供学习参考， 不得用于商业或者非法用途，否则，一切后果请用户自负。 看运行截图看 第五章 第四章 获取资料方式 **项…...
大白话介绍循环神经网络
循环神经网络实质为递归式的网络，它在处理时序任务表现出优良的效果，毕竟递归本来就是一步套一步的向下进行，而自然语言处理任务中涉及的文本天然满足这种时序性，比如我们写字就是从左到右一步步来的鸭，刚接触深度学习…...
GEE——如何利用降水数据绘制指定区域长时间序列的降水分布图和提取每个月（逐月）的降水平均数据
如何利用降水数据绘制指定区域长时间序列的降水分布图和提取每个月的指定降水数据？ 这里我们首先要做的就是选择指定的数据，进行指定年份数据的筛选，然后进行长时序数据加载，然后提取研究区内每个月指定的降水平均值，最后进行下载到谷歌云盘。其中影像集合中的每个影像都…...
【软件使用】【edge】如何让edge的某个网页作为应用安装
【背景】 有些常用网页希望用双击快捷方式的形式打开更加效率，我的浏览器主要是edge，研究了两种方法来实现这个需求。 【Edge自带方法】 点击Edge的右上角三点水-》应用-》将此站点作为应用安装。 点击安装，可以选择是否加到开始屏幕等。 …...
四大最受欢迎游泳耳机品牌，全球最好的游泳耳机排行榜测评
在运动耳机的领域中，游泳耳机已经成为热门的选择，尤其受到了广大游泳爱好者的喜爱。在水下运动的时候，通过音乐的陪伴，整个健身过程变得更加有趣和生动。然而，游泳耳机在满足音乐需求的同时，需要克服两个主…...
Linux实验记录：使用BIND提供域名解析服务
前言： 本文是一篇关于Linux系统初学者的实验记录。 参考书籍：《Linux就该这么学》 实验环境： VmwareWorkStation 17——虚拟机软件 RedHatEnterpriseLinux[RHEL]8——红帽操作系统 备注： 为了降低用户访问网络资源的门槛&am…...
C++：std::is_convertible
C++标志库中提供is_convertible，可以测试一种类型是否可以转换为另一只类型： template <class From, class To> struct is_convertible; 使用举例： #include <iostream> #include <string>using namespace std;struct A { }; struct B : A { };int main…...
【人工智能】神经网络的优化器optimizer（二）：Adagrad自适应学习率优化器
一.自适应梯度算法Adagrad概述 Adagrad（Adaptive Gradient Algorithm）是一种自适应学习率的优化算法，由Duchi等人在2011年提出。其核心思想是针对不同参数自动调整学习率，适合处理稀疏数据和不同参数梯度差异较大的场景。Adagrad通…...
React19源码系列之 事件插件系统
事件类别 事件类型 定义 文档 Event Event 接口表示在 EventTarget 上出现的事件。 Event - Web API | MDN UIEvent UIEvent 接口表示简单的用户界面事件。 UIEvent - Web API | MDN KeyboardEvent KeyboardEvent 对象描述了用户与键盘的交互。 KeyboardEvent - Web…...
Java-41 深入浅出 Spring - 声明式事务的支持 事务配置 XML模式 XML+注解模式
点一下关注吧！！！非常感谢！！持续更新！！！ 🚀 AI篇持续更新中！（长期更新） 目前2025年06月05日更新到： AI炼丹日志-28 - Aud…...
令牌桶 滑动窗口-＞限流 分布式信号量-＞限并发的原理 lua脚本分析介绍
文章目录 前言限流限制并发的实际理解限流令牌桶代码实现结果分析令牌桶lua的模拟实现原理总结： 滑动窗口代码实现结果分析lua脚本原理解析 限并发分布式信号量代码实现结果分析lua脚本实现原理 双注解去实现限流 并发结果分析： 实际业务去理解体会统一注…...
Unity | AmplifyShaderEditor插件基础（第七集：平面波动shader）
目录 一、👋🏻前言 二、😈sinx波动的基本原理 三、😈波动起来 1.sinx节点介绍 2.vertexPosition 3.集成Vector3 a.节点Append b.连起来 4.波动起来 a.波动的原理 b.时间节点 c.sinx的处理 四、🌊波动优化…...
PAN/FPN
import torch import torch.nn as nn import torch.nn.functional as F import mathclass LowResQueryHighResKVAttention(nn.Module):"""方案 1: 低分辨率特征 (Query) 查询高分辨率特征 (Key, Value).输出分辨率与低分辨率输入相同。"""def __…...
多模态图像修复系统：基于深度学习的图片修复实现
多模态图像修复系统：基于深度学习的图片修复实现 1. 系统概述 本系统使用多模态大模型（Stable Diffusion Inpainting）实现图像修复功能，结合文本描述和图片输入，对指定区域进行内容修复。系统包含完整的数据处理、模型训练、推理部署流程。 import torch import numpy …...
论文阅读笔记——Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing
Muffin 论文 现有方法 CRADLE 和 LEMON，依赖模型推理阶段输出进行差分测试，但在训练阶段是不可行的，因为训练阶段直到最后才有固定输出，中间过程是不断变化的。API 库覆盖低，因为各个 API 都是在各种具体场景下使用。…...
Python竞赛环境搭建全攻略
Python环境搭建竞赛技术文章大纲 竞赛背景与意义 竞赛的目的与价值Python在竞赛中的应用场景环境搭建对竞赛效率的影响 竞赛环境需求分析 常见竞赛类型（算法、数据分析、机器学习等）不同竞赛对Python版本及库的要求硬件与操作系统的兼容性问题 Pyth…...