计算huggingface模型占用硬盘空间的实战代码
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。
本文主要介绍了计算huggingface模型占用硬盘空间的实战代码，希望对学习大语言模型的同学们有所帮助。
文章目录
- 1. 前言
- 2. 代码思路
- 3. 实战代码
1. 前言
最近在和学习大模型的同学们交流，由于大模型占用的磁盘空间都比较大，所以经常会出现磁盘空间接近爆满的情况。
因此如果能在下载模型之前预留好对应的磁盘空间，就能够很好的解决上述的问题。
在经过了亲身的实践后，终于找到了可复现的实战代码，最终将详细的代码总结如下。希望对同学们有所帮助。
相关文章：
计算huggingface模型占用硬盘空间的实战代码
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…...
Leetcode 3031. Minimum Time to Revert Word to Initial State II
Leetcode 3031. Minimum Time to Revert Word to Initial State II 1. 解题思路2. 代码实现 题目链接：3031. Minimum Time to Revert Word to Initial State II 1. 解题思路 这一题就是一个z算法的题目，算是比较套路的题目了。 关于z算法，…...
游戏后端如何实现服务器之间的负载均衡？
在当今的游戏行业中，随着游戏用户数量的不断增加，如何实现服务器之间的负载均衡成为了一个亟待解决的问题。游戏后端作为游戏的重要组成部分，承载着游戏逻辑处理和数据存储等功能，因此游戏后端的负载均衡问题尤为重要。本文将详细…...
es6中标签模板
之所以写这篇文章，是因为标签模板是一个很容易让人忽略的知识点 首先我们已经非常熟悉模板字符串的使用方法 const name "诸葛亮" const templateString hello, My name is ${name}标签模板介绍 这里的标签模板其实不是模板，而是函数调用…...
二级C语言笔试1
(总分96,考试时间90分钟) 一、选择题 下列各题A)、B)、C)、D)4个选项中，只有1个选项是正确的。 1. 有以下程序： void sum(int a[]) a[0]a[-1]a[1]; main() int a[10]1,2,3,4,5,6,7,8,9,10; sum(&a[2]); printf(…...
Spring MVC跨域设置
简介 出于安全方面考虑，浏览器发起请求时，会先检查同源策略（协议、主机、端口是否与当前页面相同），不匹配则认为是跨域请求。 CORS (Cross-Origin Resource Sharing) CORS是一种机制，允许服务器声明哪些…...
基于Python的HTTP隧道安全性分析：魔法背后的锁与钥匙
当我们谈论基于Python的HTTP隧道时，不禁让人想起那些神秘的魔法门。但是，在魔法背后，我们也需要确保安全性，就像需要确保魔法不会落入邪恶之手一样。那么，基于Python的HTTP隧道在安全性方面表现如何呢？让我…...
linux的stat/lstat函数和目录遍历函数使用
stat函数： 作用：获取文件属性 函数原型：int stat(const char *pathname, struct stat *statbuf); 返回值：成功返回0 失败返回-1 struct stat { dev_t st_dev; //文件设备编号 ino_…...
HTTP MIME 类型
MIME - Multipurpose Internet Mail Extension, 多用途因特网邮件扩展，起初是为了解决不同的电子邮件系统之间搬移报文时存在的问题。MIME 在电子邮件系统中工作得非常好，因此 HTTP 也采纳了它，用它来描述并标记多媒体内容。 MIME 类…...
Mac OS中创建适合网络备份的加密镜像文件：详细步骤与参数选择
这篇文章提供了在Mac OS中创建适合网络备份的加密镜像文件的详细步骤，同时探讨了在选择相关参数时的关键考虑因素，以确保用户能够安全、高效地存储和保护重要数据。 创建步骤 在Mac OS Monterey中，你可以使用“磁盘工具”（Disk …...
Java TreeSet 添加自定义对象 必须指定排序规则
Java TreeSet 添加自定义对象 必须指定排序规则 package com.zhong.collection.set;import java.util.Comparator; import java.util.TreeSet;public class TreeSetDemo {public static void main(String[] args) {// TreeSet 添加自定义数据类型 应该自定义排序规则TreeSet<…...
vue - 指令（一）
看文章可以得到什么？ 1.可以快速的了解并会使用vue的指令 2.可以加深你对vue指令的理解，知道每个指令代表什么功能 目录 什么是vue的指令？ vue常见指令的使用 v-html v-show v-if v-else 和v-else-…...
正则表达式 regex
文章目录 参考 参考 https://blog.csdn.net/Conradine_Lian/article/details/108890595 regex可以很简单 也可以很复杂 /* 限定符 修饰前面的一个字符,可以是元字符* 重复0次或更多次 重…...
iOS自动打包如何用Python实现
在Python中实现iOS自动打包的过程需要使用第三方库和工具，如pyobjc和appdirs。以下是一个基本的Python脚本示例，用于自动打包iOS应用程序： python复制代码 import os import appdirs import subprocess import pyobjc # 获取应用程序目…...
springboot161基于springboot的公交线路查询系统
简介 【毕设源码推荐 javaweb 项目】基于springbootvue 的 适用于计算机类毕业设计，课程设计参考与学习用途。仅供学习参考， 不得用于商业或者非法用途，否则，一切后果请用户自负。 看运行截图看 第五章 第四章 获取资料方式 **项…...
大白话介绍循环神经网络
循环神经网络实质为递归式的网络，它在处理时序任务表现出优良的效果，毕竟递归本来就是一步套一步的向下进行，而自然语言处理任务中涉及的文本天然满足这种时序性，比如我们写字就是从左到右一步步来的鸭，刚接触深度学习…...
GEE——如何利用降水数据绘制指定区域长时间序列的降水分布图和提取每个月（逐月）的降水平均数据
如何利用降水数据绘制指定区域长时间序列的降水分布图和提取每个月的指定降水数据？ 这里我们首先要做的就是选择指定的数据，进行指定年份数据的筛选，然后进行长时序数据加载，然后提取研究区内每个月指定的降水平均值，最后进行下载到谷歌云盘。其中影像集合中的每个影像都…...
【软件使用】【edge】如何让edge的某个网页作为应用安装
【背景】 有些常用网页希望用双击快捷方式的形式打开更加效率，我的浏览器主要是edge，研究了两种方法来实现这个需求。 【Edge自带方法】 点击Edge的右上角三点水-》应用-》将此站点作为应用安装。 点击安装，可以选择是否加到开始屏幕等。 …...
四大最受欢迎游泳耳机品牌，全球最好的游泳耳机排行榜测评
在运动耳机的领域中，游泳耳机已经成为热门的选择，尤其受到了广大游泳爱好者的喜爱。在水下运动的时候，通过音乐的陪伴，整个健身过程变得更加有趣和生动。然而，游泳耳机在满足音乐需求的同时，需要克服两个主…...
Linux实验记录：使用BIND提供域名解析服务
前言： 本文是一篇关于Linux系统初学者的实验记录。 参考书籍：《Linux就该这么学》 实验环境： VmwareWorkStation 17——虚拟机软件 RedHatEnterpriseLinux[RHEL]8——红帽操作系统 备注： 为了降低用户访问网络资源的门槛&am…...
【Python】 -- 趣味代码 - 小恐龙游戏
文章目录 文章目录 00 小恐龙游戏程序设计框架代码结构和功能游戏流程总结01 小恐龙游戏程序设计02 百度网盘地址00 小恐龙游戏程序设计框架 这段代码是一个基于 Pygame 的简易跑酷游戏的完整实现，玩家控制一个角色（龙）躲避障碍物（仙人掌和乌鸦）。以下是代码的详细介绍：…...
最新SpringBoot+SpringCloud+Nacos微服务框架分享
文章目录 前言一、服务规划二、架构核心1.cloud的pom2.gateway的异常handler3.gateway的filter4、admin的pom5、admin的登录核心 三、code-helper分享总结 前言 最近有个活蛮赶的，根据Excel列的需求预估的工时直接打骨折，不要问我为什么，主要…...
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为…...
PostgreSQL——环境搭建
一、Linux # 安装 PostgreSQL 15 仓库 sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-$(rpm -E %{rhel})-x86_64/pgdg-redhat-repo-latest.noarch.rpm# 安装之前先确认是否已经存在PostgreSQL rpm -qa | grep postgres# 如果存在࿰…...
为什么要创建 Vue 实例
核心原因：Vue 需要一个「控制中心」来驱动整个应用 你可以把 Vue 实例想象成你应用的**「大脑」或「引擎」。它负责协调模板、数据、逻辑和行为，将它们变成一个活的、可交互的应用**。没有这个实例，你的代码只是一堆静态的 HTML、JavaScript 变量和函数，无法「活」起来。 …...
Golang——7、包与接口详解
包与接口详解 1、Golang包详解1.1、Golang中包的定义和介绍1.2、Golang包管理工具go mod1.3、Golang中自定义包1.4、Golang中使用第三包1.5、init函数 2、接口详解2.1、接口的定义2.2、空接口2.3、类型断言2.4、结构体值接收者和指针接收者实现接口的区别2.5、一个结构体实现多…...
React核心概念：State是什么？如何用useState管理组件自己的数据？
系列回顾： 在上一篇《React入门第一步》中，我们已经成功创建并运行了第一个React项目。我们学会了用Vite初始化项目，并修改了App.jsx组件，让页面显示出我们想要的文字。但是，那个页面是“死”的，它只是静态…...
虚幻基础：角色旋转
能帮到你的话，就给个赞吧 😘 文章目录 移动组件使用控制器所需旋转：组件 使用 控制器旋转将旋转朝向运动：组件 使用 移动方向旋转 控制器旋转和移动旋转 缺点移动旋转：必须移动才能旋转，不移动不旋转控制器…...
第22节 Node.js JXcore 打包
Node.js是一个开放源代码、跨平台的、用于服务器端和网络应用的运行环境。 JXcore是一个支持多线程的 Node.js 发行版本，基本不需要对你现有的代码做任何改动就可以直接线程安全地以多线程运行。 本文主要介绍JXcore的打包功能。 JXcore 安装 下载JXcore安装包&a…...
Vue 实例的数据对象详解
Vue 实例的数据对象详解 在 Vue 中，数据对象是响应式系统的核心，也是组件状态的载体。理解数据对象的原理和使用方式是成为 Vue 专家的关键一步。我将从多个维度深入剖析 Vue 实例的数据对象。 一、数据对象的定义方式 1. Options API 中的定义 在 Options API 中，使用 …...