多模态基础模型训练笔记-第一篇InternVL-g
一、TL；DR
- 将之前所有训练过的大模型的过程都总结和回忆一下，遇到的坑别忘了
二、问题记录
还是注意镜像的选择，选择社区最火的镜像，然后下载好对应的数据，主要显卡的选择，这个时候4090已经带不动了，必须选择32G的V100或者40G的A100了：
2.1 train_head:
batchsize=32
这里其实是代码有点小迷惑点哈，你选择4卡4090其实是没问题的，他会选择平摊显存，但是单卡的话，它会将所有的现存都堆到第一张卡里面去，设计上可能有点问题，显卡占用情况如下所示：
具体的实现自己去看代码吧
2.2 train_lora:
使用lora的训练方法明显是不同的，训练参数量如下所示：
loss的数值如下所示：
基本上内存也已经吃满了：
将batchsize设为16，则显存占用如下所示：
相关文章：
多模态基础模型训练笔记-第一篇InternVL-g
一、TL；DR 将之前所有训练过的大模型的过程都总结和回忆一下，遇到的坑别忘了 二、问题记录 还是注意镜像的选择，选择社区最火的镜像，然后下载好对应的数据，主要显卡的选择，这个时候4090已经带不动了&…...
MyBatis：动态SQL高级标签使用方法指南
一、引言 目前互联网大厂在搭建后端Java服务时，常使用Springboot搭配Mybatis/Mybatis-plus的框架。Mybatis/Mybatis-plus之所以能成为当前国内主流的持久层框架，与其本身的优点有关：支持定制动态 SQL、存储过程及高级映射，简化数…...
使用grafana v11 建立k线(蜡烛图)仪表板
先看实现的结果 沪铜主力合约 2025-02-12 的1分钟k线图 功能介绍: 左上角支持切换主力合约,日期,实现动态加载数据. 项目背景: 我想通过前端展示期货指定品种某1天的1分钟k线,类似tqsdk 的web_gui 生成图形化界面— TianQin Python SDK 3.7.8 文档 项目架构: 后端: fastap…...
ubuntu 安装 Redis
一、下载 Redis 压缩包，wget http://download.redis.io/releases/redis-5.0.14.tar.gz 也可以去官网下载别的版本 https://redis.io 二、解压文件，tar -zxvf redis-5.0.14.tar.gz 三、编译安装（使用压缩包的方式需要编译安装）&…...
利用docker-compose一键创建并启动所有容器
简介 在开发复杂的分布式应用时，通常需要同时运行多个服务（如数据库、缓存、Web 应用等）。Docker Compose 提供了一种简便的方式来定义和运行多容器 Docker 应用程序。通过一个 docker-compose.yml 文件，您可以配置应用程序的服务…...
mysql开启gtid并配置主从
默认主从都开启了bin log. 1.主从都在/etc/my.cnf中加入并重启服务 gtid_mode ON enforce_gtid_consistency ON 2.在主库创建用户并授权 create user slave identified with mysql_native_password by 123456 mysql>GRANT REPLICATION SLAVE ON *.* to slave% identified…...
redis sentinel模式 与 redis 分片集群 配置
Redis 最低为5.0版本，以下为6.2.6版本信息。 模式 高可用性 数据分片 部署复杂度 适用场景 Sentinel 模式 高 无 中等 中小规模，需要高可用性 集群模式 高 支持 复杂 大规模，需要高…...
2025最新在GitHub上搭建个人图床，保姆级图文教程，实现图片高效管理
文章目录 🌍一. 图床❄️1.什么是图床❄️2.图床能解决什么问题？ 🌍二. 在github上面创建图床🌍三. PicGo❄️1. PicGo介绍❄️ 2. 下载与安装❄️3. 配置图床 ❄️3.错误解决问题1问题2问题3问题4 🌍 四. Typora❄️…...
Web后端 - Maven管理工具
一 Maven简单介绍 Maven是apache旗下的一个开源项目，是一款用于管理和构建java项目的工具。 Maven的作用 二 Maven 安装配置 依赖配置 依赖传递 依赖范围 生命周期 注意事项：在同一套生命周期中，当运行后面的阶段时，前面的阶段都…...
【python语言应用】最新全流程Python编程、机器学习与深度学习实践技术应用（帮助你快速了解和入门 Python）
近年来，人工智能领域的飞速发展极大地改变了各个行业的面貌。当前最新的技术动态，如大型语言模型和深度学习技术的发展，展示了深度学习和机器学习技术的强大潜力，成为推动创新和提升竞争力的关键。特别是PyTorch，凭借其…...
《探秘Windows 11驱动开发：从入门到实战》
《探秘Windows 11驱动开发：从入门到实战》 驱动开发初印象 在 Windows 11 这个充满活力与创新的操作系统世界里，驱动程序犹如幕后英雄，默默发挥着无可替代的关键作用。它是连接操作系统与硬件设备的桥梁，操作系统下达的指令，如播放音乐、读取硬盘数据等，都需要通过驱动…...
搭建Deepseek推理服务
概述： 本文介绍用Open webui ollama搭建一套Deepseek推理服务，可以在web页面上直接进行对话。作为体验搭建的是Deepseek 7b参数版本 首先选择一个云厂商创建一台ubuntu系统的虚拟机，带公网IP，通过shell登录虚拟机完成以下操作&…...
Golang GC 三色标记法
三色标记法 Golang GC 会使用三种颜色会对象进行标记。分别为白色、灰色和黑色。白色表示尚未被标记的对象、灰色表示已经追踪但还没标记的对象，黑色表示已经完成标记的对象。黑色表示活跃对象，不会被回收。 以下图所示，演示三色标记法的过…...
重新出发的LLM本地部署——DeepSeek加持下的Ollama+OpenWebUI快速部署
DeepSeek 这真的是太惊艳了，发布出来的模型这么能打，在线的版本使用起来也是丝滑连招，感觉效果比起之前一直用智谱 chatglm4 更好用，想着本地化部署一下。 本来以为，会和之前在开发测试 transformers 的模型和代码一样…...
【第3章：卷积神经网络（CNN）——3.5 CIFAR-10图像分类】
嘿，小伙伴们，今天咱们来聊聊一个超级酷炫的话题——卷积神经网络（CNN）及其在CIFAR-10图像分类中的应用。这不仅仅是一个技术话题，更是一场探索人工智能奥秘的旅程。准备好了吗？咱们这就发车！ 一、CNN：人工智能的“千里眼” 首先，咱们得知道CNN是啥。CNN，全名Convol…...
Django后台新建管理员
在 Django 中，新建管理员用户通常涉及使用 Django 自带的命令行工具 manage.py。以下是具体步骤： 前提条件 Django 项目已创建：确保你已经创建了一个 Django 项目和应用。数据库已迁移：确保你已经运行了 python manage.py migra…...
【第12章：深度学习与伦理、隐私—12.2 数据隐私保护与差分隐私技术的实现与应用】
凌晨三点的数据中心，安全工程师老张盯着监控屏幕——某个医疗AI模型的训练日志显示，系统在保护隐私的同时竟然准确预测了罕见病的发病规律。这种看似魔法的技术背后，是一场持续了十五年的隐私保卫战。让我们掀开差分隐私的神秘面纱，看看这场革命如何重塑数据世界的游戏规则…...
索引----数据库
本博客全是来自于黑马程序员的mysql专题，我写的笔记 索引 是帮助Mysql高效获取数据的数据结构（有序） 数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，…...
【ISO 14229-1:2023 UDS诊断全量测试用例清单系列：第十七节】
ISO 14229-1:2023 UDS诊断服务测试用例全解析（InputOutputControl_0x2F服务） 作者：车端域控测试工程师 更新日期：2025年02月14日 关键词：UDS协议、0x2F服务、输入输出控制、ISO 14229-1:2023、ECU测试 一、服务功能概…...
nodejs：express + js-mdict 网页查询英汉词典，能显示图片
向 DeepSeek R1 提问： 我想写一个Web 前端网页，后台用 nodejs js-mdict , 实现在线查询英语单词，并能显示图片 1. 项目结构 首先，创建一个项目目录，结构如下： mydict-app/ ├── public/ │ ├── …...
)
Java 语言特性(面试系列2)
一、SQL 基础 1. 复杂查询 （1）连接查询（JOIN） 内连接（INNER JOIN）：返回两表匹配的记录。 SELECT e.name, d.dept_name FROM employees e INNER JOIN departments d ON e.dept_id d.dept_id; 左…...
【OSG学习笔记】Day 18: 碰撞检测与物理交互
物理引擎（Physics Engine） 物理引擎 是一种通过计算机模拟物理规律（如力学、碰撞、重力、流体动力学等）的软件工具或库。 它的核心目标是在虚拟环境中逼真地模拟物体的运动和交互，广泛应用于 游戏开发、动画制作、虚…...
PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节，供应链协同管理在供应链上下游企业之间建立紧密的合作关系，通过信息共享、资源整合、业务协同等方式，实现供应链的全面管理和优化，提高供应链的效率和透明度，降低供应链的成…...
Docker 运行 Kafka 带 SASL 认证教程
Docker 运行 Kafka 带 SASL 认证教程 Docker 运行 Kafka 带 SASL 认证教程一、说明二、环境准备三、编写 Docker Compose 和 jaas文件docker-compose.yml代码说明：server_jaas.conf 四、启动服务五、验证服务六、连接kafka服务七、总结 Docker 运行 Kafka 带 SASL 认…...
` 方法)
深入浅出：JavaScript 中的 `window.crypto.getRandomValues()` 方法
深入浅出：JavaScript 中的 window.crypto.getRandomValues() 方法 在现代 Web 开发中，随机数的生成看似简单，却隐藏着许多玄机。无论是生成密码、加密密钥，还是创建安全令牌，随机数的质量直接关系到系统的安全性。Jav…...
MODBUS TCP转CANopen 技术赋能高效协同作业
在现代工业自动化领域，MODBUS TCP和CANopen两种通讯协议因其稳定性和高效性被广泛应用于各种设备和系统中。而随着科技的不断进步，这两种通讯协议也正在被逐步融合，形成了一种新型的通讯方式——开疆智能MODBUS TCP转CANopen网关KJ-TCPC-CANP…...
嵌入式学习笔记DAY33（网络编程——TCP）
一、网络架构 C/S （client/server 客户端/服务器）：由客户端和服务器端两个部分组成。客户端通常是用户使用的应用程序，负责提供用户界面和交互逻辑 ，接收用户输入，向服务器发送请求，并展示服务…...
MySQL 索引底层结构揭秘：B-Tree 与 B+Tree 的区别与应用
文章目录 一、背景知识：什么是 B-Tree 和 BTree？ B-Tree（平衡多路查找树） BTree（B-Tree 的变种） 二、结构对比：一张图看懂 三、为什么 MySQL InnoDB 选择 BTree？ 1. 范围查询更快 2…...
零知开源——STM32F103RBT6驱动 ICM20948 九轴传感器及 vofa + 上位机可视化教程
STM32F1 本教程使用零知标准板（STM32F103RBT6）通过I2C驱动ICM20948九轴传感器，实现姿态解算，并通过串口将数据实时发送至VOFA上位机进行3D可视化。代码基于开源库修改优化，适合嵌入式及物联网开发者。在基础驱动上新增…...
DeepSeek源码深度解析 × 华为仓颉语言编程精粹——从MoE架构到全场景开发生态
前言 在人工智能技术飞速发展的今天，深度学习与大模型技术已成为推动行业变革的核心驱动力，而高效、灵活的开发工具与编程语言则为技术创新提供了重要支撑。本书以两大前沿技术领域为核心，系统性地呈现了两部深度技术著作的精华：…...