多模态基础模型训练笔记-第一篇InternVL-g
一、TL；DR
- 将之前所有训练过的大模型的过程都总结和回忆一下，遇到的坑别忘了
二、问题记录
还是注意镜像的选择，选择社区最火的镜像，然后下载好对应的数据，主要显卡的选择，这个时候4090已经带不动了，必须选择32G的V100或者40G的A100了：
2.1 train_head:
batchsize=32
这里其实是代码有点小迷惑点哈，你选择4卡4090其实是没问题的，他会选择平摊显存，但是单卡的话，它会将所有的现存都堆到第一张卡里面去，设计上可能有点问题，显卡占用情况如下所示：
具体的实现自己去看代码吧
2.2 train_lora:
使用lora的训练方法明显是不同的，训练参数量如下所示：
loss的数值如下所示：
基本上内存也已经吃满了：
将batchsize设为16，则显存占用如下所示：
相关文章：
多模态基础模型训练笔记-第一篇InternVL-g
一、TL；DR 将之前所有训练过的大模型的过程都总结和回忆一下，遇到的坑别忘了 二、问题记录 还是注意镜像的选择，选择社区最火的镜像，然后下载好对应的数据，主要显卡的选择，这个时候4090已经带不动了&…...
MyBatis：动态SQL高级标签使用方法指南
一、引言 目前互联网大厂在搭建后端Java服务时，常使用Springboot搭配Mybatis/Mybatis-plus的框架。Mybatis/Mybatis-plus之所以能成为当前国内主流的持久层框架，与其本身的优点有关：支持定制动态 SQL、存储过程及高级映射，简化数…...
使用grafana v11 建立k线(蜡烛图)仪表板
先看实现的结果 沪铜主力合约 2025-02-12 的1分钟k线图 功能介绍: 左上角支持切换主力合约,日期,实现动态加载数据. 项目背景: 我想通过前端展示期货指定品种某1天的1分钟k线,类似tqsdk 的web_gui 生成图形化界面— TianQin Python SDK 3.7.8 文档 项目架构: 后端: fastap…...
ubuntu 安装 Redis
一、下载 Redis 压缩包，wget http://download.redis.io/releases/redis-5.0.14.tar.gz 也可以去官网下载别的版本 https://redis.io 二、解压文件，tar -zxvf redis-5.0.14.tar.gz 三、编译安装（使用压缩包的方式需要编译安装）&…...
利用docker-compose一键创建并启动所有容器
简介 在开发复杂的分布式应用时，通常需要同时运行多个服务（如数据库、缓存、Web 应用等）。Docker Compose 提供了一种简便的方式来定义和运行多容器 Docker 应用程序。通过一个 docker-compose.yml 文件，您可以配置应用程序的服务…...
mysql开启gtid并配置主从
默认主从都开启了bin log. 1.主从都在/etc/my.cnf中加入并重启服务 gtid_mode ON enforce_gtid_consistency ON 2.在主库创建用户并授权 create user slave identified with mysql_native_password by 123456 mysql>GRANT REPLICATION SLAVE ON *.* to slave% identified…...
redis sentinel模式 与 redis 分片集群 配置
Redis 最低为5.0版本，以下为6.2.6版本信息。 模式 高可用性 数据分片 部署复杂度 适用场景 Sentinel 模式 高 无 中等 中小规模，需要高可用性 集群模式 高 支持 复杂 大规模，需要高…...
2025最新在GitHub上搭建个人图床，保姆级图文教程，实现图片高效管理
文章目录 🌍一. 图床❄️1.什么是图床❄️2.图床能解决什么问题？ 🌍二. 在github上面创建图床🌍三. PicGo❄️1. PicGo介绍❄️ 2. 下载与安装❄️3. 配置图床 ❄️3.错误解决问题1问题2问题3问题4 🌍 四. Typora❄️…...
Web后端 - Maven管理工具
一 Maven简单介绍 Maven是apache旗下的一个开源项目，是一款用于管理和构建java项目的工具。 Maven的作用 二 Maven 安装配置 依赖配置 依赖传递 依赖范围 生命周期 注意事项：在同一套生命周期中，当运行后面的阶段时，前面的阶段都…...
【python语言应用】最新全流程Python编程、机器学习与深度学习实践技术应用（帮助你快速了解和入门 Python）
近年来，人工智能领域的飞速发展极大地改变了各个行业的面貌。当前最新的技术动态，如大型语言模型和深度学习技术的发展，展示了深度学习和机器学习技术的强大潜力，成为推动创新和提升竞争力的关键。特别是PyTorch，凭借其…...
《探秘Windows 11驱动开发：从入门到实战》
《探秘Windows 11驱动开发：从入门到实战》 驱动开发初印象 在 Windows 11 这个充满活力与创新的操作系统世界里，驱动程序犹如幕后英雄，默默发挥着无可替代的关键作用。它是连接操作系统与硬件设备的桥梁，操作系统下达的指令，如播放音乐、读取硬盘数据等，都需要通过驱动…...
搭建Deepseek推理服务
概述： 本文介绍用Open webui ollama搭建一套Deepseek推理服务，可以在web页面上直接进行对话。作为体验搭建的是Deepseek 7b参数版本 首先选择一个云厂商创建一台ubuntu系统的虚拟机，带公网IP，通过shell登录虚拟机完成以下操作&…...
Golang GC 三色标记法
三色标记法 Golang GC 会使用三种颜色会对象进行标记。分别为白色、灰色和黑色。白色表示尚未被标记的对象、灰色表示已经追踪但还没标记的对象，黑色表示已经完成标记的对象。黑色表示活跃对象，不会被回收。 以下图所示，演示三色标记法的过…...
重新出发的LLM本地部署——DeepSeek加持下的Ollama+OpenWebUI快速部署
DeepSeek 这真的是太惊艳了，发布出来的模型这么能打，在线的版本使用起来也是丝滑连招，感觉效果比起之前一直用智谱 chatglm4 更好用，想着本地化部署一下。 本来以为，会和之前在开发测试 transformers 的模型和代码一样…...
【第3章：卷积神经网络（CNN）——3.5 CIFAR-10图像分类】
嘿，小伙伴们，今天咱们来聊聊一个超级酷炫的话题——卷积神经网络（CNN）及其在CIFAR-10图像分类中的应用。这不仅仅是一个技术话题，更是一场探索人工智能奥秘的旅程。准备好了吗？咱们这就发车！ 一、CNN：人工智能的“千里眼” 首先，咱们得知道CNN是啥。CNN，全名Convol…...
Django后台新建管理员
在 Django 中，新建管理员用户通常涉及使用 Django 自带的命令行工具 manage.py。以下是具体步骤： 前提条件 Django 项目已创建：确保你已经创建了一个 Django 项目和应用。数据库已迁移：确保你已经运行了 python manage.py migra…...
【第12章：深度学习与伦理、隐私—12.2 数据隐私保护与差分隐私技术的实现与应用】
凌晨三点的数据中心，安全工程师老张盯着监控屏幕——某个医疗AI模型的训练日志显示，系统在保护隐私的同时竟然准确预测了罕见病的发病规律。这种看似魔法的技术背后，是一场持续了十五年的隐私保卫战。让我们掀开差分隐私的神秘面纱，看看这场革命如何重塑数据世界的游戏规则…...
索引----数据库
本博客全是来自于黑马程序员的mysql专题，我写的笔记 索引 是帮助Mysql高效获取数据的数据结构（有序） 数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，…...
【ISO 14229-1:2023 UDS诊断全量测试用例清单系列：第十七节】
ISO 14229-1:2023 UDS诊断服务测试用例全解析（InputOutputControl_0x2F服务） 作者：车端域控测试工程师 更新日期：2025年02月14日 关键词：UDS协议、0x2F服务、输入输出控制、ISO 14229-1:2023、ECU测试 一、服务功能概…...
nodejs：express + js-mdict 网页查询英汉词典，能显示图片
向 DeepSeek R1 提问： 我想写一个Web 前端网页，后台用 nodejs js-mdict , 实现在线查询英语单词，并能显示图片 1. 项目结构 首先，创建一个项目目录，结构如下： mydict-app/ ├── public/ │ ├── …...
C++_核心编程_多态案例二-制作饮品
#include <iostream> #include <string> using namespace std;/*制作饮品的大致流程为：煮水 - 冲泡 - 倒入杯中 - 加入辅料 利用多态技术实现本案例，提供抽象制作饮品基类，提供子类制作咖啡和茶叶*//*基类*/ class AbstractDr…...
突破不可导策略的训练难题：零阶优化与强化学习的深度嵌合
强化学习（Reinforcement Learning, RL）是工业领域智能控制的重要方法。它的基本原理是将最优控制问题建模为马尔可夫决策过程，然后使用强化学习的Actor-Critic机制（中文译作“知行互动”机制），逐步迭代求解…...
【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例
文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...
linux arm系统烧录
1、打开瑞芯微程序 2、按住linux arm 的 recover按键 插入电源 3、当瑞芯微检测到有设备 4、松开recover按键 5、选择升级固件 6、点击固件选择本地刷机的linux arm 镜像 7、点击升级 （忘了有没有这步了 估计有） 刷机程序 和 镜像 就不提供了。要刷的时…...
Spring Boot+Neo4j知识图谱实战：3步搭建智能关系网络！
一、引言 在数据驱动的背景下，知识图谱凭借其高效的信息组织能力，正逐步成为各行业应用的关键技术。本文聚焦 Spring Boot与Neo4j图数据库的技术结合，探讨知识图谱开发的实现细节，帮助读者掌握该技术栈在实际项目中的落地方法。 …...
数据库分批入库
今天在工作中，遇到一个问题，就是分批查询的时候，由于批次过大导致出现了一些问题，一下是问题描述和解决方案： 示例： // 假设已有数据列表 dataList 和 PreparedStatement pstmt int batchSize 1000; // …...
汇编常见指令
汇编常见指令 一、数据传送指令 指令功能示例说明MOV数据传送MOV EAX, 10将立即数 10 送入 EAXMOV [EBX], EAX将 EAX 值存入 EBX 指向的内存LEA加载有效地址LEA EAX, [EBX4]将 EBX4 的地址存入 EAX（不访问内存）XCHG交换数据XCHG EAX, EBX交换 EAX 和 EB…...
IT供电系统绝缘监测及故障定位解决方案
随着新能源的快速发展，光伏电站、储能系统及充电设备已广泛应用于现代能源网络。在光伏领域，IT供电系统凭借其持续供电性好、安全性高等优势成为光伏首选，但在长期运行中，例如老化、潮湿、隐裂、机械损伤等问题会影响光伏板绝缘层…...
C++八股 —— 单例模式
文章目录 1. 基本概念2. 设计要点3. 实现方式4. 详解懒汉模式 1. 基本概念 线程安全（Thread Safety） 线程安全是指在多线程环境下，某个函数、类或代码片段能够被多个线程同时调用时，仍能保证数据的一致性和逻辑的正确性…...
GC1808高性能24位立体声音频ADC芯片解析
1. 芯片概述 GC1808是一款24位立体声音频模数转换器（ADC），支持8kHz~96kHz采样率，集成Δ-Σ调制器、数字抗混叠滤波器和高通滤波器，适用于高保真音频采集场景。 2. 核心特性 高精度：24位分辨率，…...