论文笔记：Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See
2024 10月的arxiv
1 主要idea
- 针对多模态大模型（如LLaVA），提出了一系列高效的剪枝策略
- 在显著降低计算开销（多达 88%）的同时，保持了模型在多模态任务中的性能表现
2 目前的问题
- 与文本 token 相比，视觉 token 的数量往往更为庞大
- 在 LLaVA 模型中，处理一张图像涉及超过 500 个视觉 token，而对应的文本 token 只有数十个
- ——>计算效率低下
- ——>视觉数据固有的空间稀疏性导致许多计算是冗余的
- 大部分视觉 token 之间的交互权重很低，仅有邻近 token 之间的交互是关键
- 在深层模型中，视觉 token 对文本生成的影响逐渐减弱
- 在 LLaVA 模型中，处理一张图像涉及超过 500 个视觉 token，而对应的文本 token 只有数十个
- 目前的优化策略通常以牺牲模型性能为代价
- ——>如何在保持性能的同时显著降低计算复杂度，仍是一个急需解决的
3 论文方法
4 实验
效果没怎么降，FLOP降多了
相关文章：
论文笔记：Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See
2024 10月的arxiv 1 主要idea 针对多模态大模型（如LLaVA），提出了一系列高效的剪枝策略 在显著降低计算开销（多达 88%）的同时，保持了模型在多模态任务中的性能表现 2 目前的问题 与文本 token 相比&…...
软考高级架构 —— 10.6 大型网站系统架构演化实例 + 软件架构维护
10.6 大型网站系统架构演化实例 大型网站的技术挑战主要来自于庞大的用户，高并发的访问和海量的数据，主要解决这类问题。 1. 单体架构 特点: 所有资源（应用程序、数据库、文件）集中在一台服务器上。适用场景: 小型网站&am…...
2024美赛数学建模C题：网球比赛中的动量，用马尔可夫链求解！详细分析
文末获取历年美赛数学建模论文，交流思路模型 接下来讲解马尔可夫链在2024年C题中的运用 1. 马尔科夫链的基本原理 马尔科夫链是描述随机过程的一种数学模型，其核心特征是无记忆性。 简单来说，系统在某一时刻的状态只取决于当前状态&#x…...
23种设计模式之状态模式
目录 1. 简介2. 代码2.1 State （定义抽象状态接口）2.2 StartState （实现具体状态类）2.3 EndState （实现具体状态类）2.4 Context （定义上下文类）2.5 Test （测试类…...
Elasticsearch Serverless 中的数据流自动分片
作者：来自 Elastic Andrei Dan 在 Elastic Cloud Serverless 中，我们根据索引负载自动为数据流配置最佳分片数量，从而使用户无需摆弄分片。 传统上，用户会更改数据流的分片配置，以处理各种工作负载并充分利用可用资源。…...
YOLOv10改进，YOLOv10添加U-Netv2分割网络中SDI信息融合模块+GSConv卷积，助力小目标
理论介绍 完成本篇需要参考以下两篇文章，并已添加到YOLOv10代码中 YOLOv10改进，YOLOv10添加U-Netv2分割网络中SDI信息融合模块，助力小目标检测YOLOv10改进，YOLOv10添加GSConv卷积+Slim-neck，助力小目标检测，二次创新C2f结构下文都是手把手教程，跟着操作即可添加成功 目…...
xshell连接虚拟机，更换网络模式：NAT-＞桥接模式
NAT模式：虚拟机通过宿主机的网络访问外网。优点在于不需要手动配置IP地址和子网掩码，只要宿主机能够访问网络，虚拟机也能够访问。对外部网络而言，它看到的是宿主机的IP地址，而不是虚拟机的IP。但是，宿主机可…...
sql的where条件中使用case when
场景： 1、使用oracle数据库，数据类型为number，需要正无穷值。 2、数据表中有两个金额值，最大值和最小值， 如10~20， 30 ~40，40以上，数据库中这样设计 id name min max 1 j 10 20 2 …...
MacOS 上以源码形式安装 MySQL 5.7
以下是在 macOS 上从源码安装 MySQL 5.7 的步骤： 前置条件 安装 Homebrew：如果你还没有安装 Homebrew，可以在终端中运行以下命令进行安装： /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install…...
MySQL 事务隔离级别详解
一、事务的基本概念 （一）什么是事务 事务是一个逻辑工作单元，由一组数据库操作组成。这些操作要么全部成功执行，要么全部回滚，以确保数据库的一致性。事务具有以下四个特性，通常被称为 ACID 特性ÿ…...
C语言——高精度问题
1、高精度计算的本质：竖式计算； 2、适用解决超出long long int 范围的大整数计算 #include<stdio.h> #include<string.h> #define N 100 char str1[N4]{0},str2[N4]{0}; int arr1[N4]{0},arr2[N4]{0}; int ans[N5]{0};//将字符串转化成整型…...
aippt：AI 智能生成 PPT 的开源项目
aippt：AI 智能生成 PPT 的开源项目 在现代办公和学习中，PPT（PowerPoint Presentation）是一种非常重要的展示工具。然而，制作一份高质量的PPT往往需要花费大量的时间和精力。为了解决这一问题，aippt项目应运…...
【Qt之·类QSettings·参数保存】
系列文章目录 文章目录 前言一、概述1.1 QSetting是什么1.2 为什么学习QSetting是重要的 二、不同存储位置的优缺点三、 QSetting的高级用法四、实例演示总结 前言 在当今的应用程序开发中，设置管理是一个至关重要的方面。应用程序的设置包括用户偏好、配置选项和其…...
location重定向和nginx代理
文章目录 1 location重定向1.1 概述1.2 rewrite跳转1.3 用例1.4 实验1.4.1 基于域名的跳转1.4.2 基于ip的跳转1.4.3 基于后缀名的跳转 2 nginx的代理2.1 nginx内置变量2.2 正向代理2.2.1 固定正向代理2.2.2 自动代理 2.3 反向代理2.3.1 负载均衡的算法2.3.2 负载均衡的特点2.3.…...
iptables详解
华子目录 什么是防火墙分类netfilter（数据包过滤）定义netfilter分析内容 防火墙无法完成的任务netfilter策略管理工具netfilter的5类hook函数防火墙规则策略匹配原则iptablesiptables流量处理动作iptables表5种规则表 安装iptablesiptables策略文件 ipta…...
Edge SCDN深度解析，边缘安全加速的创新实践
边缘安全加速（Edge Secure Content Delivery Network，SCDN）是酷盾安全推出的边缘集分布式 DDoS 防护、CC 防护、WAF 防护、BOT 行为分析为一体的安全加速解决方案。通过边缘缓存技术，智能调度使用户就近获取所需内容，为…...
solidworks常见问题已解决
solidworks常见问题已解决 问题1：step总是提示默认模板无效。问题2：异型孔向导”时出现了“找不到标准数据库。问题3：找不到CalloutForm.txt文件，标注将由几何体定义。问题5：工程图显示文件损坏不能保存。问题6&#x…...
vCenter开启HA报错
昨天给客户开启vCenter开启HA功能报错,报错的内容比较多 博通官方给出解决办法 https://knowledge.broadcom.com/external/article/318929/error-vsphere-ha-agent-cannot-be-correct.html 常规的解决办法 1.关闭集群HA,再次开启HA 2.主机进入维护模式，再次加入…...
在 Ubuntu 中 make 是否是系统自带的？怎么样查看Linux系统中是否有make？
make 命令 并不是所有 Ubuntu 系统都默认安装的，但它通常是开发工具链的一部分，许多开发者会在安装系统后配置它。make 是一个非常重要的构建工具，用于自动化编译和构建过程，特别是在编译软件或内核时。 make 的来源 make 是一个…...
js：我要在template中v-for循环遍历这个centrerTopdata，我希望自循环前面三个就可以了怎么写
问： 我按在要在template中v-for循环遍历这个centrerTopdata，我希望自循环前面三个就可以了怎么写？ 回答： 问： <div v-for"(item, index) in centrerTopdata.slice(0, 3)" :key"index"> d…...
反向工程与模型迁移：打造未来商品详情API的可持续创新体系
在电商行业蓬勃发展的当下，商品详情API作为连接电商平台与开发者、商家及用户的关键纽带，其重要性日益凸显。传统商品详情API主要聚焦于商品基本信息（如名称、价格、库存等）的获取与展示，已难以满足市场对个性化、智能…...
苍穹外卖--缓存菜品
1.问题说明 用户端小程序展示的菜品数据都是通过查询数据库获得，如果用户端访问量比较大，数据库访问压力随之增大 2.实现思路 通过Redis来缓存菜品数据，减少数据库查询操作。 缓存逻辑分析： ①每个分类下的菜品保持一份缓存数据…...
CRMEB 框架中 PHP 上传扩展开发：涵盖本地上传及阿里云 OSS、腾讯云 COS、七牛云
目前已有本地上传、阿里云OSS上传、腾讯云COS上传、七牛云上传扩展 扩展入口文件 文件目录 crmeb\services\upload\Upload.php namespace crmeb\services\upload;use crmeb\basic\BaseManager; use think\facade\Config;/*** Class Upload* package crmeb\services\upload* …...
蓝桥杯3498 01串的熵
问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798， 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...
Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决
Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决 问题背景 在一个基于 Spring Cloud Gateway WebFlux 构建的微服务项目中，新增了一个本地验证码接口 /code，使用函数式路由（RouterFunction）和 Hutool 的 Circle…...
重启Eureka集群中的节点，对已经注册的服务有什么影响
先看答案，如果正确地操作，重启Eureka集群中的节点，对已经注册的服务影响非常小，甚至可以做到无感知。 但如果操作不当，可能会引发短暂的服务发现问题。 下面我们从Eureka的核心工作原理来详细分析这个问题。 Eureka的…...
【SSH疑难排查】轻松解决新版OpenSSH连接旧服务器的“no matching...“系列算法协商失败问题
【SSH疑难排查】轻松解决新版OpenSSH连接旧服务器的"no matching..."系列算法协商失败问题 摘要： 近期，在使用较新版本的OpenSSH客户端连接老旧SSH服务器时，会遇到 "no matching key exchange method found", "n…...
基于PHP的连锁酒店管理系统
有需要请加文章底部Q哦 可远程调试 基于PHP的连锁酒店管理系统 一 介绍 连锁酒店管理系统基于原生PHP开发，数据库mysql，前端bootstrap。系统角色分为用户和管理员。 技术栈 phpmysqlbootstrapphpstudyvscode 二 功能 用户 1 注册/登录/注销 2 个人中…...
安卓基础（Java 和 Gradle 版本）
1. 设置项目的 JDK 版本 方法1：通过 Project Structure File → Project Structure... (或按 CtrlAltShiftS) 左侧选择 SDK Location 在 Gradle Settings 部分，设置 Gradle JDK 方法2：通过 Settings File → Settings... (或 CtrlAltS)…...
微服务通信安全：深入解析mTLS的原理与实践
🔥「炎码工坊」技术弹药已装填！ 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、引言：微服务时代的通信安全挑战 随着云原生和微服务架构的普及，服务间的通信安全成为系统设计的核心议题。传统的单体架构中&…...