当前位置： 首页 > news >正文

论文阅读：LM-Cocktail: Resilient Tuning of Language Models via Model Merging

news 2025/9/15 0:45:36

论文链接
代码链接

Abstract

预训练的语言模型不断进行微调，以更好地支持下游应用。然而，此操作可能会导致目标领域之外的通用任务的性能显著下降。为了克服这个问题，我们提出了LM Cocktail，它使微调后的模型在总体上保持弹性。我们的方法以模型合并（Model Merging）的形式进行，其中微调的语言模型通过加权平均与预训练的基础模型或其他领域的对等模型合并。尽管简单，LM Cocktail却出奇地有效：由此产生的模型在整个通用任务领域内拥有强大的性能，同时在其目标领域保持卓越的能力。我们在流行的基准测试（包括FLAN、MMLU、MTEB）上使用LLama和BGE模型进行了全面的实验，其结果验证了我们提出的方法的有效性。

1. Introduction

语言模型（LM）是人工智能和自然语言处理的基石。得益于训练规模和模型尺寸的大规模扩张，语言模型在各种NLP任务上取得了显著突破，包括表示（representation），

相关文章：

论文阅读：LM-Cocktail: Resilient Tuning of Language Models via Model Merging

论文链接 代码链接 Abstract 预训练的语言模型不断进行微调，以更好地支持下游应用。然而，此操作可能会导致目标领域之外的通用任务的性能显著下降。为了克服这个问题，我们提出了LM Cocktail，它使微调后的模型在总体上保持弹性。我们的方法以模型合并（Model Merging）的形…...

编程日记 2024/10/1 21:26:07

8640 希尔(shell)排序

### 思路 希尔排序是一种基于插入排序的排序算法，通过将待排序数组分割成多个子序列分别进行插入排序来提高效率。初始增量d为n/2，之后每次减半，直到d为1。 ### 伪代码 1. 读取输入的待排序关键字个数n。 2. 读取n个待排序关键字并存储在数组…...

编程日记 2024/10/1 21:24:04

Linux 安装redis主从模式+哨兵模式3台节点

下载 https://download.redis.io/releases/ 解压 tar -zxvf redis-7.2.4.tar.gz -C /opt chmod 777 -R /opt/redis-7.2.4/安装 # 编译 make # 安装， 一定是大写PREFIX make PREFIX/opt/redis-7.2.4/redis/ install配置为系统服务 cd /etc/systemd/system/主服务…...

编程日记 2024/10/1 21:23:03

[BCSP-X2024.小高3] 学习计划

题目描述 暑假共有 n 天，第 i 天的精力指数为 a[i]，你想要利用假期依次（按 1,2,...,m 顺序）复习 m 门功课，第 i 门功课的重要程度为 b[i]，且每门的复习时段必须连 续，并且不能有某天不干事。 …...

编程日记 2024/10/1 21:21:01

Android Debug Bridge（ADB）完全指南

文章目录 前言一、什么是ADB？二、ADB的工作原理ADB由三个部分组成： 三、如何安装ADBWindows系统：macOS和Linux系统： 四、ADB常用指令大全设备相关操作1. 查看连接的设备：2. 重启设备：3. 进入Bootloader模式…...

编程日记 2024/10/1 21:20:00

再次重逢，愿遍地繁花

再次重逢，愿遍地繁花 我并不是一个对最终幻想7很热衷的粉丝，也并没有像那些评论区的大佬，能够轻易地说出整部世界的全貌。说到底，我只是一个看完了《最终幻想7：重制版》和《最终幻想7：重生》的爱好者罢了。…...

编程日记 2024/10/1 21:17:58

数据结构和算法基础（一）

文章目录 链表反转链表合并删除链表倒数第 n 个结点找链表的中间结点链表中环的检测排序算法递归 趁空闲时间刷一遍极客时间上王争的《数据结构与算法之美》课程，个人觉得写的很好，每章节由浅入深且从基础到引入设计类问题，如果写过很多代码想…...

编程日记 2024/10/1 21:14:56

【超长好文】网络安全从业者面试指南

文章为笔者偶然看到的github项目《网络安全面试指南》，作者FeeiCN，读完内容深感作者的用心，尽管一些观点因为时间原因与当下行情存在差异，但仍旧值得大家参考，希望能给大家在这行业寒冬带来一些启发，愿正在…...

编程日记 2024/10/1 21:13:55

基于大数据的高校新生数据可视化分析系统

作者：计算机学姐 开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。 专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏：…...

编程日记 2024/10/1 21:12:54

【cache】浅析四种常用的缓存淘汰算法 FIFO/LRU/LFU/W-TinyLFU

本文浅析淘汰策略与工作中结合使用、选取，并非针对算法本身如何实现的 文章目录 FIFOLFULRUW-TinyLFU实践与优化监控与调整 FIFO first input first output ， 先进先出，即最早存入的元素最先取出， 典型数据结构代表：…...

编程日记 2024/10/1 21:11:53

STM32的DMA技术介绍

DMA（Direct Memory Access，直接内存访问） 是一种允许外设直接与系统内存进行数据传输，而无需经过CPU的技术。在STM32微控制器中，DMA技术极大地提高了数据传输效率，降低了CPU的负担，从而提升系统…...

编程日记 2024/10/1 21:08:50

C++11 多线程编程-小白零基础到手撕线程池

提示：文章 文章目录 前言一、背景二、 2.1 2.2 总结 前言 前期疑问： 本文目标： 一、背景 来源于b站视频 C11 多线程编程-小白零基础到手撕线程池 学习来源：https://www.bilibili.com/video/BV1d841117SH/?p2&spm_id_f…...

编程日记 2024/10/1 21:05:47

智源研究院与百度达成战略合作 共建AI产研协同生态

2024年9月24日，北京智源人工智能研究院（简称“智源研究院”）与北京百度网讯科技有限公司（简称“百度”）正式签署战略合作协议，双方将充分发挥互补优势，在大模型等领域展开深度合作，共…...

编程日记 2024/10/1 21:03:45

Flask-SQLAlchemy：在Flask应用中优雅地操作数据库

在Python的Web开发领域，Flask是一个备受欢迎的轻量级Web框架，它以简洁、灵活而著称。而当我们需要在Flask应用中与数据库进行交互时，Flask-SQLAlchemy就成为了一个强大而便捷的工具。它将Flask的简洁性与SQLAlchemy的强大数据库抽象能力完美结…...

编程日记 2024/10/1 21:02:44

智能巡检机器人 数据库

智能巡检机器人AI智能识别。无需人工。只需后台监控结果即可！...

编程日记 2024/10/1 21:01:43

Spring AOP异步操作实现

在Spring框架中，AOP（面向切面编程）提供了一种非常灵活的方式来增强应用程序的功能。异步操作是现代应用程序中常见的需求，尤其是在处理耗时任务时，它可以帮助我们提高应用程序的响应性和吞吐量。Spring提供了一种简单的…...

编程日记 2024/10/1 21:00:42

【2006.07】UMLS工具——MetaMap原理深度解析

文献：《MetaMap: Mapping Text to the UMLS Metathesaurus》2006 年 7 月 14 日 https://lhncbc.nlm.nih.gov/ii/information/Papers/metamap06.pdf MetaMap：将文本映射到 UMLS 元数据库 总结 解决的问题 自动概念映射问题：解决如何将文本…...

编程日记 2024/10/1 20:58:40

ros2 colcon build 构建后，install中的local_setup.bash 和setup.bash有什么区别

功能概述 在 ROS2 中，colcon build是用于构建软件包的工具。构建完成后会生成install文件夹，其中的setup.bash和local_setup.bash文件都与环境设置相关，但存在一些区别。setup.bash 作用范围 setup.bash文件用于设置整个工作空间的环境变量。…...

编程日记 2024/10/1 20:49:29

Thymeleaf基础语法

Thymeleaf 是一种用于 Web 和非 Web 环境的现代服务器端 Java 模板引擎。它能够处理 HTML、XML、JavaScript、CSS 甚至纯文本。以下是 Thymeleaf 的一些基础语法&#xff1a; 1. 变量表达式 <!-- 显示变量的值 --> <p th:text"${name}">Default Name&l…...

编程日记 2024/10/1 20:46:25

spring cloud alibaba学习路线

以下是一条学习Spring Cloud Alibaba的路线&#xff1a; 一、基础前置知识 1. Java基础 熟练掌握Java语言特性&#xff0c;包括面向对象编程、集合框架、多线程等知识。 2. Spring和Spring Boot基础深入理解Spring框架&#xff0c;如依赖注入&#xff08;DI&#xff09;、控…...

编程日记 2024/10/1 20:43:18

基于服务器使用 apt 安装、配置 Nginx

&#x1f9fe; 一、查看可安装的 Nginx 版本 首先&#xff0c;你可以运行以下命令查看可用版本&#xff1a; apt-cache madison nginx-core输出示例&#xff1a; nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...

编程新知 2025/8/26 18:00:13

Psychopy音频的使用

Psychopy音频的使用 本文主要解决以下问题&#xff1a; 指定音频引擎与设备&#xff1b;播放音频文件 本文所使用的环境&#xff1a; Python3.10 numpy2.2.6 psychopy2025.1.1 psychtoolbox3.0.19.14 一、音频配置 Psychopy文档链接为Sound - for audio playback — Psy…...

编程新知 2025/8/25 11:07:48

DBAPI如何优雅的获取单条数据

API如何优雅的获取单条数据 案例一 对于查询类API&#xff0c;查询的是单条数据&#xff0c;比如根据主键ID查询用户信息&#xff0c;sql如下&#xff1a; select id, name, age from user where id #{id}API默认返回的数据格式是多条的&#xff0c;如下&#xff1a; {&qu…...

编程新知 2025/8/21 2:18:11

OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别

OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别 直接训练提示词嵌入向量的核心区别 您提到的代码： prompt_embedding = initial_embedding.clone().requires_grad_(True) optimizer = torch.optim.Adam([prompt_embedding...

编程新知 2025/7/4 0:50:01

C++八股 —— 单例模式

文章目录 1. 基本概念2. 设计要点3. 实现方式4. 详解懒汉模式 1. 基本概念 线程安全&#xff08;Thread Safety&#xff09; 线程安全是指在多线程环境下&#xff0c;某个函数、类或代码片段能够被多个线程同时调用时&#xff0c;仍能保证数据的一致性和逻辑的正确性&#xf…...

编程新知 2025/7/6 22:10:07

学习STC51单片机32（芯片为STC89C52RCRC）OLED显示屏2

每日一言 今天的每一份坚持&#xff0c;都是在为未来积攒底气。 案例&#xff1a;OLED显示一个A 这边观察到一个点&#xff0c;怎么雪花了就是都是乱七八糟的占满了屏幕。。 解释 &#xff1a; 如果代码里信号切换太快&#xff08;比如 SDA 刚变&#xff0c;SCL 立刻变&#…...

编程新知 2025/9/7 8:51:23

AI书签管理工具开发全记录（十九）：嵌入资源处理

1.前言 &#x1f4dd; 在上一篇文章中&#xff0c;我们完成了书签的导入导出功能。本篇文章我们研究如何处理嵌入资源&#xff0c;方便后续将资源打包到一个可执行文件中。 2.embed介绍 &#x1f3af; Go 1.16 引入了革命性的 embed 包&#xff0c;彻底改变了静态资源管理的…...

编程新知 2025/9/9 18:41:56

Springboot社区养老保险系统小程序

一、前言 随着我国经济迅速发展&#xff0c;人们对手机的需求越来越大&#xff0c;各种手机软件也都在被广泛应用&#xff0c;但是对于手机进行数据信息管理&#xff0c;对于手机的各种软件也是备受用户的喜爱&#xff0c;社区养老保险系统小程序被用户普遍使用&#xff0c;为方…...

编程新知 2025/9/9 10:09:41

排序算法总结（C++）

目录 一、稳定性二、排序算法选择、冒泡、插入排序归并排序随机快速排序堆排序基数排序计数排序 三、总结 一、稳定性 排序算法的稳定性是指&#xff1a;同样大小的样本 **&#xff08;同样大小的数据&#xff09;**在排序之后不会改变原始的相对次序。 稳定性对基础类型对象…...

编程新知 2025/9/14 0:25:25

Selenium常用函数介绍

目录 一&#xff0c;元素定位 1.1 cssSeector 1.2 xpath 二&#xff0c;操作测试对象 三&#xff0c;窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四&#xff0c;弹窗 五&#xff0c;等待 六&#xff0c;导航 七&#xff0c;文件上传 …...

编程新知 2025/9/3 20:57:36