当前位置： 首页 > news >正文

『大模型笔记』如何让小型语言模型发挥作用！

news 2025/7/7 8:20:48
如何让小型语言模型发挥作用！

文章目录

  • 一. 如何让小型语言模型发挥作用！
    • 不可能的可能性
    • 小模型的潜力
    • 创新方法与突破
    • 实践与验证
    • 过滤系统与数据质量
    • 小模型的逐步改进
    • 信息理论蒸馏方法(新工作InfoSum)
    • 总结与展望
    • Infini-Gram与N-gram模型的新时代
    • 后缀数组与高速计算
  • 二. 参考文献

  • 作者主页：https://homes.cs.washington.edu/~yejin/

一. 如何让小型语言模型发挥作用！

在这里插入图片描述

不可能的可能性

好吧，我今天要与你分享一些看似不可能的可能性。去年，有人问Sam Altman，印度的初创企业如何为印度创建基础模型时，他回答说：“不用费心了，这是没有希望的。”哇。首先，我希望印度的初创企业没有因此放弃，也不会放弃。其次，这种对话可能发生在任何地方。在美国的任何大学、初创企业或研究机构，即使它们没有那么多计算资源。所以，这里介绍一种“不可能的蒸馏”方法。如何以环保的方式训练你的小型语言模型，并且效果堪比大型模型。

目前，我们听到的成功配方是极大规模的预训练，然后是极大规模的后训练，如RLHF（人类反馈强化学习）

相关文章：

『大模型笔记』如何让小型语言模型发挥作用！

如何让小型语言模型发挥作用！ 文章目录 一. 如何让小型语言模型发挥作用！不可能的可能性小模型的潜力创新方法与突破实践与验证过滤系统与数据质量小模型的逐步改进信息理论蒸馏方法(新工作InfoSum)总结与展望Infini-Gram与N-gram模型的新时代后缀数组与高速计算二. 参考文献…...

编程日记 2024/6/23 3:09:12

jnp.diag

jnp.diag 是 JAX 库中用于创建对角矩阵或提取对角线元素的函数。具体功能取决于输入的形状： 当输入是一维数组时，jnp.diag 创建一个以该数组为对角线元素的对角矩阵。当输入是二维数组时，jnp.diag 提取并返回对角线元素。 函数签名 jnp.di…...

编程日记 2024/6/23 3:05:08

bert文本分类微调笔记

Bert实现文本分类微调Demo import random from collections import namedtuple 有四种文本需要做分类，请使用bert处理这个分类问题 # 使用namedtuple定义一个类别(Category)，包含两个字段：名称(name)和样例(samples) Category namedtuple(Ca…...

编程日记 2024/6/23 3:04:07

运维：k8s常用命令大全

Kubernetes是一个强大的容器编排平台，不管是运维、开发还是测试或多或少都会接触到，熟练的掌握k8s可大大提高工作效率和强化自身技能。 集群管理 1. 查看集群节点状态: kubectl get nodes 2. 查看集群资源使用情况: kubectl top nodes 3. 查看集群…...

编程日记 2024/6/23 3:02:05

PHP基础之错误与异常

文章目录 1 错误1.1 简介1.2 简单错误处理1.2.1 使用die1.2.2 die和exit区别 1.3 自定义错误处理1.3.1 定义1.3.2 创建错误函数 1.4 触发错误1.5 抑制错误1.5.1 行内错误抑制 2 异常2.1 引言2.2 什么是异常2.3 Try、throw、catch、finally2.4 自定义异常2.5 设置顶层异常处理器…...

编程日记 2024/6/23 3:01:03

详解Spring AOP（一）

目录 1. AOP概述 2.Spring AOP快速入门 2.1引入AOP依赖 2.2编写AOP程序 3.Spring AOP核心概念 3.1切点（PointCut） 3.2连接点（Join Point） 3.3通知（Advice） 3.4切面（Aspect） …...

编程日记 2024/6/23 2:53:56

读者写者问题（读者优先、公平竞争、写者优先）

1.读者优先 当有读者进程进行读时，允许多个读者同时读，但不允许写者写；当有写者进程进行写时，不允许其他写者写，也不允许读者读 读者算法： p(r_mutex); //申请修改read_count if read_count0:p(mutex); …...

编程日记 2024/6/23 2:52:55

Springboot开发之 Excel 处理工具（二）-- Easyexcel

一、Easyexcel 简介 EasyExcel是一个基于Java的Excel处理工具库，它的核心设计理念是快速、简洁，并且能够有效解决处理大文件时的内存溢出问题。使用EasyExcel，开发者可以在几乎不需要考虑性能和内存消耗的情况下，轻松实现Excel文…...

编程日记 2024/6/23 2:47:49

6月27日云技术研讨会 | 中央集中架构新车型功能和网络测试解决方案

会议摘要 “软件定义汽车”新时代下，整车电气电气架构向中央-区域集中式发展已成为行业共识，车型架构的变革带来更复杂的整车功能定义、更多的新技术的应用（如SOA服务化、TSN等）和更短的车型研发周期，对整车和新产品研…...

编程日记 2024/6/23 2:45:47

微信小程序生命周期

微信小程序的生命周期包括两个主要部分：应用生命周期和页面生命周期。下面我将详细介绍它们的具体内容。 应用生命周期 onLaunch： 触发时机：小程序初始化完成时（全局只触发一次）。 用途：通常用于进行一些…...

编程日记 2024/6/23 2:44:46

【JS重点15】原型对象概述

目录 一：构造函数缺陷 二：原型 1 原型是是什么 2 原型对象的作用 3 原型对象this指向问题 4 利用原型对象添加方法 给JS内置构造函数Array添加最大值方法 给JS内置构造函数Array添加求和方法 三：Constructor属性 四：如何…...

编程日记 2024/6/23 2:42:43

Java之Hutool/Guava/Apache Commons工具包项目实践

概述 Hutool是一个Java工具包,提供了丰富的工具类和方法,目的是简化开发任务提高开发效率;适用于需要快速开发和实现多种功能的场景,适合项目需要处理字符串、日期、文件等常见任务时~ toBeBetterJavaer/docs/common-tool/StringUtils.md at master itwanger/toBeBetterJavae…...

编程日记 2024/6/23 2:41:42

哈喽GPT-4o——对GPT-4o 提示词的思考与看法

目录 一、提示词二、常用的提示词案例1、写作助理2、改写为小红书风格3、英语翻译和改写4、论文式回答5、主题解构6、提问助手7、Nature风格润色8、结构总结9、编程助手10、充当终端/解释器 大家好，我是哪吒。 最近，ChatGPT在网络上广受欢迎&#xff0c…...

编程日记 2024/6/23 2:39:37

《计算机英语》 Unit 3 Software Engineering 软件工程

Section A Software Engineering Methodologies 软件工程方法论 Software development is an engineering process. 软件开发是一个工程过程。 The goal of researchers in software engineering is to find principles that guide the software development process and lea…...

编程日记 2024/6/23 2:37:35

2024-6-18(沉默Spring,Springboot)

1.Spring小结 我们最后再来体会一下用 Spring 创建对象的过程： 通过 ApplicationContext 这个 IoC 容器的入口，用它的两个具体的实现子类，从 class path 或者 file path 中读取数据，用 getBean() 获取具体的 bean instance。 那…...

编程日记 2024/6/23 2:35:32

Java热部署：让应用更新如丝般顺滑，告别繁琐重启！

目录 手动启动热部署 自动启动热部署 参与热部署监控的文件范围配置 关闭热部署 什么是热部署？简单说就是你程序改了，现在要重新启动服务器，嫌麻烦？不用重启，服务器会自己悄悄的把更新后的程序给重新加载一遍&…...

编程日记 2024/6/23 2:34:30

微信小程序毕业设计-小区疫情防控系统项目开发实战(附源码+论文)

大家好！我是程序猿老A，感谢您阅读本文，欢迎一键三连哦。 💞当前专栏：微信小程序毕业设计 精彩专栏推荐👇🏻👇🏻👇🏻 🎀 Python毕业设计…...

编程日记 2024/6/23 2:32:28

PyTorch -- RNN 快速实践

RNN Layer torch.nn.RNN(input_size,hidden_size,num_layers,batch_first) input_size: 输入的编码维度hidden_size: 隐含层的维数num_layers: 隐含层的层数batch_first: True 指定输入的参数顺序为： x：[batch, seq_len, input_size]h0：[batc…...

编程日记 2024/6/23 2:30:26

SpringBoot 快速入门（保姆级详细教程）

目录 一、Springboot简介 二、SpringBoot 优点： 三、快速入门 1、新建工程 方式2：使用Spring Initializr创建项目 写在前面： SpringBoot 是 Spring家族中的一个全新框架，用来简化spring程序的创建和开发过程。SpringBoot化繁…...

编程日记 2024/6/23 2:29:24

【第18章】Vue实战篇之登录界面

文章目录 前言一、数据绑定1. 数据绑定2. 数据清空 二、表单校验1. 代码2. 展示 三、登录1.登录按钮2.user.js3. login 四、展示总结 前言 上一章完成用户注册&#xff0c;这一章主要做用户登录。 一、数据绑定 登录和注册使用相同的数据绑定 1. 数据绑定 <!-- 登录表单 -…...

编程日记 2024/6/23 2:26:22

C++初阶-list的底层

目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...

编程新知 2025/7/6 20:01:50

页面渲染流程与性能优化

页面渲染流程与性能优化详解&#xff08;完整版&#xff09; 一、现代浏览器渲染流程&#xff08;详细说明&#xff09; 1. 构建DOM树 浏览器接收到HTML文档后&#xff0c;会逐步解析并构建DOM&#xff08;Document Object Model&#xff09;树。具体过程如下&#xff1a; (…...

编程新知 2025/7/7 0:36:50

Cinnamon修改面板小工具图标

Cinnamon开始菜单-CSDN博客 设置模块都是做好的&#xff0c;比GNOME简单得多&#xff01; 在 applet.js 里增加 const Settings imports.ui.settings;this.settings new Settings.AppletSettings(this, HTYMenusonichy, instance_id); this.settings.bind(menu-icon, menu…...

编程新知 2025/7/7 0:36:29

令牌桶 滑动窗口-＞限流 分布式信号量-＞限并发的原理 lua脚本分析介绍

文章目录 前言限流限制并发的实际理解限流令牌桶代码实现结果分析令牌桶lua的模拟实现原理总结&#xff1a; 滑动窗口代码实现结果分析lua脚本原理解析 限并发分布式信号量代码实现结果分析lua脚本实现原理 双注解去实现限流 并发结果分析&#xff1a; 实际业务去理解体会统一注…...

编程新知 2025/7/7 1:07:56

Axios请求超时重发机制

Axios 超时重新请求实现方案 在 Axios 中实现超时重新请求可以通过以下几种方式&#xff1a; 1. 使用拦截器实现自动重试 import axios from axios;// 创建axios实例 const instance axios.create();// 设置超时时间 instance.defaults.timeout 5000;// 最大重试次数 cons…...

编程新知 2025/6/21 10:09:08

高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数

高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数 在软件开发中，单例模式（Singleton Pattern）是一种常见的设计模式，确保一个类仅有一个实例，并提供一个全局访问点。在多线程环境下，实现单例模式时需要注意线程安全问题，以防止多个线程同时创建实例，导致…...

编程新知 2025/6/21 15:17:11

使用Spring AI和MCP协议构建图片搜索服务

目录 使用Spring AI和MCP协议构建图片搜索服务 引言 技术栈概览 项目架构设计 架构图 服务端开发 1. 创建Spring Boot项目 2. 实现图片搜索工具 3. 配置传输模式 Stdio模式&#xff08;本地调用&#xff09; SSE模式&#xff08;远程调用&#xff09; 4. 注册工具提…...

编程新知 2025/7/5 15:39:29

零知开源——STM32F103RBT6驱动 ICM20948 九轴传感器及 vofa + 上位机可视化教程

STM32F1 本教程使用零知标准板&#xff08;STM32F103RBT6&#xff09;通过I2C驱动ICM20948九轴传感器&#xff0c;实现姿态解算&#xff0c;并通过串口将数据实时发送至VOFA上位机进行3D可视化。代码基于开源库修改优化&#xff0c;适合嵌入式及物联网开发者。在基础驱动上新增…...

编程新知 2025/7/6 7:49:03

学习一下用鸿蒙​​DevEco Studio HarmonyOS5实现百度地图

在鸿蒙&#xff08;HarmonyOS5&#xff09;中集成百度地图&#xff0c;可以通过以下步骤和技术方案实现。结合鸿蒙的分布式能力和百度地图的API&#xff0c;可以构建跨设备的定位、导航和地图展示功能。 ​​1. 鸿蒙环境准备​​ ​​开发工具​​&#xff1a;下载安装 ​​De…...

编程新知 2025/6/16 7:49:31

Leetcode33（ 搜索旋转排序数组）

题目表述 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&#xff09;上进行了 旋转&#xff0c;使数组变为 [nums[k], nums[k1], …, nums[n-1], nums[0], nu…...

编程新知 2025/7/6 1:54:27