当前位置： 首页 > news >正文

『大模型笔记』如何让小型语言模型发挥作用！

news 2025/11/7 13:49:51
如何让小型语言模型发挥作用！

文章目录

  • 一. 如何让小型语言模型发挥作用！
    • 不可能的可能性
    • 小模型的潜力
    • 创新方法与突破
    • 实践与验证
    • 过滤系统与数据质量
    • 小模型的逐步改进
    • 信息理论蒸馏方法(新工作InfoSum)
    • 总结与展望
    • Infini-Gram与N-gram模型的新时代
    • 后缀数组与高速计算
  • 二. 参考文献

  • 作者主页：https://homes.cs.washington.edu/~yejin/

一. 如何让小型语言模型发挥作用！

在这里插入图片描述

不可能的可能性

好吧，我今天要与你分享一些看似不可能的可能性。去年，有人问Sam Altman，印度的初创企业如何为印度创建基础模型时，他回答说：“不用费心了，这是没有希望的。”哇。首先，我希望印度的初创企业没有因此放弃，也不会放弃。其次，这种对话可能发生在任何地方。在美国的任何大学、初创企业或研究机构，即使它们没有那么多计算资源。所以，这里介绍一种“不可能的蒸馏”方法。如何以环保的方式训练你的小型语言模型，并且效果堪比大型模型。

目前，我们听到的成功配方是极大规模的预训练，然后是极大规模的后训练，如RLHF（人类反馈强化学习）

相关文章：

『大模型笔记』如何让小型语言模型发挥作用！

如何让小型语言模型发挥作用！ 文章目录 一. 如何让小型语言模型发挥作用！不可能的可能性小模型的潜力创新方法与突破实践与验证过滤系统与数据质量小模型的逐步改进信息理论蒸馏方法(新工作InfoSum)总结与展望Infini-Gram与N-gram模型的新时代后缀数组与高速计算二. 参考文献…...

编程日记 2024/6/23 3:09:12

jnp.diag

jnp.diag 是 JAX 库中用于创建对角矩阵或提取对角线元素的函数。具体功能取决于输入的形状： 当输入是一维数组时，jnp.diag 创建一个以该数组为对角线元素的对角矩阵。当输入是二维数组时，jnp.diag 提取并返回对角线元素。 函数签名 jnp.di…...

编程日记 2024/6/23 3:05:08

bert文本分类微调笔记

Bert实现文本分类微调Demo import random from collections import namedtuple 有四种文本需要做分类，请使用bert处理这个分类问题 # 使用namedtuple定义一个类别(Category)，包含两个字段：名称(name)和样例(samples) Category namedtuple(Ca…...

编程日记 2024/6/23 3:04:07

运维：k8s常用命令大全

Kubernetes是一个强大的容器编排平台，不管是运维、开发还是测试或多或少都会接触到，熟练的掌握k8s可大大提高工作效率和强化自身技能。 集群管理 1. 查看集群节点状态: kubectl get nodes 2. 查看集群资源使用情况: kubectl top nodes 3. 查看集群…...

编程日记 2024/6/23 3:02:05

PHP基础之错误与异常

文章目录 1 错误1.1 简介1.2 简单错误处理1.2.1 使用die1.2.2 die和exit区别 1.3 自定义错误处理1.3.1 定义1.3.2 创建错误函数 1.4 触发错误1.5 抑制错误1.5.1 行内错误抑制 2 异常2.1 引言2.2 什么是异常2.3 Try、throw、catch、finally2.4 自定义异常2.5 设置顶层异常处理器…...

编程日记 2024/6/23 3:01:03

详解Spring AOP（一）

目录 1. AOP概述 2.Spring AOP快速入门 2.1引入AOP依赖 2.2编写AOP程序 3.Spring AOP核心概念 3.1切点（PointCut） 3.2连接点（Join Point） 3.3通知（Advice） 3.4切面（Aspect） …...

编程日记 2024/6/23 2:53:56

读者写者问题（读者优先、公平竞争、写者优先）

1.读者优先 当有读者进程进行读时，允许多个读者同时读，但不允许写者写；当有写者进程进行写时，不允许其他写者写，也不允许读者读 读者算法： p(r_mutex); //申请修改read_count if read_count0:p(mutex); …...

编程日记 2024/6/23 2:52:55

Springboot开发之 Excel 处理工具（二）-- Easyexcel

一、Easyexcel 简介 EasyExcel是一个基于Java的Excel处理工具库，它的核心设计理念是快速、简洁，并且能够有效解决处理大文件时的内存溢出问题。使用EasyExcel，开发者可以在几乎不需要考虑性能和内存消耗的情况下，轻松实现Excel文…...

编程日记 2024/6/23 2:47:49

6月27日云技术研讨会 | 中央集中架构新车型功能和网络测试解决方案

会议摘要 “软件定义汽车”新时代下，整车电气电气架构向中央-区域集中式发展已成为行业共识，车型架构的变革带来更复杂的整车功能定义、更多的新技术的应用（如SOA服务化、TSN等）和更短的车型研发周期，对整车和新产品研…...

编程日记 2024/6/23 2:45:47

微信小程序生命周期

微信小程序的生命周期包括两个主要部分：应用生命周期和页面生命周期。下面我将详细介绍它们的具体内容。 应用生命周期 onLaunch： 触发时机：小程序初始化完成时（全局只触发一次）。 用途：通常用于进行一些…...

编程日记 2024/6/23 2:44:46

【JS重点15】原型对象概述

目录 一：构造函数缺陷 二：原型 1 原型是是什么 2 原型对象的作用 3 原型对象this指向问题 4 利用原型对象添加方法 给JS内置构造函数Array添加最大值方法 给JS内置构造函数Array添加求和方法 三：Constructor属性 四：如何…...

编程日记 2024/6/23 2:42:43

Java之Hutool/Guava/Apache Commons工具包项目实践

概述 Hutool是一个Java工具包,提供了丰富的工具类和方法,目的是简化开发任务提高开发效率;适用于需要快速开发和实现多种功能的场景,适合项目需要处理字符串、日期、文件等常见任务时~ toBeBetterJavaer/docs/common-tool/StringUtils.md at master itwanger/toBeBetterJavae…...

编程日记 2024/6/23 2:41:42

哈喽GPT-4o——对GPT-4o 提示词的思考与看法

目录 一、提示词二、常用的提示词案例1、写作助理2、改写为小红书风格3、英语翻译和改写4、论文式回答5、主题解构6、提问助手7、Nature风格润色8、结构总结9、编程助手10、充当终端/解释器 大家好，我是哪吒。 最近，ChatGPT在网络上广受欢迎&#xff0c…...

编程日记 2024/6/23 2:39:37

《计算机英语》 Unit 3 Software Engineering 软件工程

Section A Software Engineering Methodologies 软件工程方法论 Software development is an engineering process. 软件开发是一个工程过程。 The goal of researchers in software engineering is to find principles that guide the software development process and lea…...

编程日记 2024/6/23 2:37:35

2024-6-18(沉默Spring,Springboot)

1.Spring小结 我们最后再来体会一下用 Spring 创建对象的过程： 通过 ApplicationContext 这个 IoC 容器的入口，用它的两个具体的实现子类，从 class path 或者 file path 中读取数据，用 getBean() 获取具体的 bean instance。 那…...

编程日记 2024/6/23 2:35:32

Java热部署：让应用更新如丝般顺滑，告别繁琐重启！

目录 手动启动热部署 自动启动热部署 参与热部署监控的文件范围配置 关闭热部署 什么是热部署？简单说就是你程序改了，现在要重新启动服务器，嫌麻烦？不用重启，服务器会自己悄悄的把更新后的程序给重新加载一遍&…...

编程日记 2024/6/23 2:34:30

微信小程序毕业设计-小区疫情防控系统项目开发实战(附源码+论文)

大家好！我是程序猿老A，感谢您阅读本文，欢迎一键三连哦。 💞当前专栏：微信小程序毕业设计 精彩专栏推荐👇🏻👇🏻👇🏻 🎀 Python毕业设计…...

编程日记 2024/6/23 2:32:28

PyTorch -- RNN 快速实践

RNN Layer torch.nn.RNN(input_size,hidden_size,num_layers,batch_first) input_size: 输入的编码维度hidden_size: 隐含层的维数num_layers: 隐含层的层数batch_first: True 指定输入的参数顺序为： x：[batch, seq_len, input_size]h0：[batc…...

编程日记 2024/6/23 2:30:26

SpringBoot 快速入门（保姆级详细教程）

目录 一、Springboot简介 二、SpringBoot 优点： 三、快速入门 1、新建工程 方式2：使用Spring Initializr创建项目 写在前面： SpringBoot 是 Spring家族中的一个全新框架，用来简化spring程序的创建和开发过程。SpringBoot化繁…...

编程日记 2024/6/23 2:29:24

【第18章】Vue实战篇之登录界面

文章目录 前言一、数据绑定1. 数据绑定2. 数据清空 二、表单校验1. 代码2. 展示 三、登录1.登录按钮2.user.js3. login 四、展示总结 前言 上一章完成用户注册&#xff0c;这一章主要做用户登录。 一、数据绑定 登录和注册使用相同的数据绑定 1. 数据绑定 <!-- 登录表单 -…...

编程日记 2024/6/23 2:26:22

vscode（仍待补充）

写于2025 6.9 主包将加入vscode这个更权威的圈子 vscode的基本使用 侧边栏 vscode还能连接ssh&#xff1f; debug时使用的launch文件 1.task.json {"tasks": [{"type": "cppbuild","label": "C/C: gcc.exe 生成活动文件"…...

编程新知 2025/11/2 23:03:56

基于服务器使用 apt 安装、配置 Nginx

&#x1f9fe; 一、查看可安装的 Nginx 版本 首先&#xff0c;你可以运行以下命令查看可用版本&#xff1a; apt-cache madison nginx-core输出示例&#xff1a; nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...

编程新知 2025/8/26 18:00:13

django filter 统计数量 按属性去重

在Django中&#xff0c;如果你想要根据某个属性对查询集进行去重并统计数量&#xff0c;你可以使用values()方法配合annotate()方法来实现。这里有两种常见的方法来完成这个需求&#xff1a; 方法1&#xff1a;使用annotate()和Count 假设你有一个模型Item&#xff0c;并且你想…...

编程新知 2025/9/29 21:28:27

Java入门学习详细版（一）

大家好&#xff0c;Java 学习是一个系统学习的过程&#xff0c;核心原则就是“理论 实践 坚持”&#xff0c;并且需循序渐进&#xff0c;不可过于着急&#xff0c;本篇文章推出的这份详细入门学习资料将带大家从零基础开始&#xff0c;逐步掌握 Java 的核心概念和编程技能。 …...

编程新知 2025/7/27 0:21:52

多种风格导航菜单 HTML 实现（附源码）

下面我将为您展示 6 种不同风格的导航菜单实现&#xff0c;每种都包含完整 HTML、CSS 和 JavaScript 代码。 1. 简约水平导航栏 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport&qu…...

编程新知 2025/10/30 22:15:39

自然语言处理——循环神经网络

自然语言处理——循环神经网络 循环神经网络应用到基于机器学习的自然语言处理任务序列到类别同步的序列到序列模式异步的序列到序列模式 参数学习和长程依赖问题基于门控的循环神经网络门控循环单元&#xff08;GRU&#xff09;长短期记忆神经网络&#xff08;LSTM&#xff09…...

编程新知 2025/11/3 17:55:04

Springboot社区养老保险系统小程序

一、前言 随着我国经济迅速发展&#xff0c;人们对手机的需求越来越大&#xff0c;各种手机软件也都在被广泛应用&#xff0c;但是对于手机进行数据信息管理&#xff0c;对于手机的各种软件也是备受用户的喜爱&#xff0c;社区养老保险系统小程序被用户普遍使用&#xff0c;为方…...

编程新知 2025/11/3 20:53:27

浪潮交换机配置track检测实现高速公路收费网络主备切换NQA

浪潮交换机track配置 项目背景高速网络拓扑网络情况分析通信线路收费网络路由 收费汇聚交换机相应配置收费汇聚track配置 项目背景 在实施省内一条高速公路时遇到的需求&#xff0c;本次涉及的主要是收费汇聚交换机的配置&#xff0c;浪潮网络设备在高速项目很少&#xff0c;通…...

编程新知 2025/11/7 7:02:38

推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材)

推荐 github 项目:GeminiImageApp(图片生成方向&#xff0c;可以做一定的素材) 这个项目能干嘛? 使用 gemini 2.0 的 api 和 google 其他的 api 来做衍生处理 简化和优化了文生图和图生图的行为(我的最主要) 并且有一些目标检测和切割(我用不到) 视频和 imagefx 因为没 a…...

编程新知 2025/10/27 6:22:43

安全突围：重塑内生安全体系：齐向东在2025年BCS大会的演讲

文章目录 前言第一部分&#xff1a;体系力量是突围之钥第一重困境是体系思想落地不畅。第二重困境是大小体系融合瓶颈。第三重困境是“小体系”运营梗阻。 第二部分&#xff1a;体系矛盾是突围之障一是数据孤岛的障碍。二是投入不足的障碍。三是新旧兼容难的障碍。 第三部分&am…...

编程新知 2025/10/26 13:12:06