当前位置： 首页 > news >正文

『大模型笔记』如何让小型语言模型发挥作用！

news 2026/4/4 18:05:57
如何让小型语言模型发挥作用！

文章目录

  • 一. 如何让小型语言模型发挥作用！
    • 不可能的可能性
    • 小模型的潜力
    • 创新方法与突破
    • 实践与验证
    • 过滤系统与数据质量
    • 小模型的逐步改进
    • 信息理论蒸馏方法(新工作InfoSum)
    • 总结与展望
    • Infini-Gram与N-gram模型的新时代
    • 后缀数组与高速计算
  • 二. 参考文献

  • 作者主页：https://homes.cs.washington.edu/~yejin/

一. 如何让小型语言模型发挥作用！

在这里插入图片描述

不可能的可能性

好吧，我今天要与你分享一些看似不可能的可能性。去年，有人问Sam Altman，印度的初创企业如何为印度创建基础模型时，他回答说：“不用费心了，这是没有希望的。”哇。首先，我希望印度的初创企业没有因此放弃，也不会放弃。其次，这种对话可能发生在任何地方。在美国的任何大学、初创企业或研究机构，即使它们没有那么多计算资源。所以，这里介绍一种“不可能的蒸馏”方法。如何以环保的方式训练你的小型语言模型，并且效果堪比大型模型。

目前，我们听到的成功配方是极大规模的预训练，然后是极大规模的后训练，如RLHF（人类反馈强化学习）

相关文章：

『大模型笔记』如何让小型语言模型发挥作用！

如何让小型语言模型发挥作用！ 文章目录 一. 如何让小型语言模型发挥作用！不可能的可能性小模型的潜力创新方法与突破实践与验证过滤系统与数据质量小模型的逐步改进信息理论蒸馏方法(新工作InfoSum)总结与展望Infini-Gram与N-gram模型的新时代后缀数组与高速计算二. 参考文献…...

编程日记 2024/6/23 3:09:12

jnp.diag

jnp.diag 是 JAX 库中用于创建对角矩阵或提取对角线元素的函数。具体功能取决于输入的形状： 当输入是一维数组时，jnp.diag 创建一个以该数组为对角线元素的对角矩阵。当输入是二维数组时，jnp.diag 提取并返回对角线元素。 函数签名 jnp.di…...

编程日记 2024/6/23 3:05:08

bert文本分类微调笔记

Bert实现文本分类微调Demo import random from collections import namedtuple 有四种文本需要做分类，请使用bert处理这个分类问题 # 使用namedtuple定义一个类别(Category)，包含两个字段：名称(name)和样例(samples) Category namedtuple(Ca…...

编程日记 2024/6/23 3:04:07

运维：k8s常用命令大全

Kubernetes是一个强大的容器编排平台，不管是运维、开发还是测试或多或少都会接触到，熟练的掌握k8s可大大提高工作效率和强化自身技能。 集群管理 1. 查看集群节点状态: kubectl get nodes 2. 查看集群资源使用情况: kubectl top nodes 3. 查看集群…...

编程日记 2024/6/23 3:02:05

PHP基础之错误与异常

文章目录 1 错误1.1 简介1.2 简单错误处理1.2.1 使用die1.2.2 die和exit区别 1.3 自定义错误处理1.3.1 定义1.3.2 创建错误函数 1.4 触发错误1.5 抑制错误1.5.1 行内错误抑制 2 异常2.1 引言2.2 什么是异常2.3 Try、throw、catch、finally2.4 自定义异常2.5 设置顶层异常处理器…...

编程日记 2024/6/23 3:01:03

详解Spring AOP（一）

目录 1. AOP概述 2.Spring AOP快速入门 2.1引入AOP依赖 2.2编写AOP程序 3.Spring AOP核心概念 3.1切点（PointCut） 3.2连接点（Join Point） 3.3通知（Advice） 3.4切面（Aspect） …...

编程日记 2024/6/23 2:53:56

读者写者问题（读者优先、公平竞争、写者优先）

1.读者优先 当有读者进程进行读时，允许多个读者同时读，但不允许写者写；当有写者进程进行写时，不允许其他写者写，也不允许读者读 读者算法： p(r_mutex); //申请修改read_count if read_count0:p(mutex); …...

编程日记 2024/6/23 2:52:55

Springboot开发之 Excel 处理工具（二）-- Easyexcel

一、Easyexcel 简介 EasyExcel是一个基于Java的Excel处理工具库，它的核心设计理念是快速、简洁，并且能够有效解决处理大文件时的内存溢出问题。使用EasyExcel，开发者可以在几乎不需要考虑性能和内存消耗的情况下，轻松实现Excel文…...

编程日记 2024/6/23 2:47:49

6月27日云技术研讨会 | 中央集中架构新车型功能和网络测试解决方案

会议摘要 “软件定义汽车”新时代下，整车电气电气架构向中央-区域集中式发展已成为行业共识，车型架构的变革带来更复杂的整车功能定义、更多的新技术的应用（如SOA服务化、TSN等）和更短的车型研发周期，对整车和新产品研…...

编程日记 2024/6/23 2:45:47

微信小程序生命周期

微信小程序的生命周期包括两个主要部分：应用生命周期和页面生命周期。下面我将详细介绍它们的具体内容。 应用生命周期 onLaunch： 触发时机：小程序初始化完成时（全局只触发一次）。 用途：通常用于进行一些…...

编程日记 2024/6/23 2:44:46

【JS重点15】原型对象概述

目录 一：构造函数缺陷 二：原型 1 原型是是什么 2 原型对象的作用 3 原型对象this指向问题 4 利用原型对象添加方法 给JS内置构造函数Array添加最大值方法 给JS内置构造函数Array添加求和方法 三：Constructor属性 四：如何…...

编程日记 2024/6/23 2:42:43

Java之Hutool/Guava/Apache Commons工具包项目实践

概述 Hutool是一个Java工具包,提供了丰富的工具类和方法,目的是简化开发任务提高开发效率;适用于需要快速开发和实现多种功能的场景,适合项目需要处理字符串、日期、文件等常见任务时~ toBeBetterJavaer/docs/common-tool/StringUtils.md at master itwanger/toBeBetterJavae…...

编程日记 2024/6/23 2:41:42

哈喽GPT-4o——对GPT-4o 提示词的思考与看法

目录 一、提示词二、常用的提示词案例1、写作助理2、改写为小红书风格3、英语翻译和改写4、论文式回答5、主题解构6、提问助手7、Nature风格润色8、结构总结9、编程助手10、充当终端/解释器 大家好，我是哪吒。 最近，ChatGPT在网络上广受欢迎&#xff0c…...

编程日记 2024/6/23 2:39:37

《计算机英语》 Unit 3 Software Engineering 软件工程

Section A Software Engineering Methodologies 软件工程方法论 Software development is an engineering process. 软件开发是一个工程过程。 The goal of researchers in software engineering is to find principles that guide the software development process and lea…...

编程日记 2024/6/23 2:37:35

2024-6-18(沉默Spring,Springboot)

1.Spring小结 我们最后再来体会一下用 Spring 创建对象的过程： 通过 ApplicationContext 这个 IoC 容器的入口，用它的两个具体的实现子类，从 class path 或者 file path 中读取数据，用 getBean() 获取具体的 bean instance。 那…...

编程日记 2024/6/23 2:35:32

Java热部署：让应用更新如丝般顺滑，告别繁琐重启！

目录 手动启动热部署 自动启动热部署 参与热部署监控的文件范围配置 关闭热部署 什么是热部署？简单说就是你程序改了，现在要重新启动服务器，嫌麻烦？不用重启，服务器会自己悄悄的把更新后的程序给重新加载一遍&…...

编程日记 2024/6/23 2:34:30

微信小程序毕业设计-小区疫情防控系统项目开发实战(附源码+论文)

大家好！我是程序猿老A，感谢您阅读本文，欢迎一键三连哦。 💞当前专栏：微信小程序毕业设计 精彩专栏推荐👇🏻👇🏻👇🏻 🎀 Python毕业设计…...

编程日记 2024/6/23 2:32:28

PyTorch -- RNN 快速实践

RNN Layer torch.nn.RNN(input_size,hidden_size,num_layers,batch_first) input_size: 输入的编码维度hidden_size: 隐含层的维数num_layers: 隐含层的层数batch_first: True 指定输入的参数顺序为： x：[batch, seq_len, input_size]h0：[batc…...

编程日记 2024/6/23 2:30:26

SpringBoot 快速入门（保姆级详细教程）

目录 一、Springboot简介 二、SpringBoot 优点： 三、快速入门 1、新建工程 方式2：使用Spring Initializr创建项目 写在前面： SpringBoot 是 Spring家族中的一个全新框架，用来简化spring程序的创建和开发过程。SpringBoot化繁…...

编程日记 2024/6/23 2:29:24

【第18章】Vue实战篇之登录界面

文章目录 前言一、数据绑定1. 数据绑定2. 数据清空 二、表单校验1. 代码2. 展示 三、登录1.登录按钮2.user.js3. login 四、展示总结 前言 上一章完成用户注册&#xff0c;这一章主要做用户登录。 一、数据绑定 登录和注册使用相同的数据绑定 1. 数据绑定 <!-- 登录表单 -…...

编程日记 2024/6/23 2:26:22

Apache Doris存储引擎实战：从LSM-Tree到列式存储的优化技巧

Apache Doris存储引擎实战&#xff1a;从LSM-Tree到列式存储的优化技巧 当你在深夜收到告警&#xff0c;发现Doris集群的写入延迟突然飙升到秒级&#xff1b;当你面对业务方"为什么查询变慢了"的灵魂拷问&#xff0c;却找不到明确原因——这些场景背后&#xff0c;往…...

编程新知 2026/4/4 17:41:43

从HTTP/3看TCP的困境：QUIC协议如何用UDP实现可靠传输？对比Wireshark抓包实例

HTTP/3时代TCP的困境与QUIC协议的革新之路 当你在手机上观看YouTube视频时&#xff0c;是否注意到缓冲速度比几年前快了许多&#xff1f;这背后隐藏着一场互联网传输协议的静默革命。传统TCP协议在移动互联网时代暴露出诸多局限性&#xff0c;而基于UDP的QUIC协议正在悄然改变游…...

编程新知 2026/4/4 17:01:01

3步实现飞书文档高效转换：Cloud Document Converter全场景解决方案

3步实现飞书文档高效转换&#xff1a;Cloud Document Converter全场景解决方案 【免费下载链接】cloud-document-converter Convert Lark Doc to Markdown 项目地址: https://gitcode.com/gh_mirrors/cl/cloud-document-converter 一、三大痛点&#xff1a;飞书文档管理…...

编程新知 2026/4/4 16:30:39

Socket.IO-Client-Swift终极指南：构建实时iOS应用的第一步

Socket.IO-Client-Swift终极指南&#xff1a;构建实时iOS应用的第一步 【免费下载链接】socket.io-client-swift 项目地址: https://gitcode.com/gh_mirrors/so/socket.io-client-swift Socket.IO-Client-Swift是一个强大的开源库&#xff0c;为iOS开发者提供了简单高效…...

编程新知 2026/4/4 14:46:58

从根源到优化：Visual C++ Redistributable AIO工具的5个技术维度解析

从根源到优化&#xff1a;Visual C Redistributable AIO工具的5个技术维度解析 【免费下载链接】vcredist AIO Repack for latest Microsoft Visual C Redistributable Runtimes 项目地址: https://gitcode.com/gh_mirrors/vc/vcredist 问题溯源&#xff1a;运行库故障的…...

编程新知 2026/4/4 14:32:48

解锁浏览器超能力：Greasy Fork用户脚本平台完全指南

解锁浏览器超能力&#xff1a;Greasy Fork用户脚本平台完全指南 【免费下载链接】greasyfork An online repository of user scripts. 项目地址: https://gitcode.com/gh_mirrors/gr/greasyfork 认知启蒙&#xff1a;重新认识浏览器脚本的价值 还在为浏览器功能不足烦恼…...

编程新知 2026/4/4 13:58:28

Vue甘特图实战：从零构建高效项目管理视图

1. 为什么选择VueECharts实现甘特图 在项目管理工具中&#xff0c;甘特图是最直观的任务排期展示方式。传统方案往往需要引入复杂的第三方库&#xff0c;而VueECharts的组合却能以最小成本实现专业效果。我去年负责一个电商大促项目时&#xff0c;就用这个方案替代了原本采购的…...

编程新知 2026/4/4 13:09:47

AI辅助开发实践：利用快马平台智能扩展用户行为分析分群功能

最近在做一个用户管理系统的功能扩展&#xff0c;需要增加智能用户分群功能。这个需求听起来简单&#xff0c;但实际操作中涉及到数据整合、算法选择、可视化展示等多个环节。好在发现了InsCode(快马)平台&#xff0c;它的AI辅助开发功能帮了大忙。 需求分析阶段 先用平台的AI对…...

编程新知 2026/4/4 12:06:20

Go Context 生命周期与控制流分析

Go Context 生命周期与控制流分析 在Go语言中&#xff0c;Context是控制并发任务生命周期和传递请求范围数据的重要机制。它广泛应用于超时控制、取消信号传递以及跨API边界的数据共享。理解Context的生命周期及其对控制流的影响&#xff0c;对于编写高效、健壮的并发程序至关…...

编程新知 2026/4/4 12:02:19

双向互转｜IEC104↔Modbus 工业网关，电力 / 工业现场一键通联

一、产品核心定位三格电子推出SG-IEC104-TCP与SG-TCP-IEC104两款工业级网关&#xff0c;专为电力、能源、智能制造场景打造&#xff0c;实现IEC104 与 Modbus 双向协议转换&#xff0c;兼容 DLT645 电表采集&#xff0c;支持 MQTT 上云&#xff0c;打通电力主站与现场设备的数据…...

编程新知 2026/4/4 11:54:14