[论文笔记] 自对齐指令反翻译：SELF-ALIGNMENT WITH INSTRUCTION BACKTRANSLATION
https://arxiv.org/pdf/2308.06259
这篇论文介绍了一种名为“指令反向翻译”（instruction backtranslation）的方法，用于通过自动标记人类书写的文本和相应的指令来构建高质量的指令跟随语言模型。这里是一个通俗易懂的解释：
一、背景
通常，训练一个高质量的指令跟随语言模型需要大量的手工标注的数据，这些数据非常昂贵且耗时。为了解决这个问题，作者提出了一种自动化的方法，通过“自我增强”和“自我筛选”来生成和选择高质量的训练数据。
二、方法概述
整个方法分为两个主要步骤：
-
自我增强（Self-Augmentation）：
-
首先，使用一个小量的种子数据（即已标注好的指令和输出对）来微调一个基础语言模型（例如LLaMa）。
-
接下来，用微调后的模型生成候选的训练数据，这些数据来自未标注的文本（称为“增强数据”）。
-
-
自我筛选（Self-Curation）：
-
在初始微调模型的基础上，选择高质量的增强数据用于下一次迭代的训练。
-
经过多次迭代，每次选择出更高质量的数据，最终得到一个更强的模型。
-
三、流程图解释
相关文章：
[论文笔记] 自对齐指令反翻译：SELF-ALIGNMENT WITH INSTRUCTION BACKTRANSLATION
https://arxiv.org/pdf/2308.06259 这篇论文介绍了一种名为“指令反向翻译”（instruction backtranslation）的方法，用于通过自动标记人类书写的文本和相应的指令来构建高质量的指令跟随语言模型。这里是一个通俗易懂的解释： 一、背景 通常，训练一个高质量的指令跟随语言…...
算术运算符. 二
# 表达式 # 操作数和运算符组成 比如 11 # 作用：表达式可以求值，也可以给变量赋值。 # Python算术运算符： # - * / % //（整除:向下取整） ** print(10 4) # 14 print(10 - 4) # 6 print(10 * 4) # 40 …...
代码优化方法记录
每次代码 review 之后，对 review 的情况进行总结记录，产出实际经验，方便组内学习、分享。 1、提取公共内容 公共内容要提取，避免重复编写； 2、css 色值使用变量 css 中的色值、字体，都换成组件库中的变…...
qt 图形、图像、3D相关知识
1.qt 支持3d吗 Qt确实支持3D图形渲染。Qt 3D模块是Qt的一个组成部分，它允许开发者在Qt应用程序中集成3D内容。Qt 3D模块提供了一组类和函数，用于创建和渲染3D场景、处理3D对象、应用光照和纹理等。 Qt 3D模块包括以下几个主要组件： Qt 3D …...
【逆向基础】十、工具分享之DIE(Detect It Easy)
一、简介 DIE（Detect It Easy）是一款可以轻松检测PE文件的程序；其主要作用是查壳，并将pe文件的内容解析出来，包括PE文件中包含的导入函数、导出函数的名称及地址，入口函数地址等，是技术人员分析…...
Netcat:——网络瑞士军刀
Netcat: 网络瑞士军刀 概述 Netcat（通常称为 nc）是一个功能强大的网络工具，广泛用于网络测试和调试。它能够读取和写入网络数据，支持TCP、UDP协议，可以用于端口扫描、端口监听、文件传输等多种用途。 主要用途 获取…...
C++ //练习 14.50 在初始化ex1和ex2的过程中，可能用到哪些类类型的转换序列呢？说明初始化是否正确并解释原因。
C Primer（第5版） 练习 14.50 练习 14.50 在初始化ex1和ex2的过程中，可能用到哪些类类型的转换序列呢？说明初始化是否正确并解释原因。 struct LongDouble{LongDouble(double 0.0);operator double();operator float(); }; Long…...
【开源 Mac 工具推荐之 1】gibMacOS：方便快捷的 macOS 完整包下载 Shell 工具
简介 gibMacOS 是由 GitHub 开发者 corpnewt 编写的一款 Shell 工具。它采用 Python 编程语言，可以让用户打开后在纯文本页面中轻松选择并下载来源于 Apple 官方的 macOS 完整安装包。 Repo 地址：https://github.com/corpnewt/gibMacOS （其…...
pdf文件如何快速英文转中文？
要将 PDF 文件中的英文内容转换为中文，你可以使用以下几种方法： 1、在线翻译工具： 使用网上的免费在线翻译工具，如Google翻译、百度翻译或有道翻译，将整个 PDF 文档粘贴到工具中进行翻译。 2、专业翻译软件…...
程序的控制结构——if-else语句（双分支结构）【互三互三】
目录 🍁 引言 🍁if-else语句（双分支结构） 👉格式1： 👉功能： 👉程序设计风格提示： 👉例题 👉格式2： 👉…...
[C++]初识C++(命名空间，命名空间使用，函数重载，缺省参数等)
💖💖💖欢迎来到我的博客，我是anmory💖💖💖 又和大家见面了 欢迎来到C探索系列 作为一个程序员你不能不掌握的知识 先来自我推荐一波 个人网站欢迎访问以及捐款 推荐阅读 如何低成本搭建个人网站…...
每天一个数据分析题（四百十六）- 线性回归模型
根据模型假设，线性回归模型中误差项的方差为 A. 常数 B. 函数 C. 随机变量 D. 以上都不是 数据分析认证考试介绍：点击进入 题目来源于CDA模拟题库 点击此处获取答案 数据分析专项练习题库 内容涵盖Python，SQL，统计学&#…...
JupyterNotebook中导出当前环境，并存储为requirements.txt
使用Anaconda管理Python环境时，可以轻松地导出环境配置，以便在其他机器或环境中重新创建相同的环境。可以通过生成一个environment.yml文件实现的，该文件包含了环境中安装的所有包及其版本。但是，常常在一些课程中JupyterNotebo…...
Java对象复制系列二: 手把手带你写一个Apache BeanUtils
👆🏻👆🏻👆🏻关注博主，让你的代码变得更加优雅。 前言 Apache BeanUtils 是Java中用来复制2个对象属性的一个类型。 上一篇文章我们讲到了 Apache BeanUtils 性能相对比较差，今天…...
一个极简的 Vue 示例
https://andi.cn/page/621516.html...
修复 Ubuntu 24.04 Dock 丢失应用程序图标
找出应用程序窗口的类名 首先，您需要启动应用程序窗口。然后，按 Alt F2 启动“运行 Command”对话框。当对话框打开时，输入 lg 并按 Enter 键。 在该窗口中，单击Windows按钮，然后找出目标应用程序窗口的类名称。 在/…...
idea MarketPlace插件找不到
一、背景 好久没用idea了，打开项目后没有lombok，安装lombok插件时发现idea MarketPlace插件市场找不到，需要重新配置代理源，在外网访问时通过代理服务进行连接 二、操作 ### File-->setting 快捷键 Ctrl Alt S 远端源地…...
windows下使用编译opencv在qt中使用
记录一下：在windows下qt使用opencv 1、涉及需要下载的软件 CMake 下载地址opecnv下载地址mingw(需要配置环境变量) 这个在下载qt的时候可以直接安装一般在qt的安装路径下的tool里比如我的安装路径 (C:\zz\ProgramFiles\QT5.12\Tools\mingw730_64) 2、在安装好CMake…...
正则表达式-使用笔记
正则使用不当，会导致CPU飙升；场景区分，是判断存在还是提取内容；匹配范围，是匹配部分内容还是整行； 一、初识正则 正则表达式 – 语法 | 菜鸟教程 sparksql 正则匹配总结 https://www.cnblogs.com/he1m4n…...
C语言中的数组：掌握数据的有序集合【一维数组，二维数组，字符串数组，直方图打印，计算全排列，字符数组常用函数】
目录 C语言中的数组：掌握数据的有序集合【一维数组，二维数组，字符串数组】一维数组一维数组的创建数组的七种初始化完全初始化：部分初始化：字符数组的初始化：自动初始化为0：使用memset函数初始化…...
Spark 之 入门讲解详细版（1）
1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处&…...
VB.net复制Ntag213卡写入UID
本示例使用的发卡器：https://item.taobao.com/item.htm?ftt&id615391857885 一、读取旧Ntag卡的UID和数据 Private Sub Button15_Click(sender As Object, e As EventArgs) Handles Button15.Click轻松读卡技术支持:网站:Dim i, j As IntegerDim cardidhex, …...
定时器任务——若依源码分析
分析util包下面的工具类schedule utils： ScheduleUtils 是若依中用于与 Quartz 框架交互的工具类，封装了定时任务的 创建、更新、暂停、删除等核心逻辑。 createScheduleJob createScheduleJob 用于将任务注册到 Quartz，先构建任务的 JobD…...
SpringTask-03.入门案例
一.入门案例 启动类： package com.sky;import lombok.extern.slf4j.Slf4j; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cache.annotation.EnableCach…...
Map相关知识
数据结构 二叉树 二叉树，顾名思义，每个节点最多有两个“叉”，也就是两个子节点，分别是左子 节点和右子节点。不过，二叉树并不要求每个节点都有两个子节点，有的节点只 有左子节点，有的节点只有…...
dify打造数据可视化图表
一、概述 在日常工作和学习中，我们经常需要和数据打交道。无论是分析报告、项目展示，还是简单的数据洞察，一个清晰直观的图表，往往能胜过千言万语。 一款能让数据可视化变得超级简单的 MCP Server，由蚂蚁集团 AntV 团队…...
在Ubuntu24上采用Wine打开SourceInsight
1. 安装wine sudo apt install wine 2. 安装32位库支持，SourceInsight是32位程序 sudo dpkg --add-architecture i386 sudo apt update sudo apt install wine32:i386 3. 验证安装 wine --version 4. 安装必要的字体和库（解决显示问题） sudo apt install fonts-wqy…...
Linux中《基础IO》详细介绍
目录 理解"文件"狭义理解广义理解文件操作的归类认知系统角度文件类别 回顾C文件接口打开文件写文件读文件稍作修改，实现简单cat命令 输出信息到显示器，你有哪些方法stdin & stdout & stderr打开文件的方式 系统⽂件I/O⼀种传递标志位…...
鸿蒙（HarmonyOS5）实现跳一跳小游戏
下面我将介绍如何使用鸿蒙的ArkUI框架，实现一个简单的跳一跳小游戏。 1. 项目结构 src/main/ets/ ├── MainAbility │ ├── pages │ │ ├── Index.ets // 主页面 │ │ └── GamePage.ets // 游戏页面 │ └── model │ …...
spring Security对RBAC及其ABAC的支持使用
RBAC (基于角色的访问控制) RBAC (Role-Based Access Control) 是 Spring Security 中最常用的权限模型，它将权限分配给角色，再将角色分配给用户。 RBAC 核心实现 1. 数据库设计 users roles permissions ------- ------…...