当前位置： 首页 > news >正文

『大模型笔记』基于LLM生成真实世界数据的合成问答数据！

news 2025/9/14 19:15:09
基于LLM生成真实世界数据的合成问答数据！

文章目录

  • 一. 基于LLM生成真实世界数据的合成问答数据！
    • 1. 概述(Overview)
    • 2. 场景(Scenario)
      • 2.1. 概述
        • 2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）
        • 2.1.2. 第2阶段：数据增强（可选）（Data Augmentation (Optional)）
      • 2.2. 客户应用示例（Customer application examples）
  • 二. 第1阶段：构建种子数据集
    • 2.1. PDF
    • 2.2. CSV
  • 三. 第二阶段. 数据扩充（可选）
    • 3.1. [Evolve-Instruct（进化指令）](evolve-instruct/README.md)
    • 3.2. [GLAN (广义指令调优)](glan-instruct/README.md)
  • 四. 参考文献

本动手实验旨在通过演示如何从复杂的非结构化数据中创建或增强问答数据集，以缓解一些难题，基于真实场景假设。该示例旨在为开发人员和数据科学家以及相关领域的从业者提供分步指南，以便他们在一些指导下进行尝试。

一. 基于LLM生成真实世界数据的合成问答数据！

1. 概述(Overview)

对于大语言模型（LLM）或小型语言模型（SLM）的微调、RAG或评估，通常需要从真实世界的原始数据中生成问答格式的数据。然而，当需要从头创建数据集而非使用现成的数据集时，您将面临诸多挑战。

本次动手实验旨在通过展示 如何从复杂的非结构化数据中创建或增强问答数据集来减轻部分工作负担，并假设这是一个真实的场景。该示例旨在为开发者和数据科学家以及相关领域的从业者提供逐步指导，使他们在稍许帮助下也能尝试完成。

2. 场景(Scenario)

2.1. 概述

我们旨在通过微调或RAG来提高模型的性能，提供高质量的数据集。然而，没有预先存在的数据集；我们只有 PDF、CSV和TXT 等格式的未处理原始数据。这些原始数据包括

相关文章：

『大模型笔记』基于LLM生成真实世界数据的合成问答数据！

基于LLM生成真实世界数据的合成问答数据！ 文章目录 一. 基于LLM生成真实世界数据的合成问答数据！1. 概述(Overview)2. 场景(Scenario)2.1. 概述2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）2.1.2. 第2阶段：数据增强（可选）（Data Augmentation…...

编程日记 2024/8/16 4:52:58

一个使用Python和`scikit-learn`库实现KMeans聚类算法的简单示例

一个使用Python和scikit-learn库实现KMeans聚类算法的简单示例。首先，请确保您已经安装了scikit-learn库。如果没有安装，可以通过pip安装它： pip install scikit-learn下面是一个简单的例子，展示如何使用scikit-learn中的KMeans进…...

编程日记 2024/8/16 4:49:54

记录一下vue2和vue3中如何配置keep-alive及写法上的差异

应用场景 跳转下一个页面后，返回当前页面，或者在多个页面之间切换，保留页面中的所有状态，常见的就是填写到一半的表单。h5的tabbar页面缓存，避免重复加载数据。 主要实现思路 这个东西很常见，动态路由一…...

编程日记 2024/8/16 4:48:53

面试题：Rabbitmq怎么保证消息的可靠性?

1.消费端消息可靠性保证： 消息确认（Acknowledgements）：(自动(默认),手动) 消费者在接收到消息后，默认情况下RabbitMQ会自动确认消息（autoAcktrue）。为保证消息可靠性，可以设置auto…...

编程日记 2024/8/16 4:45:50

性能测试工具之JMeter

JMeter Apache JMeter应用程序是开源软件，是一个100%纯Java应用程序，旨在负载测试功能行为和衡量性能。它最初是为测试Web应用程序而设计的，但后来扩展到其他测试功能。 JMeter是一个免费、开源、跨平台的性能测试工具，于20世纪90年代后期面世。这是一个成熟、健全且具有…...

编程日记 2024/8/16 4:43:48

SQL Zoo 9-.Window functions

以下数据均来自SQL Zoo 1.Show the lastName, party and votes for the constituency S14000024 in 2017.（显示2017年选区“S14000024”的姓氏、政党和选票） SELECT lastName, party, votesFROM geWHERE constituency S14000024 AND yr 2017 ORDER BY…...

编程日记 2024/8/16 4:42:47

智能化清理C盘的方法 小白也可以轻松清理C盘了 不再担心误删文件

智能化清理C盘的方法 小白用户也可以轻松清理C盘了 不再担心误删文件。对于电脑小白来说，C盘清理是一个大大的问题，因为大家都不知道C盘里有哪些文件可以删除，哪些不能删除，所以就直接的导致大家不可能去清理c盘垃圾。 就算是C盘…...

编程日记 2024/8/16 4:39:43

在c#中常用的特性

在C#中，特性（Attributes）是一种将元数据应用于程序实体（如类、方法、属性等）的方式。这些元数据可以在编译时和运行时被读取，常用于配置、自定义行为、装饰器模式等场景。以下是一些C#中常用的特性&#xf…...

编程日记 2024/8/16 4:38:41

Polars简明基础教程十二：可视化(二)

设置绘图后端 我们可以使用 hv.extension 更改绘图后端。但是，我们不在此处运行此单元格，因为它会导致下面的 Matplotlib/Seaborn 图表无法渲染。 注释： hvPlot 利用 HoloViews 库来构建图表，并且可以使用多个后端进行渲染&…...

编程日记 2024/8/16 4:37:39

python 使用正则表达式判断图片路径是否是超链接

在Python中，判断一个给定的字符串（假设为图片路径）是否是网页链接（URL），你可以通过检查该字符串是否符合URL的基本格式来实现。虽然这个方法不能保证链接一定指向图片，但它能判断该字符串是否是…...

编程日记 2024/8/16 4:34:35

【学习笔记】Day 14

一、进度概述 1、《地震勘探原理》第七章 二、详情 地震波动力学是相对于运动学而言的。运动学主要研究波的传播规律，其主要特征是分析、研究波的传播路径。传播速度。旅行时间等。地震波动力学则主要从能量的角度研究地震波的特征，如波的振幅、波形、频…...

编程日记 2024/8/16 4:33:33

使用SSL认证访问操作手册

完整版，从证书生成到使用 【金山文档 | WPS云文档】 使用SSL认证访问操作手册 https://kdocs.cn/l/cuxGfHD17eEw...

编程日记 2024/8/16 4:28:27

网络协议 十一 ARP,RARP，icmp，websocket,webservice，HTTPDNS,FTP,邮件相关的协议， SMTP,POP,IMAP

ARP 已知IP 求 MAC 的过程 RARP 已知MAC 求 IP 的过程，已被DHCP取代 ICMP websocket 协议，html5中提出的前端使用协议 webservice 技术，已过时 HTTPDNS 之前我们要获得 某一个域名的 IP ，要通过DNS协议 去 运营商的ISP 查询&…...

编程日记 2024/8/16 4:27:25

浏览器插件利器--allWebPluginV2.0.0.16-Stable版发布

allWebPlugin简介 allWebPlugin中间件是一款为用户提供安全、可靠、便捷的浏览器插件服务的中间件产品，致力于将浏览器插件重新应用到所有浏览器。它将现有ActiveX控件直接嵌入浏览器，实现插件加载、界面显示、接口调用、事件回调等。支持Chrome、Firefo…...

编程日记 2024/8/16 4:25:22

设计模式22-迭代器模式

设计模式22-迭代器模式 迭代器模式（Iterator Pattern）动机定义结构定义结构结构图解释注意事项 C代码推导多态属性（虚函数）实现迭代器1. **返回值问题**2. **对象切割问题**3. **内存管理问题**4. **迭代器生命周期问题**5. **接口…...

编程日记 2024/8/16 4:24:21

编程深水区之并发⑥：C#的线程池

绝大多数情况下，我们都应该使用CLR线程池，而不是直接操作Thread，本章节介绍直接操作线程池的ThreadPool，但实际开发中也很少直接使用它。 一、CLR和线程池 1.1 CLR的主要工作 CLR（Common Language Runtime&#xff0…...

编程日记 2024/8/16 4:23:20

KCTF 闯关游戏：1 ~ 7 关

前言 看雪CTF平台是一个专注于网络安全技术竞赛的在线平台，它提供了一个供网络安全爱好者和技术专家进行技术交流、学习和竞技的环境。CTF（Capture The Flag，夺旗赛）是网络安全领域内的一种流行竞赛形式，起源于1996年…...

编程日记 2024/8/16 4:19:14

【海贼王航海日志：前端技术探索】一篇文章带你走进JavaScript(二)

目录 1 -> 基础数据类型 1.1 -> 条件语句 1.1.1 if语句 1.2 -> 分支语句 1.2.1 -> switch语句 1.3 -> 循环语句 1.3.1 -> while循环 1.3.2 -> continue 1.3.3 -> break 1.3.4 -> for循环 1.4 -> 数组 1.4.1 -> 创建数组 1.4.2 -…...

编程日记 2024/8/16 4:18:13

鸿蒙内核源码分析(进程管理篇) | 谁在管理内核资源？

官方基本概念 从系统的角度看，进程是资源管理单元。进程可以使用或等待CPU、使用内存空间等系统资源，并独立于其它进程运行。 OpenHarmony内核的进程模块可以给用户提供多个进程，实现了进程之间的切换和通信，帮助用户管理业务程序…...

编程日记 2024/8/16 4:16:10

SQLALchemy 自动从数据库中映射

SQLALchemy 自动从数据库中映射 使用`automap_base`注意事项在SQLAlchemy中，自动从数据库中映射表到Python类（也称为“反射”或“逆向工程”）是一个常见的需求，尤其是在你已经有了一个现有的数据库，并希望快速地为它创建一个ORM模型时。SQLAlchemy提供了工具来帮助你完成这…...

编程日记 2024/8/16 4:13:06

51c自动驾驶~合集58

我自己的原文哦~ https://blog.51cto.com/whaosoft/13967107 #CCA-Attention 全局池化局部保留，CCA-Attention为LLM长文本建模带来突破性进展 琶洲实验室、华南理工大学联合推出关键上下文感知注意力机制（CCA-Attention），…...

编程新知 2025/9/12 22:07:42

线程同步：确保多线程程序的安全与高效！

全文目录： 开篇语前序前言第一部分：线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分：synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分&#xff…...

编程新知 2025/8/11 21:47:18

centos 7 部署awstats 网站访问检测

一、基础环境准备（两种安装方式都要做） bash # 安装必要依赖 yum install -y httpd perl mod_perl perl-Time-HiRes perl-DateTime systemctl enable httpd # 设置 Apache 开机自启 systemctl start httpd # 启动 Apache二、安装 AWStats&#xff0…...

编程新知 2025/9/7 2:01:34

【解密LSTM、GRU如何解决传统RNN梯度消失问题】

解密LSTM与GRU：如何让RNN变得更聪明？ 在深度学习的世界里，循环神经网络（RNN）以其卓越的序列数据处理能力广泛应用于自然语言处理、时间序列预测等领域。然而，传统RNN存在的一个严重问题——梯度消失&#…...

编程新知 2025/8/3 16:10:07

条件运算符

C中的三目运算符（也称条件运算符，英文：ternary operator）是一种简洁的条件选择语句，语法如下： 条件表达式 ? 表达式1 : 表达式2• 如果“条件表达式”为true，则整个表达式的结果为“表达式1”…...

编程新知 2025/9/11 12:54:54

第25节 Node.js 断言测试

Node.js的assert模块主要用于编写程序的单元测试时使用，通过断言可以提早发现和排查出错误。 稳定性: 5 - 锁定 这个模块可用于应用的单元测试，通过 require(assert) 可以使用这个模块。 assert.fail(actual, expected, message, operator) 使用参数…...

编程新知 2025/9/12 22:51:17

镜像里切换为普通用户

如果你登录远程虚拟机默认就是 root 用户，但你不希望用 root 权限运行 ns-3（这是对的，ns3 工具会拒绝 root），你可以按以下方法创建一个 非 root 用户账号 并切换到它运行 ns-3。 一次性解决方案：创建非 roo…...

编程新知 2025/9/11 11:00:29

学习STC51单片机31（芯片为STC89C52RCRC）OLED显示屏1

每日一言 生活的美好，总是藏在那些你咬牙坚持的日子里。 硬件：OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写，"1306" 是产品编号。 驱动 OLED 屏幕的 IIC 总线数据传输格式 示意图 …...

编程新知 2025/9/9 15:31:38

OpenLayers 分屏对比(地图联动)

注：当前使用的是 ol 5.3.0 版本，天地图使用的key请到天地图官网申请，并替换为自己的key 地图分屏对比在WebGIS开发中是很常见的功能，和卷帘图层不一样的是，分屏对比是在各个地图中添加相同或者不同的图层进行对比查看。…...

编程新知 2025/9/11 9:39:35

html-＜abbr＞ 缩写或首字母缩略词

定义与作用 <abbr> 标签用于表示缩写或首字母缩略词&#xff0c;它可以帮助用户更好地理解缩写的含义&#xff0c;尤其是对于那些不熟悉该缩写的用户。 title 属性的内容提供了缩写的详细说明。当用户将鼠标悬停在缩写上时&#xff0c;会显示一个提示框。 示例&#x…...

编程新知 2025/9/9 10:10:28