当前位置： 首页 > news >正文

『大模型笔记』基于LLM生成真实世界数据的合成问答数据！

news 2026/2/9 5:01:11
基于LLM生成真实世界数据的合成问答数据！

文章目录

  • 一. 基于LLM生成真实世界数据的合成问答数据！
    • 1. 概述(Overview)
    • 2. 场景(Scenario)
      • 2.1. 概述
        • 2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）
        • 2.1.2. 第2阶段：数据增强（可选）（Data Augmentation (Optional)）
      • 2.2. 客户应用示例（Customer application examples）
  • 二. 第1阶段：构建种子数据集
    • 2.1. PDF
    • 2.2. CSV
  • 三. 第二阶段. 数据扩充（可选）
    • 3.1. [Evolve-Instruct（进化指令）](evolve-instruct/README.md)
    • 3.2. [GLAN (广义指令调优)](glan-instruct/README.md)
  • 四. 参考文献

本动手实验旨在通过演示如何从复杂的非结构化数据中创建或增强问答数据集，以缓解一些难题，基于真实场景假设。该示例旨在为开发人员和数据科学家以及相关领域的从业者提供分步指南，以便他们在一些指导下进行尝试。

一. 基于LLM生成真实世界数据的合成问答数据！

1. 概述(Overview)

对于大语言模型（LLM）或小型语言模型（SLM）的微调、RAG或评估，通常需要从真实世界的原始数据中生成问答格式的数据。然而，当需要从头创建数据集而非使用现成的数据集时，您将面临诸多挑战。

本次动手实验旨在通过展示 如何从复杂的非结构化数据中创建或增强问答数据集来减轻部分工作负担，并假设这是一个真实的场景。该示例旨在为开发者和数据科学家以及相关领域的从业者提供逐步指导，使他们在稍许帮助下也能尝试完成。

2. 场景(Scenario)

2.1. 概述

我们旨在通过微调或RAG来提高模型的性能，提供高质量的数据集。然而，没有预先存在的数据集；我们只有 PDF、CSV和TXT 等格式的未处理原始数据。这些原始数据包括

相关文章：

『大模型笔记』基于LLM生成真实世界数据的合成问答数据！

基于LLM生成真实世界数据的合成问答数据！ 文章目录 一. 基于LLM生成真实世界数据的合成问答数据！1. 概述(Overview)2. 场景(Scenario)2.1. 概述2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）2.1.2. 第2阶段：数据增强（可选）（Data Augmentation…...

编程日记 2024/8/16 4:52:58

一个使用Python和`scikit-learn`库实现KMeans聚类算法的简单示例

一个使用Python和scikit-learn库实现KMeans聚类算法的简单示例。首先，请确保您已经安装了scikit-learn库。如果没有安装，可以通过pip安装它： pip install scikit-learn下面是一个简单的例子，展示如何使用scikit-learn中的KMeans进…...

编程日记 2024/8/16 4:49:54

记录一下vue2和vue3中如何配置keep-alive及写法上的差异

应用场景 跳转下一个页面后，返回当前页面，或者在多个页面之间切换，保留页面中的所有状态，常见的就是填写到一半的表单。h5的tabbar页面缓存，避免重复加载数据。 主要实现思路 这个东西很常见，动态路由一…...

编程日记 2024/8/16 4:48:53

面试题：Rabbitmq怎么保证消息的可靠性?

1.消费端消息可靠性保证： 消息确认（Acknowledgements）：(自动(默认),手动) 消费者在接收到消息后，默认情况下RabbitMQ会自动确认消息（autoAcktrue）。为保证消息可靠性，可以设置auto…...

编程日记 2024/8/16 4:45:50

性能测试工具之JMeter

JMeter Apache JMeter应用程序是开源软件，是一个100%纯Java应用程序，旨在负载测试功能行为和衡量性能。它最初是为测试Web应用程序而设计的，但后来扩展到其他测试功能。 JMeter是一个免费、开源、跨平台的性能测试工具，于20世纪90年代后期面世。这是一个成熟、健全且具有…...

编程日记 2024/8/16 4:43:48

SQL Zoo 9-.Window functions

以下数据均来自SQL Zoo 1.Show the lastName, party and votes for the constituency S14000024 in 2017.（显示2017年选区“S14000024”的姓氏、政党和选票） SELECT lastName, party, votesFROM geWHERE constituency S14000024 AND yr 2017 ORDER BY…...

编程日记 2024/8/16 4:42:47

智能化清理C盘的方法 小白也可以轻松清理C盘了 不再担心误删文件

智能化清理C盘的方法 小白用户也可以轻松清理C盘了 不再担心误删文件。对于电脑小白来说，C盘清理是一个大大的问题，因为大家都不知道C盘里有哪些文件可以删除，哪些不能删除，所以就直接的导致大家不可能去清理c盘垃圾。 就算是C盘…...

编程日记 2024/8/16 4:39:43

在c#中常用的特性

在C#中，特性（Attributes）是一种将元数据应用于程序实体（如类、方法、属性等）的方式。这些元数据可以在编译时和运行时被读取，常用于配置、自定义行为、装饰器模式等场景。以下是一些C#中常用的特性&#xf…...

编程日记 2024/8/16 4:38:41

Polars简明基础教程十二：可视化(二)

设置绘图后端 我们可以使用 hv.extension 更改绘图后端。但是，我们不在此处运行此单元格，因为它会导致下面的 Matplotlib/Seaborn 图表无法渲染。 注释： hvPlot 利用 HoloViews 库来构建图表，并且可以使用多个后端进行渲染&…...

编程日记 2024/8/16 4:37:39

python 使用正则表达式判断图片路径是否是超链接

在Python中，判断一个给定的字符串（假设为图片路径）是否是网页链接（URL），你可以通过检查该字符串是否符合URL的基本格式来实现。虽然这个方法不能保证链接一定指向图片，但它能判断该字符串是否是…...

编程日记 2024/8/16 4:34:35

【学习笔记】Day 14

一、进度概述 1、《地震勘探原理》第七章 二、详情 地震波动力学是相对于运动学而言的。运动学主要研究波的传播规律，其主要特征是分析、研究波的传播路径。传播速度。旅行时间等。地震波动力学则主要从能量的角度研究地震波的特征，如波的振幅、波形、频…...

编程日记 2024/8/16 4:33:33

使用SSL认证访问操作手册

完整版，从证书生成到使用 【金山文档 | WPS云文档】 使用SSL认证访问操作手册 https://kdocs.cn/l/cuxGfHD17eEw...

编程日记 2024/8/16 4:28:27

网络协议 十一 ARP,RARP，icmp，websocket,webservice，HTTPDNS,FTP,邮件相关的协议， SMTP,POP,IMAP

ARP 已知IP 求 MAC 的过程 RARP 已知MAC 求 IP 的过程，已被DHCP取代 ICMP websocket 协议，html5中提出的前端使用协议 webservice 技术，已过时 HTTPDNS 之前我们要获得 某一个域名的 IP ，要通过DNS协议 去 运营商的ISP 查询&…...

编程日记 2024/8/16 4:27:25

浏览器插件利器--allWebPluginV2.0.0.16-Stable版发布

allWebPlugin简介 allWebPlugin中间件是一款为用户提供安全、可靠、便捷的浏览器插件服务的中间件产品，致力于将浏览器插件重新应用到所有浏览器。它将现有ActiveX控件直接嵌入浏览器，实现插件加载、界面显示、接口调用、事件回调等。支持Chrome、Firefo…...

编程日记 2024/8/16 4:25:22

设计模式22-迭代器模式

设计模式22-迭代器模式 迭代器模式（Iterator Pattern）动机定义结构定义结构结构图解释注意事项 C代码推导多态属性（虚函数）实现迭代器1. **返回值问题**2. **对象切割问题**3. **内存管理问题**4. **迭代器生命周期问题**5. **接口…...

编程日记 2024/8/16 4:24:21

编程深水区之并发⑥：C#的线程池

绝大多数情况下，我们都应该使用CLR线程池，而不是直接操作Thread，本章节介绍直接操作线程池的ThreadPool，但实际开发中也很少直接使用它。 一、CLR和线程池 1.1 CLR的主要工作 CLR（Common Language Runtime&#xff0…...

编程日记 2024/8/16 4:23:20

KCTF 闯关游戏：1 ~ 7 关

前言 看雪CTF平台是一个专注于网络安全技术竞赛的在线平台，它提供了一个供网络安全爱好者和技术专家进行技术交流、学习和竞技的环境。CTF（Capture The Flag，夺旗赛）是网络安全领域内的一种流行竞赛形式，起源于1996年…...

编程日记 2024/8/16 4:19:14

【海贼王航海日志：前端技术探索】一篇文章带你走进JavaScript(二)

目录 1 -> 基础数据类型 1.1 -> 条件语句 1.1.1 if语句 1.2 -> 分支语句 1.2.1 -> switch语句 1.3 -> 循环语句 1.3.1 -> while循环 1.3.2 -> continue 1.3.3 -> break 1.3.4 -> for循环 1.4 -> 数组 1.4.1 -> 创建数组 1.4.2 -…...

编程日记 2024/8/16 4:18:13

鸿蒙内核源码分析(进程管理篇) | 谁在管理内核资源？

官方基本概念 从系统的角度看，进程是资源管理单元。进程可以使用或等待CPU、使用内存空间等系统资源，并独立于其它进程运行。 OpenHarmony内核的进程模块可以给用户提供多个进程，实现了进程之间的切换和通信，帮助用户管理业务程序…...

编程日记 2024/8/16 4:16:10

SQLALchemy 自动从数据库中映射

SQLALchemy 自动从数据库中映射 使用`automap_base`注意事项在SQLAlchemy中，自动从数据库中映射表到Python类（也称为“反射”或“逆向工程”）是一个常见的需求，尤其是在你已经有了一个现有的数据库，并希望快速地为它创建一个ORM模型时。SQLAlchemy提供了工具来帮助你完成这…...

编程日记 2024/8/16 4:13:06

大数据学习栈记——Neo4j的安装与使用

本文介绍图数据库Neofj的安装与使用，操作系统：Ubuntu24.04，Neofj版本：2025.04.0。 Apt安装 Neofj可以进行官网安装：Neo4j Deployment Center - Graph Database & Analytics 我这里安装是添加软件源的方法 最新版…...

编程新知 2026/2/8 4:37:08

内存分配函数malloc kmalloc vmalloc

内存分配函数malloc kmalloc vmalloc malloc实现步骤： 1）请求大小调整：首先，malloc 需要调整用户请求的大小，以适应内部数据结构（例如，可能需要存储额外的元数据）。通常，这包括对齐调整，确保分配的内存地址满足特定硬件要求（如对齐到8字节或16字节边界）。 2）空闲…...

编程新知 2025/11/1 5:21:39

1688商品列表API与其他数据源的对接思路

将1688商品列表API与其他数据源对接时，需结合业务场景设计数据流转链路，重点关注数据格式兼容性、接口调用频率控制及数据一致性维护。以下是具体对接思路及关键技术点： 一、核心对接场景与目标 商品数据同步 场景：将1688商品信息…...

编程新知 2025/11/30 16:55:32

linux 错误码总结

1，错误码的概念与作用 在Linux系统中，错误码是系统调用或库函数在执行失败时返回的特定数值，用于指示具体的错误类型。这些错误码通过全局变量errno来存储和传递，errno由操作系统维护，保存最近一次发生的错误信息。值得注意的是，errno的值在每次系统调用或函数调用失败时…...

编程新知 2025/9/16 22:48:47

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序

一、开发环境准备 ​​工具安装​​： 下载安装DevEco Studio 4.0（支持HarmonyOS 5）配置HarmonyOS SDK 5.0确保Node.js版本≥14 ​​项目初始化​​： ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...

编程新知 2026/2/1 4:17:33

ServerTrust 并非唯一

NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

编程新知 2026/1/29 5:29:57

现代密码学 | 椭圆曲线密码学—附py代码

Elliptic Curve Cryptography 椭圆曲线密码学（ECC）是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。 椭圆曲线密码学是多种数字签名算法的基础，例如椭圆曲线数字签…...

编程新知 2026/2/6 7:30:33

安宝特方案丨船舶智造的“AR+AI+作业标准化管理解决方案”（装配）

船舶制造装配管理现状：装配工作依赖人工经验，装配工人凭借长期实践积累的操作技巧完成零部件组装。企业通常制定了装配作业指导书，但在实际执行中，工人对指导书的理解和遵循程度参差不齐。 船舶装配过程中的挑战与需求 挑战 (1…...

编程新知 2026/2/6 2:16:18

springboot整合VUE之在线教育管理系统简介

可以学习到的技能 学会常用技术栈的使用 独立开发项目 学会前端的开发流程 学会后端的开发流程 学会数据库的设计 学会前后端接口调用方式 学会多模块之间的关联 学会数据的处理 适用人群 在校学生，小白用户，想学习知识的 有点基础，想要通过项…...

编程新知 2026/1/26 9:30:45

2025年渗透测试面试题总结-腾讯[实习]科恩实验室-安全工程师（题目+回答）

安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。 目录 腾讯[实习]科恩实验室-安全工程师 一、网络与协议 1. TCP三次握手 2. SYN扫描原理 3. HTTPS证书机制 二…...

编程新知 2026/1/27 2:41:27