当前位置： 首页 > news >正文

『大模型笔记』基于LLM生成真实世界数据的合成问答数据！

news 2026/2/5 1:13:52
基于LLM生成真实世界数据的合成问答数据！

文章目录

  • 一. 基于LLM生成真实世界数据的合成问答数据！
    • 1. 概述(Overview)
    • 2. 场景(Scenario)
      • 2.1. 概述
        • 2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）
        • 2.1.2. 第2阶段：数据增强（可选）（Data Augmentation (Optional)）
      • 2.2. 客户应用示例（Customer application examples）
  • 二. 第1阶段：构建种子数据集
    • 2.1. PDF
    • 2.2. CSV
  • 三. 第二阶段. 数据扩充（可选）
    • 3.1. [Evolve-Instruct（进化指令）](evolve-instruct/README.md)
    • 3.2. [GLAN (广义指令调优)](glan-instruct/README.md)
  • 四. 参考文献

本动手实验旨在通过演示如何从复杂的非结构化数据中创建或增强问答数据集，以缓解一些难题，基于真实场景假设。该示例旨在为开发人员和数据科学家以及相关领域的从业者提供分步指南，以便他们在一些指导下进行尝试。

一. 基于LLM生成真实世界数据的合成问答数据！

1. 概述(Overview)

对于大语言模型（LLM）或小型语言模型（SLM）的微调、RAG或评估，通常需要从真实世界的原始数据中生成问答格式的数据。然而，当需要从头创建数据集而非使用现成的数据集时，您将面临诸多挑战。

本次动手实验旨在通过展示 如何从复杂的非结构化数据中创建或增强问答数据集来减轻部分工作负担，并假设这是一个真实的场景。该示例旨在为开发者和数据科学家以及相关领域的从业者提供逐步指导，使他们在稍许帮助下也能尝试完成。

2. 场景(Scenario)

2.1. 概述

我们旨在通过微调或RAG来提高模型的性能，提供高质量的数据集。然而，没有预先存在的数据集；我们只有 PDF、CSV和TXT 等格式的未处理原始数据。这些原始数据包括

相关文章：

『大模型笔记』基于LLM生成真实世界数据的合成问答数据！

基于LLM生成真实世界数据的合成问答数据！ 文章目录 一. 基于LLM生成真实世界数据的合成问答数据！1. 概述(Overview)2. 场景(Scenario)2.1. 概述2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）2.1.2. 第2阶段：数据增强（可选）（Data Augmentation…...

编程日记 2024/8/16 4:52:58

一个使用Python和`scikit-learn`库实现KMeans聚类算法的简单示例

一个使用Python和scikit-learn库实现KMeans聚类算法的简单示例。首先，请确保您已经安装了scikit-learn库。如果没有安装，可以通过pip安装它： pip install scikit-learn下面是一个简单的例子，展示如何使用scikit-learn中的KMeans进…...

编程日记 2024/8/16 4:49:54

记录一下vue2和vue3中如何配置keep-alive及写法上的差异

应用场景 跳转下一个页面后，返回当前页面，或者在多个页面之间切换，保留页面中的所有状态，常见的就是填写到一半的表单。h5的tabbar页面缓存，避免重复加载数据。 主要实现思路 这个东西很常见，动态路由一…...

编程日记 2024/8/16 4:48:53

面试题：Rabbitmq怎么保证消息的可靠性?

1.消费端消息可靠性保证： 消息确认（Acknowledgements）：(自动(默认),手动) 消费者在接收到消息后，默认情况下RabbitMQ会自动确认消息（autoAcktrue）。为保证消息可靠性，可以设置auto…...

编程日记 2024/8/16 4:45:50

性能测试工具之JMeter

JMeter Apache JMeter应用程序是开源软件，是一个100%纯Java应用程序，旨在负载测试功能行为和衡量性能。它最初是为测试Web应用程序而设计的，但后来扩展到其他测试功能。 JMeter是一个免费、开源、跨平台的性能测试工具，于20世纪90年代后期面世。这是一个成熟、健全且具有…...

编程日记 2024/8/16 4:43:48

SQL Zoo 9-.Window functions

以下数据均来自SQL Zoo 1.Show the lastName, party and votes for the constituency S14000024 in 2017.（显示2017年选区“S14000024”的姓氏、政党和选票） SELECT lastName, party, votesFROM geWHERE constituency S14000024 AND yr 2017 ORDER BY…...

编程日记 2024/8/16 4:42:47

智能化清理C盘的方法 小白也可以轻松清理C盘了 不再担心误删文件

智能化清理C盘的方法 小白用户也可以轻松清理C盘了 不再担心误删文件。对于电脑小白来说，C盘清理是一个大大的问题，因为大家都不知道C盘里有哪些文件可以删除，哪些不能删除，所以就直接的导致大家不可能去清理c盘垃圾。 就算是C盘…...

编程日记 2024/8/16 4:39:43

在c#中常用的特性

在C#中，特性（Attributes）是一种将元数据应用于程序实体（如类、方法、属性等）的方式。这些元数据可以在编译时和运行时被读取，常用于配置、自定义行为、装饰器模式等场景。以下是一些C#中常用的特性&#xf…...

编程日记 2024/8/16 4:38:41

Polars简明基础教程十二：可视化(二)

设置绘图后端 我们可以使用 hv.extension 更改绘图后端。但是，我们不在此处运行此单元格，因为它会导致下面的 Matplotlib/Seaborn 图表无法渲染。 注释： hvPlot 利用 HoloViews 库来构建图表，并且可以使用多个后端进行渲染&…...

编程日记 2024/8/16 4:37:39

python 使用正则表达式判断图片路径是否是超链接

在Python中，判断一个给定的字符串（假设为图片路径）是否是网页链接（URL），你可以通过检查该字符串是否符合URL的基本格式来实现。虽然这个方法不能保证链接一定指向图片，但它能判断该字符串是否是…...

编程日记 2024/8/16 4:34:35

【学习笔记】Day 14

一、进度概述 1、《地震勘探原理》第七章 二、详情 地震波动力学是相对于运动学而言的。运动学主要研究波的传播规律，其主要特征是分析、研究波的传播路径。传播速度。旅行时间等。地震波动力学则主要从能量的角度研究地震波的特征，如波的振幅、波形、频…...

编程日记 2024/8/16 4:33:33

使用SSL认证访问操作手册

完整版，从证书生成到使用 【金山文档 | WPS云文档】 使用SSL认证访问操作手册 https://kdocs.cn/l/cuxGfHD17eEw...

编程日记 2024/8/16 4:28:27

网络协议 十一 ARP,RARP，icmp，websocket,webservice，HTTPDNS,FTP,邮件相关的协议， SMTP,POP,IMAP

ARP 已知IP 求 MAC 的过程 RARP 已知MAC 求 IP 的过程，已被DHCP取代 ICMP websocket 协议，html5中提出的前端使用协议 webservice 技术，已过时 HTTPDNS 之前我们要获得 某一个域名的 IP ，要通过DNS协议 去 运营商的ISP 查询&…...

编程日记 2024/8/16 4:27:25

浏览器插件利器--allWebPluginV2.0.0.16-Stable版发布

allWebPlugin简介 allWebPlugin中间件是一款为用户提供安全、可靠、便捷的浏览器插件服务的中间件产品，致力于将浏览器插件重新应用到所有浏览器。它将现有ActiveX控件直接嵌入浏览器，实现插件加载、界面显示、接口调用、事件回调等。支持Chrome、Firefo…...

编程日记 2024/8/16 4:25:22

设计模式22-迭代器模式

设计模式22-迭代器模式 迭代器模式（Iterator Pattern）动机定义结构定义结构结构图解释注意事项 C代码推导多态属性（虚函数）实现迭代器1. **返回值问题**2. **对象切割问题**3. **内存管理问题**4. **迭代器生命周期问题**5. **接口…...

编程日记 2024/8/16 4:24:21

编程深水区之并发⑥：C#的线程池

绝大多数情况下，我们都应该使用CLR线程池，而不是直接操作Thread，本章节介绍直接操作线程池的ThreadPool，但实际开发中也很少直接使用它。 一、CLR和线程池 1.1 CLR的主要工作 CLR（Common Language Runtime&#xff0…...

编程日记 2024/8/16 4:23:20

KCTF 闯关游戏：1 ~ 7 关

前言 看雪CTF平台是一个专注于网络安全技术竞赛的在线平台，它提供了一个供网络安全爱好者和技术专家进行技术交流、学习和竞技的环境。CTF（Capture The Flag，夺旗赛）是网络安全领域内的一种流行竞赛形式，起源于1996年…...

编程日记 2024/8/16 4:19:14

【海贼王航海日志：前端技术探索】一篇文章带你走进JavaScript(二)

目录 1 -> 基础数据类型 1.1 -> 条件语句 1.1.1 if语句 1.2 -> 分支语句 1.2.1 -> switch语句 1.3 -> 循环语句 1.3.1 -> while循环 1.3.2 -> continue 1.3.3 -> break 1.3.4 -> for循环 1.4 -> 数组 1.4.1 -> 创建数组 1.4.2 -…...

编程日记 2024/8/16 4:18:13

鸿蒙内核源码分析(进程管理篇) | 谁在管理内核资源？

官方基本概念 从系统的角度看，进程是资源管理单元。进程可以使用或等待CPU、使用内存空间等系统资源，并独立于其它进程运行。 OpenHarmony内核的进程模块可以给用户提供多个进程，实现了进程之间的切换和通信，帮助用户管理业务程序…...

编程日记 2024/8/16 4:16:10

SQLALchemy 自动从数据库中映射

SQLALchemy 自动从数据库中映射 使用`automap_base`注意事项在SQLAlchemy中，自动从数据库中映射表到Python类（也称为“反射”或“逆向工程”）是一个常见的需求，尤其是在你已经有了一个现有的数据库，并希望快速地为它创建一个ORM模型时。SQLAlchemy提供了工具来帮助你完成这…...

编程日记 2024/8/16 4:13:06

树莓派超全系列教程文档--(62)使用rpicam-app通过网络流式传输视频

使用rpicam-app通过网络流式传输视频 使用 rpicam-app 通过网络流式传输视频UDPTCPRTSPlibavGStreamerRTPlibcamerasrc GStreamer 元素 文章来源： http://raspberry.dns8844.cn/documentation 原文网址 使用 rpicam-app 通过网络流式传输视频 本节介绍来自 rpica…...

编程新知 2025/11/5 13:03:58

基于Flask实现的医疗保险欺诈识别监测模型

基于Flask实现的医疗保险欺诈识别监测模型 项目截图 项目简介 社会医疗保险是国家通过立法形式强制实施，由雇主和个人按一定比例缴纳保险费，建立社会医疗保险基金，支付雇员医疗费用的一种医疗保险制度， 它是促进社会文明和进步的…...

编程新知 2026/1/24 14:59:08

深入理解JavaScript设计模式之单例模式

目录 什么是单例模式为什么需要单例模式常见应用场景包括 单例模式实现透明单例模式实现不透明单例模式用代理实现单例模式javaScript中的单例模式使用命名空间使用闭包封装私有变量 惰性单例通用的惰性单例 结语 什么是单例模式 单例模式（Singleton Pattern&#…...

编程新知 2026/1/31 17:09:43

相机从app启动流程

一、流程框架图 二、具体流程分析 1、得到cameralist和对应的静态信息 目录如下： 重点代码分析： 启动相机前，先要通过getCameraIdList获取camera的个数以及id，然后可以通过getCameraCharacteristics获取对应id camera的capabilities（静态信息）进行一些openCamera前的…...

编程新知 2026/1/31 5:09:19

HBuilderX安装（uni-app和小程序开发）

下载HBuilderX 访问官方网站：https://www.dcloud.io/hbuilderx.html 根据您的操作系统选择合适版本： Windows版（推荐下载标准版） Windows系统安装步骤 运行安装程序： 双击下载的.exe安装文件 如果出现安全提示&…...

编程新知 2026/1/31 12:52:04

Linux-07 ubuntu 的 chrome 启动不了

文章目录 问题原因解决步骤一、卸载旧版chrome二、重新安装chorme三、启动不了，报错如下四、启动不了，解决如下 总结 问题原因 在应用中可以看到chrome，但是打不开(说明：原来的ubuntu系统出问题了，这个是备用的硬盘&a…...

编程新知 2026/1/29 17:56:19

WordPress插件：AI多语言写作与智能配图、免费AI模型、SEO文章生成

厌倦手动写WordPress文章？AI自动生成，效率提升10倍！ 支持多语言、自动配图、定时发布，让内容创作更轻松！ AI内容生成 → 不想每天写文章？AI一键生成高质量内容！多语言支持 → 跨境电商必备&am…...

编程新知 2026/1/30 17:24:20

深入解析C++中的extern关键字：跨文件共享变量与函数的终极指南

🚀 C extern 关键字深度解析：跨文件编程的终极指南 📅 更新时间：2025年6月5日 🏷️ 标签：C | extern关键字 | 多文件编程 | 链接与声明 | 现代C 文章目录 前言🔥一、extern 是什么？&…...

编程新知 2026/2/1 6:50:07

用docker来安装部署freeswitch记录

今天刚才测试一个callcenter的项目，所以尝试安装freeswitch 1、使用轩辕镜像 - 中国开发者首选的专业 Docker 镜像加速服务平台 编辑下面/etc/docker/daemon.json文件为 {"registry-mirrors": ["https://docker.xuanyuan.me"] }同时可以进入轩…...

编程新知 2026/2/1 3:20:44

【论文阅读28】-CNN-BiLSTM-Attention-（2024）

本文把滑坡位移序列拆开、筛优质因子，再用 CNN-BiLSTM-Attention 来动态预测每个子序列，最后重构出总位移，预测效果超越传统模型。 文章目录 1 引言2 方法2.1 位移时间序列加性模型2.2 变分模态分解 (VMD) 具体步骤2.3.1 样本熵（S…...

编程新知 2026/2/2 3:06:53