当前位置： 首页 > news >正文

Azure OpenAI检索增强微调：使用 GPT-4o 对 GPT-4o mini 进行微调，以适应特定领域的应用

news 2026/3/28 0:59:19

定制是关键！ 

 

生成式人工智能对企业最有影响力的应用之一是创建自然语言界面，这些界面经过定制，可以使用特定领域和用例数据来提供更好、更准确的响应。这意味着回答有关特定领域的问题，例如银行、法律和医疗领域。  

我们经常谈论实现这一目标的两种方法： 

 

  1. 检索增强生成 (RAG)：将这些文档存储在向量数据库中，并在查询时根据它们与问题的语义相似性检索文档，然后将它们用作 LLM 的上下文。
  2. 监督微调 (SFT)：根据代表特定领域知识的一组提示和响应来训练现有的基础模型。 
     

虽然大多数尝试使用 RAG 的组织都希望利用其内部知识库来扩展 LLM 的知识，但许多组织如果不进行重大优化就无法实现预期结果。同样，整理足够大且高质量的数据集以进行微调也是一项挑战。这两种方法都有局限性：微调将模型限制在其训练数据中，使其容易受到近似和幻觉的影响，而 RAG 为模型奠定了基础，但仅根据文档与查询的语义接近度来检索文档——这可能不相关，并且可能导致推理不充分的答案。 

 

参考链接：
微软 Azure OpenAI 试用申请

RAFT 来救援！ 

博客文章缩略图 1，标题为“检索增强微调：使用 GPT-4o 对 GPT-4o mini 进行微调，以适应特定领域的应用”

 

我们可以结合使用 RAG或微调，而不是只选择其中一种！将 RAG 视为一场开卷考试：模型查找相关文档来生成答案。微调就像一场闭卷考试：模型依赖于预先训练的知识。就像在考试中一样，最好的结果来自于学习和随手记笔记。 

 
检索感知微调 (RAFT) 是一种强大的技术，可用于为特定领域的开放式设置（例如域内 RAG）准备微调数据。它改变了语言模型的格局，结合了 RAG 和微调的最佳部分。RAFT 通过提高模型理解和使用特定领域知识的能力，帮助模型针对特定领域进行量身定制。它是 RAG 和特定领域的 SFT 之间的最佳结合点。 

 

它是如何工作的？ 

 

RAFT 分为三个步骤：  

  1. 准备数据集来教模型如何回答有关您的领域的问题。
  2. 使用准备好的数据集对模型进行微调  
  3. 评估新的、定制的、领域适应模型的质量 

RAFT 的关键在于训练数据生成，其中每个数据点都包含一个问题 (Q)、一组文档 (Dk) 和一个思路链式答案 (A)。文档分为包含答案的 Oracle 文档 (Do) 和不包含答案的干扰文档 (Di)。微调教会模型区分这些文档，从而生成一个自定义模型，该模型的表现优于仅使用 RAG 或微调的原始模型。我们使用 GPT-4o 生成训练数据并微调 GPT-4o mini，从而根据您的用例量身定制经济高效、速度更快的模型。这种称为蒸馏的技术使用 GPT-4o 作为教师模型，使用 4o-mini 作为学生模型。 
 
 
 
 
 

在本博客的下一部分中，我们将开始实践。如果您想自己跟进，或查看参考代码，请查看https://aka.ms/aoai-raft-workshop。我们将为银行用例创建一个领域适配模型，该模型能够回答有关银行在线工具和账户的问题。  

 

笔记本 1- 生成 RAFT 训练数据 

 

首先收集特定领域的文档；在我们的示例中，这些是银行文档的 PDF。为了生成我们的训练数据，我们将 PDFS 转换为 markdown 文本格式。该文档为 PDF 格式，包含许多表格和图表，我们将使用 GPT-4o 将页面内容转换为 markdown。我们使用 Azure OpenAI GPT 4o 将所有这些信息提取到 Markdown 文件中，以用于下游处理。然后，我们使用 GPT-4o（我们的教师模型）生成合成的“问题-文档-答案”三元组，包括“黄金文档”（高度相关）和“干扰项”（误导）的示例。这将确保模型学会区分相关信息和不相关信息。RAFT利用思维链 (CoT) 过程，通过集成 CoT RAFT 过程提高了模型提取信息和执行逻辑推理的能力。这种方法有助于防止过度拟合并增强训练鲁棒性，使其对于需要详细和结构化思维的任务特别有效 

 
然后，我们将这些数据格式化以进行微调，将其分为训练集、验证集和测试集。验证集用于训练，测试集用于最后测量性能。 

 

笔记本2-RAFT微调  

 

现在是时候教我们的学生了！准备好训练和验证数据后，下一步是将这些数据上传到 Azure OpenAI 并创建微调作业。这非常简单：在 AI Studio 中，选择您的模型、上传您的训练和验证数据以及设置您的训练参数只需点击几下即可。我们将选择 4o-mini 作为我们的学生模型进行训练。 在实验室中，我们将向您展示如何使用 SDK 上传和触发微调作业。UI 使其成为一种简单的实验方式，而 SDK 方法是生产化和启用 llmops 策略以在生产中部署的首选方式。

 

博客文章缩略图 2，标题为“检索增强微调：使用 GPT-4o 对 GPT-4o mini 进行微调，以适应特定领域的应用”

 

一旦微调作业开始运行，我们就可以监控其进度，并在完成后在 Azure OpenAI Studio 中分析微调后的模型。最后，我们使用微调后的模型创建一个新的部署，准备用于我们的专业领域任务。 

 

笔记本 3 - 我们的 RAFT 模型真的比基础模型更好吗？让我们检查一下！ 

 

您可以首先查看 AI Studio 返回的内置指标，显示损失和准确度。我们希望看到准确度提高，而损失下降： 

博客文章缩略图 3，标题为“检索增强微调：使用 GPT-4o 对 GPT-4o mini 进行微调，以适应特定领域的应用”

 

但是，我们可以做更多的事情来衡量模型的质量。还记得我们一开始的测试数据集吗？这就是我们准备它的原因！ 

 

虽然有很多评估选项，包括 AI Studio 评估，但在我们的示例中，我们使用开源库 RAGAS，它使用答案相关性、忠实度、答案相似性和答案正确性等指标来评估 RAG 管道。这些指标要么依靠 LLM 作为评判者，要么依靠嵌入模型来评估生成答案的质量和准确性。 

 

 

 

缩略图 4 标题为 gpt4o-mini vs gpt4o-mini-raft

gpt4o-mini 与 gpt4o-mini-raft 对比

我们可以通过调整训练参数和/或生成额外的训练数据来进一步改善模型指标。  

 

相关文章：

Azure OpenAI检索增强微调：使用 GPT-4o 对 GPT-4o mini 进行微调，以适应特定领域的应用

定制是关键！ 生成式人工智能对企业最有影响力的应用之一是创建自然语言界面，这些界面经过定制，可以使用特定领域和用例数据来提供更好、更准确的响应。这意味着回答有关特定领域的问题，例如银行、法律和医疗领域。 我们经常谈…...

编程日记 2024/10/1 5:38:38

ISP Pipeline

系列文章目录 文章目录 系列文章目录前言一、RAW域二、RGB域三、YUV域总结 前言 一、RAW域 黑电平校正（BLC）数字增益调整（DGain）自动白平衡（AWB）局部色调映射（LTM）坏点修复&#xf…...

编程日记 2024/10/1 5:36:36

＜ IDE编程环境配置＞

IDE编程环境配置 LIB，DLL区别 我们在写项目时会链接（调用）第3方库，或者比如在vs的解决方案solution创建项目project时，不仅可以开发可执行程序exe（可单独运行）（windows/控制台 应用…...

编程日记 2024/10/1 5:33:34

Golang | Leetcode Golang题解之第448题找到所有数组中消失的数字

题目&#xff1a; 题解&#xff1a; func findDisappearedNumbers(nums []int) (ans []int) {n : len(nums)for _, v : range nums {v (v - 1) % nnums[v] n}for i, v : range nums {if v < n {ans append(ans, i1)}}return }...

编程日记 2024/10/1 5:32:33

【Spring Boot 入门三】Spring Boot与数据库集成 - 构建数据驱动的应用

一、引言 在之前的文章中&#xff0c;我们已经对Spring Boot有了初步的认识&#xff0c;了解了如何构建第一个Spring Boot应用&#xff0c;以及如何通过配置文件来掌控应用的设置。这些知识为我们进一步探索Spring Boot与数据库的集成奠定了坚实的基础。 数据库是现代应用的核…...

编程日记 2024/10/1 5:31:32

Web 服务器与动态脚本语言通信的接口协议有哪些

Web 服务器与动态脚本语言通信的接口协议主要有以下几种&#xff1a; 一、FastCGI&#xff08;Fast Common Gateway Interface&#xff09; 特点&#xff1a;使用持久进程处理请求&#xff0c;减少了进程启动和关闭的开销&#xff0c;提高了性能和可扩展性。多个请求可由同一个…...

编程日记 2024/10/1 5:30:31

ESXI识别服务器磁盘，虚拟机显示无效

ESXI识别服务器磁盘&#xff0c;虚拟机显示无效 系统意外断电识别不到磁盘的情况下可以管理-》硬件-》搜索磁盘名称&#xff0c;选择切换直通&#xff0c;则虚拟机正常。...

编程日记 2024/10/1 5:29:30

【C++】 vector 迭代器失效问题

【C】 vector 迭代器失效问题 一. 迭代器失效问题分析二. 对于vector可能会导致其迭代器失效的操作有&#xff1a;1. 会引起其底层空间改变的操作&#xff0c;都有可能是迭代器失效2. 指定位置元素的删除操作--erase3. Linux下&#xff0c;g编译器对迭代器失效的检测并不是非常…...

编程日记 2024/10/1 5:27:28

【Spring基础3】- Spring的入门程序

目录 3-1 Spring的下载3-2 Spring的 jar 包3-3 第一个 Spring程序第一步&#xff1a;添加spring context的依赖&#xff0c;pom.xml配置如下第二步&#xff1a;添加junit依赖第三步&#xff1a;定义bean&#xff1a;User第四步&#xff1a;编写spring的配置文件&#xff1a;bea…...

编程日记 2024/10/1 5:26:27

golang学习笔记22-面向对象（四）：接口【重要】

本节也是GO核心部分&#xff0c;很重要。 注&#xff1a;由于导包语句已经在19讲&#xff08;笔记19&#xff1a;面向对象的引入&#xff09;展示过了&#xff0c;所以这里就不展示了。 一、定义与实现 (1)接口中可以定义一组方法&#xff0c;但不需要实现&#xff0c;不需要…...

编程日记 2024/10/1 5:25:26

SpringBoot技术栈：打造下一代网上租赁系统

第2章 关键技术简介 2.1 Java技术 Java是一种非常常用的编程语言&#xff0c;在全球编程语言排行版上总是前三。在方兴未艾的计算机技术发展历程中&#xff0c;Java的身影无处不在&#xff0c;并且拥有旺盛的生命力。Java的跨平台能力十分强大&#xff0c;只需一次编译&#xf…...

编程日记 2024/10/1 5:24:25

Vue-Lecture1-Notes

渐进式框架 Vue 被称为“渐进式框架”&#xff0c;是因为它允许开发者根据项目的需求逐步引入和使用其功能&#xff0c;而不需要一次性使用整个框架。简单来说&#xff0c;Vue 提供了从简单到复杂的功能层次&#xff0c;可以灵活选择使用。 按需使用&#xff1a;Vue 的核心功能…...

编程日记 2024/10/1 5:23:24

网上租赁系统开发：SpringBoot实践与应用

第2章 关键技术简介 2.1 Java技术 Java是一种非常常用的编程语言&#xff0c;在全球编程语言排行版上总是前三。在方兴未艾的计算机技术发展历程中&#xff0c;Java的身影无处不在&#xff0c;并且拥有旺盛的生命力。Java的跨平台能力十分强大&#xff0c;只需一次编译&#xf…...

编程日记 2024/10/1 5:22:23

User-Agent在WebMagic爬虫中的重要性

对于需要从网站上抓取数据的开发者来说&#xff0c;WebMagic是一个强大的工具。它是一个简单灵活的Java爬虫框架&#xff0c;用于抓取网页数据。在爬虫技术中&#xff0c;User-Agent&#xff08;用户代理&#xff09;是一个关键的HTTP请求头&#xff0c;它告诉服务器关于客户端…...

编程日记 2024/10/1 5:18:20

如何解决 Docker 下载 mcr.microsoft.com 镜像慢的办法

一、介绍 MCR(Miscrosoft Container Registry) 加速器&#xff0c;助你在中国大陆急速下载 netcore 相关的 docker 镜像。二、解决办法。 　　　　1、如何使用 　　　　　　至少三种方法进行加速&#xff1a; 　　　　　　　　使用 docker-mcr &#xff08;推荐&#xff09; 　…...

编程日记 2024/10/1 5:17:19

网络编程，端口号，网络字节序，udp

前面一篇我们讲了网络的基础&#xff0c;网络协议栈是什么样的&#xff0c;数据如何流动传输的&#xff1b;接下来这篇&#xff0c;我们将进行实践操作&#xff0c;真正的让数据跨网络进行传输&#xff1b; 1.网络编程储备知识 1.1 初步认识网络编程 首先我们需要知道我们的…...

编程日记 2024/10/1 5:16:18

Android入门

下载Android studio&#xff0c;创建第一个项目 模板可以选择empty views Activity 在这个界面可以修改&#xff0c;使用语言&#xff0c;项目名字&#xff0c;存储路径以及适用版本 完成后&#xff0c;得到一个最初始的Android 项目&#xff0c;红色标记的两个文件&#xf…...

编程日记 2024/10/1 5:15:17

二叉树深搜专题篇

目录 计算布尔二叉树的值 求根节点到叶节点数字之和 二叉树剪枝 验证二叉搜索树 二叉搜索树中第K小的元素 二叉树的所有路径 计算布尔二叉树的值 题目 思路 这道题其实是比较简单的&#xff0c;对二叉树来一次后序遍历即可&#xff0c;当遇到叶子结点直接返回叶子节点中…...

编程日记 2024/10/1 5:14:16

堆【数据结构C语言版】【 详解】

目录-笔记整理 一、思考二、堆概念与性质三、堆的构建、删除、添加1. 构建2. 删除3. 添加 四、复杂度分析4.1 时间复杂度4.2 空间复杂度 五、总结 一、思考 设计一种数据结构&#xff0c;来存放整数&#xff0c;要求三个接口&#xff1a; 1&#xff09;获取序列中的最值&#…...

编程日记 2024/10/1 5:13:15

初识React

在最新写需求的时候&#xff0c;我遇到了一个需求&#xff0c;这个需求改后端改的不算多&#xff0c;而且也比较简单&#xff0c;但是在改前端的时候&#xff0c;很复杂。因为我们这个项目用的是React做前端的&#xff0c;而我对于前端知识没有了解&#xff0c;所以理解很多代码…...

编程日记 2024/10/1 5:12:14

实战指南：基于快马ai生成物联网温湿度光照监测站stm32完整代码

最近在做一个物联网环境监测的小项目&#xff0c;需要用到STM32采集温湿度、光照数据并通过串口上报&#xff0c;同时还要在OLED屏上实时显示。作为一个经常和硬件打交道的开发者&#xff0c;我发现用InsCode(快马)平台可以快速生成符合需求的完整代码框架&#xff0c;省去了大…...

编程新知 2026/3/28 0:03:11

用快马AI快速原型设计：9·1免费素材库管理界面十分钟搭建指南

最近在帮朋友设计一个免费素材库的管理界面&#xff0c;需求是要快速搭建一个能展示"91免费素材"的网页应用。作为一个经常需要验证设计想法的开发者&#xff0c;我发现用InsCode(快马)平台可以大大缩短原型开发时间。下面分享下我是如何在十分钟内完成这个素材库管理…...

编程新知 2026/3/27 21:15:47

OpenCV4编译后pkg-config失效？教你如何正确生成opencv4.pc文件（附完整CMake参数）

OpenCV4编译实战&#xff1a;从源码构建到pkg-config配置全解析 在Linux环境下从源码编译OpenCV4是许多计算机视觉开发者的必经之路&#xff0c;但不少人在成功编译后却发现pkg-config --modversion opencv命令报错"找不到opencv包"。这并非你的操作失误&#xff0c;…...

编程新知 2026/3/27 20:29:33

华为MatePad 11鸿蒙2.0平板变身编程本：保姆级AidLux+VSCode配置避坑指南

华为MatePad 11鸿蒙平板编程环境搭建实战&#xff1a;AidLux与VSCode高效配置指南 在移动办公与碎片化学习成为主流的今天&#xff0c;将华为MatePad 11这样的高性能平板转变为便携式编程工作站&#xff0c;正成为越来越多开发者的现实需求。鸿蒙系统2.0的分布式能力与AidLux的…...

编程新知 2026/3/27 19:04:49

【Hot 100 刷题计划】 LeetCode 138. 随机链表的复制 | C++ 链表深拷贝题解

LeetCode 138. 随机链表的复制 | C 哈希表 DFS 深拷贝题解 &#x1f4cc; 题目描述 题目级别&#xff1a;中等 给你一个长度为 n 的链表&#xff0c;每个节点包含一个额外增加的随机指针 random &#xff0c;该指针可以指向链表中的任何节点或空节点。 请你构造这个链表的深拷…...

编程新知 2026/3/27 18:06:07

智能文献管理全面指南：从学术研究痛点到高效解决方案

智能文献管理全面指南&#xff1a;从学术研究痛点到高效解决方案 【免费下载链接】zotero Zotero is a free, easy-to-use tool to help you collect, organize, annotate, cite, and share your research sources. 项目地址: https://gitcode.com/gh_mirrors/zo/zotero …...

编程新知 2026/3/27 17:39:59

C++的std--ranges中的优化异构

C的std::ranges中的优化异构&#xff1a;现代编程的效率革命 C20引入的std::ranges库彻底改变了算法和容器的交互方式&#xff0c;其中优化异构&#xff08;Heterogeneous Optimization&#xff09;技术尤为引人注目。传统算法在处理不同类型的数据时&#xff0c;往往需要显式…...

编程新知 2026/3/27 16:01:17

Anaconda Prompt卡在solving environment？别慌，三步搞定清华镜像源配置（附.condarc文件）

Anaconda环境配置卡顿&#xff1f;清华镜像源优化全指南 刚接触Python数据科学的新手们&#xff0c;十有八九会在Anaconda环境配置这一步栽跟头。特别是当看到命令行窗口里"solving environment"的提示一直转圈却迟迟没有进展时&#xff0c;那种等待的煎熬简直让人抓…...

编程新知 2026/3/27 15:35:02

别再只盯着GNSS了！用移远EC20模组实现基站定位的完整配置流程（含免费Token申请）

移远EC20模组基站定位实战&#xff1a;从零配置到室内场景精准落地 在物联网设备定位领域&#xff0c;GNSS卫星定位长期占据主导地位&#xff0c;但鲜为人知的是&#xff0c;像移远EC20这样的LTE模组还隐藏着一个被低估的功能——基站定位。当你的智能水表安装在地下室、共享设…...

编程新知 2026/3/27 15:24:56

OpenClaw技能扩展：用QwQ-32B实现公众号自动发布

OpenClaw技能扩展&#xff1a;用QwQ-32B实现公众号自动发布 1. 为什么需要公众号自动化发布 作为一个技术博主&#xff0c;我每周都要在公众号发布2-3篇技术文章。最让我头疼的不是写作本身&#xff0c;而是发布前的繁琐流程&#xff1a;手动调整Markdown格式、生成封面图、上…...

编程新知 2026/3/27 14:15:52