当前位置: 首页 > news >正文

基于Azure OpenAI Service 的知识库搭建实验⼿册

1.概要
        介绍如何使⽤Azure OpenAI Service 的嵌⼊技术,创建知识库;以及创建必要的资源组和资源,包括 Form Recognizer 资源和
Azure 翻译器资源。在创建问答机器⼈服务时,需要使⽤已部署模型的 Azure OpenAI 资源、已存在的表格识别资源和翻译资
源。通过 Azure ⾃定义资源模板创建服务,填写相应的参数即可。参数包括在您的 Azure OpenAI 资源上部署的指令引擎、在
Azure OpenAI 资源上部署的⽂档嵌⼊引擎、在 Azure OpenAI 资源上部署的查询嵌⼊引擎、您的 Azure OpenAI 资源名称、您的
Azure OpenAI API 密钥、 Redis Stack URL Azure Blob 存储连接字符串等。
嵌⼊是⼀种特殊的数据表⽰格式,可由机器学习模型和算法轻松使⽤。 嵌⼊是⼀段⽂本的语义含义的信息密集表⽰。 每个嵌⼊
是浮点数的⼀个向量,向量空间中两个嵌⼊之间的距离与原始格式的两个输⼊之间的语义相似性相关。 例如,如果两个⽂本相
似,则它们的向量表⽰形式也应该相似。
2. 实验步骤
本节主要描述了如何部署知识库问答服务的相关步骤。
2.1 创建必要的资源组和资源
本节主要是准备动作,创建好最终搭建服务所需要的资源。
2.1.1 创建资源组
Azure OpenAI 服务⽬前部署在 Azure 美东、美国中南部、⻄欧三个数据中⼼。因此,为了让相关资源配合运⾏时取得最低的时
延,建议将资源组以及内含的资源也创建在这三个数据中⼼之中。本例选择在美东数据中⼼创建全部资源和资源组。
以下是在 Azure 美东数据中⼼ (East US) 创建资源组的步骤:
登陆 Azure 管理界⾯ https://portal.azure.com ,选择左侧导航栏中的 资源组 选项
点击 “+ 新建 按钮,在弹出的新建资源组窗⼝中输⼊相关信息,包括资源组名称、订阅、区域等,区域选择美国东部

 

单击 查看 + 创建 以预览并创建资源组
2.1.2 创建 Azure OpenAI 资源
Azure OpenAI 资源是该解决⽅案的核⼼,需要率先创建 Azure OpenAI 资源才能实现对 OpenAI ⼤模型的部署,在 Azure Portal
中创建 Azure OpenAI 资源的步骤如下:
在资源组内,单击 “+ 添加 按钮,在弹出的菜单中选择 “Marketplace” 选项
“Marketplace” ⻚⾯中,搜索 “OpenAI” 并选择 “Azure OpenAI” 服务

 

点击 创建 按钮,根据提⽰填写相关信息,包括名称、订阅、资源组、地区、定价层等,地区选择 East US

点击 查看 + 创建 以预览并创建 Azure OpenAI 资源
创建完成后,访问 https://oai.azure.com ⻚⾯

 

在⻚⾯上点击新建部署按钮,创建 text-davinci-003 部署和 text-embedding-ada-002 部署

 

 

两个部署创建完成后,即意味着 OpenAI 资源已经准备就绪。
2.1.3 创建 Form Recognizer 资源
Azure Form Recognizer 的作⽤是⽤于从⽂档中提取表格、键值对等结构化数据。在本实验中,我们将使⽤ Form Recognizer
别知识库中的⽂本数据。创建 Form Recognizer 资源的步骤如下:
在资源组内,单击 “+ 添加 按钮,在弹出的菜单中选择 “Marketplace” 选项
“Marketplace” ⻚⾯中,搜索 “Form Recognizer” 并选择 表单识别器 服务
点击 创建 按钮,根据提⽰填写相关信息,包括名称、订阅、资源组、地区等,地区选择 East US
点击 查看 + 创建 以预览并创建表单识别器资源
2.1.4 创建 Azure 翻译器资源
Azure 翻译器资源的作⽤是将⽂本翻译成不同的语⾔。在本实验中,我们将使⽤ Azure 翻译器将知识库中的⽂本翻译成多种语
⾔。创建 Azure 翻译器资源的步骤如下:
在资源组内,单击 “+ 添加 按钮,在弹出的菜单中选择 “Marketplace” 选项
“Marketplace” ⻚⾯中,搜索 “Azure 翻译器 并选择该服务

 

单击 创建 按钮,根据提⽰填写相关信息,包括名称、订阅、资源组、地区等,地区选择 East US

 

单击 查看 + 创建 以预览并创建 Azure 翻译器资源

 

2.2 创建知识库问答服务

此存储库使⽤ Azure OpenAI 服务从⽂档创建嵌⼊向量。 为了回答⽤户的问题,它检索最相关的⽂档,然后使⽤ GPT-3 提取问
题的匹配答案。
请注意,您需要:
拥有已部署模型的 Azure OpenAI 资源(例如 text-davinci-003 等指令模型和 text-embedding-ada-002 等嵌⼊模型)
拥有已存在的表格识别资源
拥有已存在的翻译资源
以下是通过 Azure ⾃定义资源模板创建服务的步骤:
Azure 管理界⾯中选择左侧导航栏中的 创建资源 选项
在弹出的 创建资源 窗⼝中输⼊ 模板部署 ,选择 模板部署 ( 使⽤⾃定义模板部署 )”

 

 

相关文章:

基于Azure OpenAI Service 的知识库搭建实验⼿册

1.概要 介绍如何使⽤Azure OpenAI Service 的嵌⼊技术,创建知识库;以及创建必要的资源组和资源,包括 Form Recognizer 资源和 Azure 翻译器资源。在创建问答机器⼈服务时,需要使⽤已部署模型的 Azure OpenAI 资源、已存在的…...

第七节--结构体

lesson19: 一、结构的基础知识 1.数组是一组xx集合(1:10:10) 2.结构体是XX的集合(1:10:25) 二、结构的声明(看课件)(1:12&#xf…...

Docker学习(二十四)报错速查手册

目录 一、This error may indicate that the docker daemon is not running 报错docker login 报错截图:原因分析:解决方案: 二、Get "https://harbor.xxx.cn/v2/": EOF 报错docker login 报错截图:原因分析&#xff1a…...

一种SpringBoot下Scheduler定时任务优雅退出方案

背景 近期业务中有一个定时任务发现每次服务部署时,偶发性的会触发问题,这里记录一下问题的跟进解决。 分析现象 该定时任务每2分钟执行一次,完成数据的更新处理。同时服务部署了多个服务器节点,为保证每次只有一个服务器节点上…...

DNS部署与安全详解(上)

文章目录 一、DNS二、域名组成1. 域名组成概述2. 域名组成 三、监听端口四、DNS解析种类1. 按照查询方式分类:2. 按照查询内容分类: 五、DNS服务器搭建过程1. 先确保服务器的IP地址是固定的2. 安装DNS软件 一、DNS DNS全称Domain Name Service&#xff0…...

【51单片机】晨启科技,酷黑版,音乐播放器

四、音乐播放器 任务要求: 设计制作一个简易音乐播放器(通过手柄板上的蜂鸣器发声,播放2到4首音乐),同时LED模块闪烁,给人视、听觉美的感受。 评分细则: 按下播放按键A6开始播放音乐&#xff0…...

基于SPSSPRO实现层次分析法(AHP)

层次分析法,简称AHP,是指将与决策总是有关的元素分解成目标、准则、方案等层次,在此基础之上进行定性和定量分析的决策方法。(摘自百度百科) 层次分析法有着广泛使用,涉及到的平台也多种多样,今…...

Spring Test中使用MockMvc进行上传文件单元测试时,报NullPointerException

问题: MockMvc peform在集成测试中返回nullPointerException 原因: springboot-2.x版本以上,当你添加依赖spring_boot_starter_test后,可以在内部看到自带了jupiter测试核心模块,也就是 junit5,junit5&am…...

HTTP常用状态码及其含义

HTTP常用状态码及其含义 1XX:信息,服务器收到请求,需要请求者继续执行操 状态码状态码英文名称中文描述100Continue继续。客户端应继续其请求101Switching Protocols切换协议。服务器根据客户端的请求切换协议。只能切换到更高级的协议&…...

FFmpeg中AVIOContext的使用

通过FFmpeg对视频进行编解码时,如果输入文件存在本机或通过USB摄像头、笔记本内置摄像头获取数据时,可通过avformat_open_input接口中的第二个参数直接指定即可。但如果待处理的视频数据存在于内存块中时,该如何指定,可通过FFmpeg…...

【react】react中BrowserRouter和HashRouter的区别:

文章目录 1.底层原理不一样:2.path衣现形式不一样3.刷新后对路山state参数的影响4.备注: HashRouter可以用于解决一些路径错误相关的问题 1.底层原理不一样: BrowserRouter使用的是H5的history API,不兼容IE9及以下版不。 HashRouter使用的是URL的哈希值。 2.path衣…...

机器学习常用Python库安装

机器学习常用Python库安装 作者日期版本说明Dog Tao2022.06.16V1.0开始建立文档 文章目录 机器学习常用Python库安装Anaconda简介使用镜像源配置 Pip简介镜像源配置 CUDAPytorch安装旧版本 TensorFlowGPU支持说明 DGL简介安装DGLLife RDKitscikit-multilearn Anaconda 简介 …...

HTTP 劫持、DNS 劫持与 XSS

HTTP 劫持、DNS 劫持与 XSS http 劫持是指攻击者在客户端和服务器之间同时建立了连接通道,通过某种方式,让客户端请求发送到自己的服务器,然后自己就拥有了控制响应内容的能力,从而给客户端展示错误的信息,比如在页面中…...

bash引用-Quoting详细介绍

bash引用-Quoting详细介绍 概述 引用的字面意思就是,用引号括住一个字符串。这可以保护字符串中的特殊字符不被shell或shell脚本重新解释或扩展。(如果一个字有不同于其字面意思的解释,它就是“特殊的”。例如:星号*除了本身代表*号以外还表…...

powershell几句话设置环境变量

设置环境变量比较繁琐,现在用这段话,在powershell中就可以轻松完成。 $existingPath [Environment]::GetEnvironmentVariable("Path", "Machine") $newPath "C:\Your\Path\Here"if ($existingPath -split ";"…...

Javascript 数据结构[入门]

作者:20岁爱吃必胜客(坤制作人),近十年开发经验, 跨域学习者,目前于海外某世界知名高校就读计算机相关专业。荣誉:阿里云博客专家认证、腾讯开发者社区优质创作者,在CTF省赛校赛多次取得好成绩。…...

IO(JavaEE初阶系列8)

目录 前言: 1.文件 1.1认识文件 1.2结构和目录 1.3文件路径 1.4文本文件vs二进制文件 2.文件系统的操作 2.1Java中操作文件 2.2File概述 2.2.1构造File对象 2.2.2File中的一些方法 3.文件内容的操作 3.1字节流 3.1.1InPutStream的使用方法 3.1.2OutPu…...

React Native 样式表的基础知识

在 React Native 中我们要使用组件元素进行样式设置的话,我们需要使用StyleSheet组件才能制定样式。useColorScheme是为 APP 定义颜色主题的。在此笔记中我们只是简单做一个介绍和使用。 使用StyleSheet定义样式 当我们要使用StyleSheet的话,我们需要引…...

【JS 解构赋值】

JS 解构赋值是 ES6 中一种简洁、高效的赋值方式,它可以将数组和对象中的值拆分出来并赋值给变量。 解构赋值 解构数组解构对象嵌套解构结语 解构数组 解构数组时,需要使用方括号 [] 包围变量名,并用逗号 , 将变量名隔开。 let [a, b, c] …...

Vue3状态管理库Pinia——自定义持久化插件

个人简介 👀个人主页: 前端杂货铺 🙋‍♂️学习方向: 主攻前端方向,正逐渐往全干发展 📃个人状态: 研发工程师,现效力于中国工业软件事业 🚀人生格言: 积跬步…...

学校招生小程序源码介绍

基于ThinkPHPFastAdminUniApp开发的学校招生小程序源码,专为学校招生场景量身打造,功能实用且操作便捷。 从技术架构来看,ThinkPHP提供稳定可靠的后台服务,FastAdmin加速开发流程,UniApp则保障小程序在多端有良好的兼…...

WordPress插件:AI多语言写作与智能配图、免费AI模型、SEO文章生成

厌倦手动写WordPress文章?AI自动生成,效率提升10倍! 支持多语言、自动配图、定时发布,让内容创作更轻松! AI内容生成 → 不想每天写文章?AI一键生成高质量内容!多语言支持 → 跨境电商必备&am…...

相机Camera日志分析之三十一:高通Camx HAL十种流程基础分析关键字汇总(后续持续更新中)

【关注我,后续持续新增专题博文,谢谢!!!】 上一篇我们讲了:有对最普通的场景进行各个日志注释讲解,但相机场景太多,日志差异也巨大。后面将展示各种场景下的日志。 通过notepad++打开场景下的日志,通过下列分类关键字搜索,即可清晰的分析不同场景的相机运行流程差异…...

CMake 从 GitHub 下载第三方库并使用

有时我们希望直接使用 GitHub 上的开源库,而不想手动下载、编译和安装。 可以利用 CMake 提供的 FetchContent 模块来实现自动下载、构建和链接第三方库。 FetchContent 命令官方文档✅ 示例代码 我们将以 fmt 这个流行的格式化库为例,演示如何: 使用 FetchContent 从 GitH…...

零基础在实践中学习网络安全-皮卡丘靶场(第九期-Unsafe Fileupload模块)(yakit方式)

本期内容并不是很难,相信大家会学的很愉快,当然对于有后端基础的朋友来说,本期内容更加容易了解,当然没有基础的也别担心,本期内容会详细解释有关内容 本期用到的软件:yakit(因为经过之前好多期…...

关键领域软件测试的突围之路:如何破解安全与效率的平衡难题

在数字化浪潮席卷全球的今天,软件系统已成为国家关键领域的核心战斗力。不同于普通商业软件,这些承载着国家安全使命的软件系统面临着前所未有的质量挑战——如何在确保绝对安全的前提下,实现高效测试与快速迭代?这一命题正考验着…...

20个超级好用的 CSS 动画库

分享 20 个最佳 CSS 动画库。 它们中的大多数将生成纯 CSS 代码,而不需要任何外部库。 1.Animate.css 一个开箱即用型的跨浏览器动画库,可供你在项目中使用。 2.Magic Animations CSS3 一组简单的动画,可以包含在你的网页或应用项目中。 3.An…...

云安全与网络安全:核心区别与协同作用解析

在数字化转型的浪潮中,云安全与网络安全作为信息安全的两大支柱,常被混淆但本质不同。本文将从概念、责任分工、技术手段、威胁类型等维度深入解析两者的差异,并探讨它们的协同作用。 一、核心区别 定义与范围 网络安全:聚焦于保…...

CppCon 2015 学习:Time Programming Fundamentals

Civil Time 公历时间 特点: 共 6 个字段: Year(年)Month(月)Day(日)Hour(小时)Minute(分钟)Second(秒) 表示…...

密码学基础——SM4算法

博客主页:christine-rr-CSDN博客 ​​​​专栏主页:密码学 📌 【今日更新】📌 对称密码算法——SM4 目录 一、国密SM系列算法概述 二、SM4算法 2.1算法背景 2.2算法特点 2.3 基本部件 2.3.1 S盒 2.3.2 非线性变换 ​编辑…...