当前位置: 首页 > news >正文

基于Azure OpenAI Service 的知识库搭建实验⼿册

1.概要
        介绍如何使⽤Azure OpenAI Service 的嵌⼊技术,创建知识库;以及创建必要的资源组和资源,包括 Form Recognizer 资源和
Azure 翻译器资源。在创建问答机器⼈服务时,需要使⽤已部署模型的 Azure OpenAI 资源、已存在的表格识别资源和翻译资
源。通过 Azure ⾃定义资源模板创建服务,填写相应的参数即可。参数包括在您的 Azure OpenAI 资源上部署的指令引擎、在
Azure OpenAI 资源上部署的⽂档嵌⼊引擎、在 Azure OpenAI 资源上部署的查询嵌⼊引擎、您的 Azure OpenAI 资源名称、您的
Azure OpenAI API 密钥、 Redis Stack URL Azure Blob 存储连接字符串等。
嵌⼊是⼀种特殊的数据表⽰格式,可由机器学习模型和算法轻松使⽤。 嵌⼊是⼀段⽂本的语义含义的信息密集表⽰。 每个嵌⼊
是浮点数的⼀个向量,向量空间中两个嵌⼊之间的距离与原始格式的两个输⼊之间的语义相似性相关。 例如,如果两个⽂本相
似,则它们的向量表⽰形式也应该相似。
2. 实验步骤
本节主要描述了如何部署知识库问答服务的相关步骤。
2.1 创建必要的资源组和资源
本节主要是准备动作,创建好最终搭建服务所需要的资源。
2.1.1 创建资源组
Azure OpenAI 服务⽬前部署在 Azure 美东、美国中南部、⻄欧三个数据中⼼。因此,为了让相关资源配合运⾏时取得最低的时
延,建议将资源组以及内含的资源也创建在这三个数据中⼼之中。本例选择在美东数据中⼼创建全部资源和资源组。
以下是在 Azure 美东数据中⼼ (East US) 创建资源组的步骤:
登陆 Azure 管理界⾯ https://portal.azure.com ,选择左侧导航栏中的 资源组 选项
点击 “+ 新建 按钮,在弹出的新建资源组窗⼝中输⼊相关信息,包括资源组名称、订阅、区域等,区域选择美国东部

 

单击 查看 + 创建 以预览并创建资源组
2.1.2 创建 Azure OpenAI 资源
Azure OpenAI 资源是该解决⽅案的核⼼,需要率先创建 Azure OpenAI 资源才能实现对 OpenAI ⼤模型的部署,在 Azure Portal
中创建 Azure OpenAI 资源的步骤如下:
在资源组内,单击 “+ 添加 按钮,在弹出的菜单中选择 “Marketplace” 选项
“Marketplace” ⻚⾯中,搜索 “OpenAI” 并选择 “Azure OpenAI” 服务

 

点击 创建 按钮,根据提⽰填写相关信息,包括名称、订阅、资源组、地区、定价层等,地区选择 East US

点击 查看 + 创建 以预览并创建 Azure OpenAI 资源
创建完成后,访问 https://oai.azure.com ⻚⾯

 

在⻚⾯上点击新建部署按钮,创建 text-davinci-003 部署和 text-embedding-ada-002 部署

 

 

两个部署创建完成后,即意味着 OpenAI 资源已经准备就绪。
2.1.3 创建 Form Recognizer 资源
Azure Form Recognizer 的作⽤是⽤于从⽂档中提取表格、键值对等结构化数据。在本实验中,我们将使⽤ Form Recognizer
别知识库中的⽂本数据。创建 Form Recognizer 资源的步骤如下:
在资源组内,单击 “+ 添加 按钮,在弹出的菜单中选择 “Marketplace” 选项
“Marketplace” ⻚⾯中,搜索 “Form Recognizer” 并选择 表单识别器 服务
点击 创建 按钮,根据提⽰填写相关信息,包括名称、订阅、资源组、地区等,地区选择 East US
点击 查看 + 创建 以预览并创建表单识别器资源
2.1.4 创建 Azure 翻译器资源
Azure 翻译器资源的作⽤是将⽂本翻译成不同的语⾔。在本实验中,我们将使⽤ Azure 翻译器将知识库中的⽂本翻译成多种语
⾔。创建 Azure 翻译器资源的步骤如下:
在资源组内,单击 “+ 添加 按钮,在弹出的菜单中选择 “Marketplace” 选项
“Marketplace” ⻚⾯中,搜索 “Azure 翻译器 并选择该服务

 

单击 创建 按钮,根据提⽰填写相关信息,包括名称、订阅、资源组、地区等,地区选择 East US

 

单击 查看 + 创建 以预览并创建 Azure 翻译器资源

 

2.2 创建知识库问答服务

此存储库使⽤ Azure OpenAI 服务从⽂档创建嵌⼊向量。 为了回答⽤户的问题,它检索最相关的⽂档,然后使⽤ GPT-3 提取问
题的匹配答案。
请注意,您需要:
拥有已部署模型的 Azure OpenAI 资源(例如 text-davinci-003 等指令模型和 text-embedding-ada-002 等嵌⼊模型)
拥有已存在的表格识别资源
拥有已存在的翻译资源
以下是通过 Azure ⾃定义资源模板创建服务的步骤:
Azure 管理界⾯中选择左侧导航栏中的 创建资源 选项
在弹出的 创建资源 窗⼝中输⼊ 模板部署 ,选择 模板部署 ( 使⽤⾃定义模板部署 )”

 

 

相关文章:

基于Azure OpenAI Service 的知识库搭建实验⼿册

1.概要 介绍如何使⽤Azure OpenAI Service 的嵌⼊技术,创建知识库;以及创建必要的资源组和资源,包括 Form Recognizer 资源和 Azure 翻译器资源。在创建问答机器⼈服务时,需要使⽤已部署模型的 Azure OpenAI 资源、已存在的…...

第七节--结构体

lesson19: 一、结构的基础知识 1.数组是一组xx集合(1:10:10) 2.结构体是XX的集合(1:10:25) 二、结构的声明(看课件)(1:12&#xf…...

Docker学习(二十四)报错速查手册

目录 一、This error may indicate that the docker daemon is not running 报错docker login 报错截图:原因分析:解决方案: 二、Get "https://harbor.xxx.cn/v2/": EOF 报错docker login 报错截图:原因分析&#xff1a…...

一种SpringBoot下Scheduler定时任务优雅退出方案

背景 近期业务中有一个定时任务发现每次服务部署时,偶发性的会触发问题,这里记录一下问题的跟进解决。 分析现象 该定时任务每2分钟执行一次,完成数据的更新处理。同时服务部署了多个服务器节点,为保证每次只有一个服务器节点上…...

DNS部署与安全详解(上)

文章目录 一、DNS二、域名组成1. 域名组成概述2. 域名组成 三、监听端口四、DNS解析种类1. 按照查询方式分类:2. 按照查询内容分类: 五、DNS服务器搭建过程1. 先确保服务器的IP地址是固定的2. 安装DNS软件 一、DNS DNS全称Domain Name Service&#xff0…...

【51单片机】晨启科技,酷黑版,音乐播放器

四、音乐播放器 任务要求: 设计制作一个简易音乐播放器(通过手柄板上的蜂鸣器发声,播放2到4首音乐),同时LED模块闪烁,给人视、听觉美的感受。 评分细则: 按下播放按键A6开始播放音乐&#xff0…...

基于SPSSPRO实现层次分析法(AHP)

层次分析法,简称AHP,是指将与决策总是有关的元素分解成目标、准则、方案等层次,在此基础之上进行定性和定量分析的决策方法。(摘自百度百科) 层次分析法有着广泛使用,涉及到的平台也多种多样,今…...

Spring Test中使用MockMvc进行上传文件单元测试时,报NullPointerException

问题: MockMvc peform在集成测试中返回nullPointerException 原因: springboot-2.x版本以上,当你添加依赖spring_boot_starter_test后,可以在内部看到自带了jupiter测试核心模块,也就是 junit5,junit5&am…...

HTTP常用状态码及其含义

HTTP常用状态码及其含义 1XX:信息,服务器收到请求,需要请求者继续执行操 状态码状态码英文名称中文描述100Continue继续。客户端应继续其请求101Switching Protocols切换协议。服务器根据客户端的请求切换协议。只能切换到更高级的协议&…...

FFmpeg中AVIOContext的使用

通过FFmpeg对视频进行编解码时,如果输入文件存在本机或通过USB摄像头、笔记本内置摄像头获取数据时,可通过avformat_open_input接口中的第二个参数直接指定即可。但如果待处理的视频数据存在于内存块中时,该如何指定,可通过FFmpeg…...

【react】react中BrowserRouter和HashRouter的区别:

文章目录 1.底层原理不一样:2.path衣现形式不一样3.刷新后对路山state参数的影响4.备注: HashRouter可以用于解决一些路径错误相关的问题 1.底层原理不一样: BrowserRouter使用的是H5的history API,不兼容IE9及以下版不。 HashRouter使用的是URL的哈希值。 2.path衣…...

机器学习常用Python库安装

机器学习常用Python库安装 作者日期版本说明Dog Tao2022.06.16V1.0开始建立文档 文章目录 机器学习常用Python库安装Anaconda简介使用镜像源配置 Pip简介镜像源配置 CUDAPytorch安装旧版本 TensorFlowGPU支持说明 DGL简介安装DGLLife RDKitscikit-multilearn Anaconda 简介 …...

HTTP 劫持、DNS 劫持与 XSS

HTTP 劫持、DNS 劫持与 XSS http 劫持是指攻击者在客户端和服务器之间同时建立了连接通道,通过某种方式,让客户端请求发送到自己的服务器,然后自己就拥有了控制响应内容的能力,从而给客户端展示错误的信息,比如在页面中…...

bash引用-Quoting详细介绍

bash引用-Quoting详细介绍 概述 引用的字面意思就是,用引号括住一个字符串。这可以保护字符串中的特殊字符不被shell或shell脚本重新解释或扩展。(如果一个字有不同于其字面意思的解释,它就是“特殊的”。例如:星号*除了本身代表*号以外还表…...

powershell几句话设置环境变量

设置环境变量比较繁琐,现在用这段话,在powershell中就可以轻松完成。 $existingPath [Environment]::GetEnvironmentVariable("Path", "Machine") $newPath "C:\Your\Path\Here"if ($existingPath -split ";"…...

Javascript 数据结构[入门]

作者:20岁爱吃必胜客(坤制作人),近十年开发经验, 跨域学习者,目前于海外某世界知名高校就读计算机相关专业。荣誉:阿里云博客专家认证、腾讯开发者社区优质创作者,在CTF省赛校赛多次取得好成绩。…...

IO(JavaEE初阶系列8)

目录 前言: 1.文件 1.1认识文件 1.2结构和目录 1.3文件路径 1.4文本文件vs二进制文件 2.文件系统的操作 2.1Java中操作文件 2.2File概述 2.2.1构造File对象 2.2.2File中的一些方法 3.文件内容的操作 3.1字节流 3.1.1InPutStream的使用方法 3.1.2OutPu…...

React Native 样式表的基础知识

在 React Native 中我们要使用组件元素进行样式设置的话,我们需要使用StyleSheet组件才能制定样式。useColorScheme是为 APP 定义颜色主题的。在此笔记中我们只是简单做一个介绍和使用。 使用StyleSheet定义样式 当我们要使用StyleSheet的话,我们需要引…...

【JS 解构赋值】

JS 解构赋值是 ES6 中一种简洁、高效的赋值方式,它可以将数组和对象中的值拆分出来并赋值给变量。 解构赋值 解构数组解构对象嵌套解构结语 解构数组 解构数组时,需要使用方括号 [] 包围变量名,并用逗号 , 将变量名隔开。 let [a, b, c] …...

Vue3状态管理库Pinia——自定义持久化插件

个人简介 👀个人主页: 前端杂货铺 🙋‍♂️学习方向: 主攻前端方向,正逐渐往全干发展 📃个人状态: 研发工程师,现效力于中国工业软件事业 🚀人生格言: 积跬步…...

il汇编整数相加

在这里尝试了IL汇编字符串连接; IL汇编字符串连接_bcbobo21cn的博客-CSDN博客 下面来看一下IL汇编整数相加; 大概的看一下一些资料,下面语句, ldc.i4 20 ldc.i4 30 add 看上去像是,装载整数20到一个类似于…...

RabbitMQ 事务

事务简介 就像我们了解的MySQL中的事务一样,RabbiMQ的事务也具备原子性和一致性,并且RabbiMQ的事务是针对消息从生产者发送到RabbitMQ中提供的支持,因此不同事务可以同时给同一个队列发送信息。   可通过channel.txSelect,chann…...

vue前端 让年月日 加上23:59:59

yyyy/MM/dd HH:mm:ss 格式 // 获取 lateCreateTime 的原始时间戳 const timestamp new Date(this.queryAO.lateCreateTime).getTime();// 将时间戳转换为指定格式的字符串 const formattedDateTime new Date(timestamp).toLocaleString("zh-CN", {year: "num…...

【雕爷学编程】Arduino动手做(186)---WeMos ESP32开发板8

37款传感器与模块的提法,在网络上广泛流传,其实Arduino能够兼容的传感器模块肯定是不止37种的。鉴于本人手头积累了一些传感器和执行器模块,依照实践出真知(一定要动手做)的理念,以学习和交流为目的&#x…...

STM32--综述

文章目录 前言STM32简介STM32F103C8T6系统结构Keil软件安装注意事项新建工程操作流程 前言 本专栏将学习B站江协科技的STM32入门教程,通过自身理解和对老师的总结所写的博客专栏。 STM32简介 STM32是意法半导体(STMicroelectronics)公司推…...

Linux学习之sed、awk和vim的差异

sed、awk和vim都是编辑器,区别如下: vim是交互式,需要跟用户进行互动,而sed和awk是非交互式,只需要写好命令,不用跟用户进行互动就可以完成任务。 vim是文本编辑器,操作的时候会对整个文件编辑&…...

MacOS上配置docker国内镜像仓库地址

背景 docker官方镜像仓库网速较差,我们需要设置国内镜像服务 我的MacOS docker版本如下 设置docker国内镜像仓库地址 点击Settings点击Docker Engine修改配置文件,添加registry-mirrors {"builder": {"gc": {"defaultKeepS…...

全志F1C200S嵌入式驱动开发(soc系统集成)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 任何一个嵌入式设备都是由很多的子系统组成的。这里面有硬件、有软件,还可能有机械,并不一定就是大家看到的消费电子那样,即一个soc构成了所有的系统。现实情况是,要构建一个系…...

React路由5版本

什么是路由? 一个路由就是一个映射关系(key:value). 以下代码用的都是router5 通过 npm install react-router-dom5 下载 所有路由用到的东西都需要从react-router-dom中引入 import {BrowserRouter,Link,Route,NavLink,Redirect,withRouter} from react-router-dom 1. 路…...

6.4.3 1x1卷积层

特点:1x1卷积层相当于全连接层 作用:1x1卷积用于调整网络层的通道数量和控制模型复杂度 输入形状:(通道,行,列) (3,3,3) 卷积核形状:(输出通道,输入通道,行,列) (2,3,…...