数据库管理-第151期 Oracle Vector DB AI-03(20240218)
数据库管理151期 2024-02-18
- 数据库管理-第151期 Oracle Vector DB & AI-03(20240218)
- 1 向量数据库应用场景
- 2 Oracle Vector DB
- 3 Vector数据类型
- 4 Vector运算
- 5 Vector DML
- 插入向量
- 获取向量
- 总结
数据库管理-第151期 Oracle Vector DB & AI-03(20240218)
作者:胖头鱼的鱼缸(尹海文)
Oracle ACE Associate: Database(Oracle与MySQL)
网思科技 DBA总监
10年数据库行业经验,现主要从事数据库服务工作
拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证
墨天轮MVP、认证技术专家,ITPUB认证专家,OCM讲师
圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号,非著名社恐(社交恐怖分子)
公众号:胖头鱼的鱼缸;CSDN:胖头鱼的鱼缸(尹海文);墨天轮:胖头鱼的鱼缸;ITPUB:yhw1809。
除授权转载并标明出处外,均为“非法”抄袭。
春节假期卷了2天,后面还是选择不卷了,开开心心的玩耍着把假期过完。这里在春节假期后的第一个工作日也祝大家开工大吉,同时又是悲催的6天班。
1 向量数据库应用场景
前面我们讲过向量数据库主要是用来存放AI机器学习向量信息,同时根据由输入内容转化成的向量信息与原有向量库内容进行匹配,得到最接近的结果进行反馈。而使用专用向量数据库最大的问题就是只能存放向量信息(包含其ID),进一步查询匹配需要去其他数据库查询关联信息,同时不能很好的update原有数据,很难对已有向量进行调整,到底一定程度后大概率需要全量更新向量库信息;而类似于PGVector这种基于传统数据库就目前的发展情况而言在较大压力面前又不能做到很好的性能(当然一般使用是没有问题的,性能问题也不是我说的)。


2 Oracle Vector DB
在2023年的OCW(Oracle CloudWorld,即以前的OOW,Oracle OpenWorld),甲骨文也在其Oracle Database 23c中引入了Vector DB、AI Vector Search等一组新功能设计:
- 简单易用且易于理解
- 新的SQL Embedding函数用于生成向量数据
- 新的VECTOR数据类型用于存储向量数据
- 新的SQL语法和函数轻松表达相似性搜索
- 新的近似搜索索引经过打包和调优以实现高性能和高质量搜索
- 在查询中与相关客户和产品的业务数据一起执行向量搜索
- 在同一数据库中处理向量和其他工作负载
这算是Oracle融合数据库的又一进步。
3 Vector数据类型
为了存放向量信息,Oracle引入了Vector数据类型,其底层采用BLOB存储以实现长期可扩展性。
VECTOR (<optional NUM of dimensions>, <optional format for dimension values>)
维度值的类型可以是FLOAT32, FLOAT64, 或者 INT8create table my_images (id number, image BLOB, img_vec VECTOR(768, FLOAT32))
由于维度值和维度类型是可选配置内容,因此Vector数据类型支持灵活的维度数量和格式类型:
create table my_images (id number, image BLOB, img_vec VECTOR);
嵌入模型随着技术的发展而变化,但架构可以保持不变。
4 Vector运算
- VECTOR_DISTANCE(VECTOR1, VECTOR2, )
使用欧几里得、余弦相似度、点积等指标(metric)来比较向量的相似度 - VECTOR_AVG(VECTOR)
向量平均值。例如,计算一个句子中所有单词的平均向量,作为该句子的向量 - VECTOR_DIMENSIONS_COUNT(VECTOR)
计算向量的维数 - VECTOR_NORM(VECTOR)
计算向量的欧几里得范数/长度 - 支持更多向量运算……
5 Vector DML
插入向量
TO_VECTOR( ) 将表示向量维度数组的字符串转换为 VECTOR:
create table vec_tab(id number, dataVec VECTOR(3, 'FLOAT32'));
insert into vec_tab values (1, TO_VECTOR('[1.1, 2.2, 3.3]');
update vec_tab set dataVec=TO_VECTOR('[4.4, 2.2, 3.3]') where id=1;
Javascript和Python的23c客户端支持VECTOR类型,因此可以直接插入Vector。
获取向量
FROM_VECTOR( ) 将向量转换为 CLOB/VARCHAR – 23c 之前的客户端的默认方式:
select dataVec from tab-> select FROM_VECTOR(dataVec) from tab; -> '[1.1, 2.2, 3.3]'
Javascript和Python的23c客户端支持VECTOR类型,因此可以直接读取向量数据。
同传统数据类型一样支持DML操作也意味着Oracle Vector DB可以对已有向量数据进行非常方便的调整,以增强向量库信息准确度与及时性;同时可以根据AI机器学习程度对自身的向量信息进行调整,以实现更加强的的AI功能。
总结
本期简单介绍了一下Oracle Vector BD的基本概念和一些简单功能与操作。
老规矩,知道写了些啥。
相关文章:
数据库管理-第151期 Oracle Vector DB AI-03(20240218)
数据库管理151期 2024-02-18 数据库管理-第151期 Oracle Vector DB & AI-03(20240218)1 向量数据库应用场景2 Oracle Vector DB3 Vector数据类型4 Vector运算5 Vector DML插入向量获取向量 总结 数据库管理-第151期 Oracle Vector DB & AI-03&am…...
Vue3+vite搭建基础架构(6)--- 使用vue-router
Vue3vite搭建基础架构(6)--- 使用vue-router 说明官方文档安装vue-router使用vue-router测试vue-router 说明 这里记录下自己在Vue3vite的项目使用vue-router的过程,不使用ts语法,方便以后直接使用。这里承接自己的博客Vue3vite搭…...
深入解析Android AIDL:实现跨进程通信的利器
深入解析Android AIDL:实现跨进程通信的利器 1. 介绍Android AIDL Android Interface Definition Language (AIDL) 是一种Android系统中的跨进程通信机制。AIDL允许一个应用程序的组件与另一个应用程序的组件通信,并在两者之间传输数据。 AIDL的主要作…...
【笔记】Helm-5 Chart模板指南-14 下一步
下一步 本指南旨在为chart开发者提供对如何使用Helm模板语言的强大理解能力。该模板聚焦于模板开发的技术层面。 但涉及到chart的实际日常开发时,很多内容本指南并没有覆盖到。这里有一些有用的文档链接帮助您创建新的chart: CNCF的 Artifact Hub 是ch…...
axios 官网速通
前言:参考 AXIOS 中文文档 一 起步 1. 介绍 1.1 Axios 是什么? Axios 是一个基于 promise 网络请求库,作用于 node.js 和浏览器中。在服务端使用 node.js 的 http 模块, 在客户端 (浏览端) 使用 XMLHttpRequests。 1.2 安装 $ npm instal…...
luigi,一个好用的 Python 数据管道库!
🏷️个人主页:鼠鼠我捏,要死了捏的主页 🏷️付费专栏:Python专栏 🏷️个人学习笔记,若有缺误,欢迎评论区指正 前言 大家好,今天为大家分享一个超级厉害的 Python 库 - luigi。 Github地址:https://github.com/spotify/luigi 在大数据时代,处理海量数据已经成…...
用HTML5实现动画
用HTML5实现动画 要在HTML5中实现动画,可以使用以下几种方法:CSS动画、使用<canvas>元素和JavaScript来实现动画、使用JavaScript动画库。重点介绍前两种。 一、CSS动画 CSS3 动画:使用CSS3的动画属性和关键帧(keyframes&…...
【Linux笔记】进程间通信之管道
一、匿名管道 我们在之前学习进程的时候就知道了一个概念,就是进程间是互相独立的,所以就算是两个进程是父子关系,其中一个进程退出了也不会影响另一个进程。 也因为进程间是互相独立的,所以两个进程间就不能直接的传递信息或者…...
【Node-RED】安全登陆时,账号密码设置
【Node-RED】安全登陆时,账号密码设置 前言实现步骤密码生成setting.js 文件修改 安全权限 前言 Node-RED 在初始下载完成时,登录是无账号密码的。基于安全性考虑,本期博文介绍在安全登陆时,如何进行账号密码设置。当然ÿ…...
Kubernetes基础(二十一)-k8s的服务发现机制
1 概述 Kubernetes(K8s)是一个强大的容器编排平台,提供了丰富的功能来简化容器化应用的管理。其中之一重要的特性就是服务发现机制,它使得应用程序能够在K8s集群中动态地发现和访问其他服务。本文将深入研究K8s中的服务发现机制&…...
华纳云:docker更新容器镜像的常用方法
更新 Docker 容器镜像可以通过以下几种方法实现: 1. 使用 docker pull 命令手动拉取更新的镜像: docker pull <镜像名>:<标签> 这会拉取指定镜像的最新版本或者指定标签的版本到本地。然后您可以停止并删除现有的容器,使用新的镜…...
什么时候会触发FullGC?描述一下JVM加载class文件的原理机制?
什么时候会触发 FullGC? 除直接调用 System.gc 外,触发 Full GC 执行的情况有如下四种。 1. 旧生代空间不足 旧生代空间只有 在新生代对象转入及创建为大对象、大数组时才会出现不足的现象,当执行 Full GC 后空间仍然不 足,则…...
HCIP-MGRE实验配置、PPP的PAP认证与CHAP认证、MGRE、GRE网络搭建、NAT
实验要求 R5为ISP,只能进行IP地址配素,其所有地址均为公有IP地址R1和R5间使用PPP的PAP认证,R5为主认证方 R2与R5之间使用PPP的chap认证,R5为主认证方 R3与R5之间使用HDLC封装。R1/R2/R3构建一个MGRE环境,R1为中心站点;R1、R4间为…...
react【四】css
文章目录 1、css1.1 react和vue css的对比1.2 内联样式1.3 普通的css1.4 css modules1.5 在react中使用less1.6 CSS in JS1.6.1 模板字符串的基本使用1.6.2 styled-components的基本使用1.6.3 接受传参1.6.4 使用变量1.6.5 继承样式 避免代码冗余1.6.6 设置主题色 1.7 React中添…...
SpringIOC之support模块SimpleThreadScope
博主介绍:✌全网粉丝5W+,全栈开发工程师,从事多年软件开发,在大厂呆过。持有软件中级、六级等证书。可提供微服务项目搭建与毕业项目实战,博主也曾写过优秀论文,查重率极低,在这方面有丰富的经验✌ 博主作品:《Java项目案例》主要基于SpringBoot+MyBatis/MyBatis-plus+…...
气味是否能通过光缆、信号传播?
搜索资料,有一点点眉目, 参考:未来网络可以传送气味 如何产生并被感知--双鸭山新闻网...
安装部署k8s集群
系统: CentOS Linux release 7.9.2009 (Core) 准备3台主机 192.168.44.148k8s-master92.168.44.154k8s-worker01192.168.44.155k8s-worker02 3台主机准备工作 关闭防火墙和selinux systemctl disable firewalld --nowsetenforce 0sed -i s/SELINUXenforcing/SELI…...
曲线生成 | 图解B样条曲线生成原理(基本概念与节点生成算法)
目录 0 专栏介绍1 什么是B样条曲线?2 基函数的de Boor递推式3 B样条曲线基本概念图解4 节点生成公式 0 专栏介绍 🔥附C/Python/Matlab全套代码🔥课程设计、毕业设计、创新竞赛必备!详细介绍全局规划(图搜索、采样法、智能算法等)…...
CyberDAO:web3时代的引领者
Web3.0正在改写着世界运行的规则,AGI将为人类未来的生产效率、工作方式与目标带来改变,区块链经过十余年发展开启了去中心化新格局,带来生产关系的变革。人类正在从过往以时间换取收入、听命完成工作,转变为以个性化、自主追求人生…...
java以及android类加载机制
类加载机制 一、Java类加载机制 java中,每一个类或者接口,在编译后,都会生成一个.class文件。 类加载机制指的是将这些.class文件中的二进制数据读入到内存中并对数据进行校验,解析和初始化。最终,每一个类都会在方…...
倒反天罡了!Cursor自研模型反超Opus 4.6!价格脚踝斩,氛围编程沸腾了
因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享点击关注#互联网架构师公众号,领取架构师全套资料 都在这里0、2T架构师学习资料干货分上一篇:2T架构师学习资料干货分享大家好,我是互联网架构师ÿ…...
新手福音:通过快马平台零代码基础理解qun329群聊应用开发
作为一个刚接触编程的新手,想要理解群聊应用开发确实容易一头雾水。最近我在尝试用InsCode(快马)平台搭建类似qun329的简单群聊网页时,发现整个过程比想象中简单很多。下面分享我的学习过程,希望能帮到同样零基础的朋友。 项目结构规划 首先明…...
OpenClaw学习助手方案:Qwen2.5-VL-7B解析教材插图生成记忆卡片
OpenClaw学习助手方案:Qwen2.5-VL-7B解析教材插图生成记忆卡片 1. 为什么需要AI辅助学习工具 去年备考专业认证时,我发现自己总在重复低效的学习循环——花大量时间手动整理教材图表中的关键数据,再誊写到Anki卡片上。这种机械劳动不仅耗时…...
告别传统方法:LogAnomaly如何用NLP技术提升日志异常检测准确率?
告别传统方法:LogAnomaly如何用NLP技术重构日志异常检测范式? 日志数据如同数字世界的神经系统,记录着系统运行的每一次"心跳"与"呼吸"。传统检测方法就像拿着放大镜寻找心电图异常,而LogAnomaly则带来了全新…...
OpenClaw+SecGPT-14B联动方案:3类网络安全自动化场景实测
OpenClawSecGPT-14B联动方案:3类网络安全自动化场景实测 1. 为什么选择这个技术组合? 去年我在做安全研究时,经常需要重复处理三类任务:分析漏洞报告、检查日志异常、收集威胁情报。这些工作既需要专业判断,又包含大…...
JAVA重点基础、进阶知识及易错点总结(14)字节流 字符流
🚀 Java 巩固进阶 第14天 主题:字节流 & 字符流 —— 文件读写的核心引擎📅 进度概览:今天进入 IO 流的灵魂章节!掌握这 4 个核心类,你就能打通文件读写的任督二脉。 💡 核心价值ÿ…...
千问3.5-27B知识库应用:OpenClaw变身技术问答助手
千问3.5-27B知识库应用:OpenClaw变身技术问答助手 1. 为什么需要本地化技术问答助手? 去年我在开发一个开源项目时,遇到了一个奇怪的Docker网络问题。当时在Stack Overflow上搜索了半天,找到的答案要么过时,要么不适…...
Seeed rpcBLE库:RTL8720DN平台的Arduino兼容BLE开发方案
1. 项目概述 Seeed Arduino rpcBLE 是一款面向嵌入式开发者的轻量级蓝牙低功耗(BLE)软件库,专为基于 Realtek RTL8720DN SoC 的 Seeed Studio 开发板(如 Wio Terminal、Wio-E5、W600 系列)设计。该库并非从零实现 BLE…...
魔兽争霸3终极优化指南:如何解锁180fps帧率限制并解决现代硬件兼容性问题
魔兽争霸3终极优化指南:如何解锁180fps帧率限制并解决现代硬件兼容性问题 【免费下载链接】WarcraftHelper Warcraft III Helper , support 1.20e, 1.24e, 1.26a, 1.27a, 1.27b 项目地址: https://gitcode.com/gh_mirrors/wa/WarcraftHelper 魔兽争霸3作为经…...
3分钟搞定100个Excel文件:极速多表格查询工具让数据搜索效率提升30倍
3分钟搞定100个Excel文件:极速多表格查询工具让数据搜索效率提升30倍 【免费下载链接】QueryExcel 多Excel文件内容查询工具。 项目地址: https://gitcode.com/gh_mirrors/qu/QueryExcel 你是否经历过这样的绝望时刻?当领导要求从20个Excel报表中…...
