AI进阶指南第五课,大模型相关概念(知识库,微调)
虽然前面大概讲了一下大模型的一些基本概念,但是那些都比较偏向于大模型本身,但是我们使用的时候如果只靠大模型肯定是不行的。
就好比如果一个人只有一个脑子,其他什么部位也没有的话,那场面。(感觉现在网上的AI图片接和这种场景类似,撕,好像发现了什么不得了的事情。)

不敢想!

基于此,除了大模型本身的概念之外,还有一些东西也是我们需要知道的。
那么这些东西有哪些呢?
一,知识库
知识库是提升我们定制化智能模型能力的关键。
举个栗子,

如果您想驾驶一辆高性能赛车,但您的车辆没有高性能的引擎,那么驾驶体验将大打折扣。
然而,一旦安装了合适的引擎,您的赛车将能够以惊人的速度飞驰。

知识库对于智能模型的作用与此类似。
当智能模型接入知识库后,其性能将得到显著提升。
就像赛车之于引擎一样,智能模型依赖于知识库来执行任务。
智能模型会根据知识库中的内容进行学习和推理,确保高效且不浪费时间。
通过知识库,我们可以更直接地解决面临的具体问题和需求。
如果直接使用通用智能模型而不考虑知识库,比如通用大模型(GPT,GLM,KIMI等等),其回答可能过于泛泛,无法满足特定场景的需求。
如果我们可以通过优化聊天机器人来解决企业的问题的话,那使用简单的提示词工程(Prompt engineering)就足以胜任。
那还有研究特定领域的智能大模型什么事儿呢?
我们的目标是在特定的环境中能够更好地使用AI技术。
至于,智能助理与特定环境之间的关系是什么?
再次举栗:

您的公司聘请了一位顾问,但是刚来的顾问虽然本身用手这做咨询的能力,但是他对你们公司内部的情况基本上是一无所知。
那这个时候,像想他变成“公司的形状”,我们就需要根据公司的具体需求对其进行培训,以便其在决策过程中发挥正确。
在以上的例子中,刚来公司的顾问就代表了LLM智能大模型,而知识库则代表培训内容,它包含了公司内部的关键信息。
顾问需要根据这些信息进行学习,以实现预期效果。
当然,即使有多位顾问,也难以与一个经过精心训练的智能模型相媲美,这只是一个形象的比喻。
所以说,现在如果有还在当顾问的读者,可得当心了。
一个不小心,自己就被AI给替代了。
二,微调
让我们继续上面的例子。
尽管这名顾问来到了你的公司,并且也学习了更多你们公司的内部知识,但是当这名顾问工作了一段时间过后,你却发现,这顾问水平好像不太行。
后面,然后经过了你的调查之后发现,原来这名顾问是老板儿子,放你这小公司来历练的。
(什么霸总剧情。)

咳,说回正事。
在历练了一段时间过后,这名霸总顾问也意识到了自己的问题,于是向自己的父亲提出自己要提升一下自己顾问方面的技能。
因为这名霸总顾问在公司本身就是金融方面的顾问,于是在经历了十分艰苦地学习过程,秒了一个金融学博士过后,又回到了你的公司。
再工作,突然就得心应手了起来。
而这名霸总顾问,通过这样的深造,不仅增强了自己的专业能力,还在处理复杂问题时展现出更高的效率和精准度。
在企业中,这名霸总顾问的专业成长可以类比为大模型的微调过程。
通过微调,大模型能够针对特定行业或问题领域进行优化,从而提升其推理和解决问题的能力。
其中推理能力,在这里指的是模型在面对复杂情境时,能够进行逻辑分析、判断和决策的能力。
就像一个普通的公司顾问和经过专业深造的顾问在处理工作时会有不同的方法和效果一样,一个经过微调的大模型也会比未经优化的模型在特定领域内表现得更加出色。
微调后的大模型能够更深入地理解行业特点,更精准地满足企业的需求,从而成为企业在特定垂直领域中的得力助手。
简而言之,微调是一种强化大模型在特定行业专业能力的方法。通过这种方式,企业可以确保大模型在处理相关问题时,不仅能够提供更加精准和高效的解决方案,还能够更好地融入企业的运营流程和文化中。
如果您对AI大模型充满好奇,想要了解更多关于它的信息,不妨联系我进行交流,我将为你带来更多的大模型相关知识。我是小机学AI大模型,一个专注于输出 AI+ 提示词和AI + 大模型,AI编程内容的学者,关注我一起进步。
@小机
或者您对于目前经济环境形式有其他想法的,也可以看下面的文章做个参考。
现在形势,比较严峻,说点真心的话吧
https://zhuanlan.zhihu.com/p/695830186
对了,如果您有AI方面的问题,或者有对AI其他方面感兴趣的地方,也欢迎通过下面的链接加我好友一起交流,我会送您一份领价值499元的AI资料,帮助您入门AI。
原文链接:
AI进阶指南第五课,大模型相关概念(知识库,微调)
https://mp.weixin.qq.com/s/UOwEWA1E5aAaCIpjpfF-Sw
相关文章:
AI进阶指南第五课,大模型相关概念(知识库,微调)
虽然前面大概讲了一下大模型的一些基本概念,但是那些都比较偏向于大模型本身,但是我们使用的时候如果只靠大模型肯定是不行的。 就好比如果一个人只有一个脑子,其他什么部位也没有的话,那场面。(感觉现在网上的AI图片…...
【深度学习基础】`view` 和 `reshape` 的参数详解
目录 基本概念参数详解 示例view 和 reshape 在具体应用中的参数解释参数解释 更多示例高维张量示例非连续内存示例 总结 基本概念 view 和 reshape 都用于调整张量的形状,它们的参数是新的形状,每个维度的大小可以指定为具体的数值或者 -1。-1 表示这个…...
【笔记】Spring Cloud Gateway 实现 gRPC 代理
Spring Cloud Gateway 在 3.1.x 版本中增加了针对 gRPC 的网关代理功能支持,本片文章描述一下如何实现相关支持.本文主要基于 Spring Cloud Gateway 的 官方文档 进行一个实践练习。有兴趣的可以翻看官方文档。 由于 Grpc 是基于 HTTP2 协议进行传输的,因此 Srping …...
云顶之弈数据网站
摘要:随着云顶之弈游戏的广泛流行,玩家对于游戏数据的查询和最新资讯的获取需求呈现出显著增长的趋势。设计一款云顶之弈数据网站,为玩家提供便捷、高效的数据查询和资讯浏览服务,能满足玩家对于游戏数据的快速查询和实时资讯获取…...
Linux(Ubuntu)下源码开发整个流程完成版本(下载->编译->模拟器运行)
写这篇文章没别的意思, 年纪大了记性不好, 这次工作中下载,编译遇到了一些之前没遇到的问题,所以就所幸记录一下, 以便日后能快速查阅 好了, 正题开始 首先我们下载AOSP源代码开始 AOSP源代码下载 首先找到官网https://source.android.google.cn/ 进入后最上面点击获取源代…...
el-form表单实现校验
前端表单实现, rules 属性传入约定的验证规则,并将 form-Item 的 prop 属性设置为需要验证的特殊键值即可。 <el-form ref"ruleFormRef" :model"interviewForm" label-position"left" require-asterisk-position"…...
一台TrinityCore服务器客户端连接网速慢(未解决)
在FreeBSD开bhyve安装Ubuntu,然后安装了TrinityCore服务器,在只是经过一层NAT,两边都是局域网的情况下,连接速度竟然很慢,慢到600ms。 服务器安装见:尝试在FreeBSD 的jail、bhyve里安装TrinityCore-CSDN博…...
[系统运维|Xshell]宿主机无法连接上NAT网络下的虚拟机进行维护?主机ping不通NAT网络下的虚拟机,虚拟机ping的通主机!解决办法
遇到的问题:主机ping不通NAT网络下的虚拟机,虚拟机ping的通主机 服务器:Linux(虚拟机) 主机PC:Windows 虚拟机:vb,vm测试过没问题,vnc没测试不清楚 虚拟机网络࿱…...
C 语言实例 - 查找数组中最大的元素值
查找数组中最大的元素值。 实例 1 #include <stdio.h>int main() {int array[10] {1, 2, 3, 4, 5, 6, 7, 8, 9, 0};int loop, largest;largest array[0];for(loop 1; loop < 10; loop) {if( largest < array[loop] ) largest array[loop];}printf("最大…...
MySQL之可扩展性(七)
可扩展性 通过集群扩展 理想的扩展方案时单一逻辑数据库能够存储尽可能多的数据,处理尽可能多的查询,并如期望的那样增长。许多人的第一想法就是建立一个"集群"或者"网格"来无缝处理这些事情,这样应用就无须去做太多工…...
微服务框架中Nacos的个人学习心得
微服务框架需要学习的东西很多,基本上我把它分为了五个模块: 第一:微服务技术模块 分为三个常用小模块: 1.微服务治理: 注册发现 远程调用 配置管理 网关路由 2.微服务保护: 流量控制 系统保护 熔断降级 服…...
Unity Animator 运行时修改某个动画状态的播放速度
1.添加动画参数,选择需要动态修改速度的动画状态 2.在属性面板种设置速度倍速参数...
阿里云常用的操作
阿里云常见的产品和服务 容器服务 可以查看容器日志、监控容器cpu和内存, 日志服务 SLS 可以查看所有服务的日志, Web应用防火墙 WAF 可以查看 QPS. 阿里云查看集群: 点击 “产品和服务” 中的 容器服务,可以查看 集群列表&…...
【MATLAB源码-第231期】基于matlab的polar码编码译码仿真,对比SC,SCL,BP,SCAN,SSC等译码算法误码率。
操作环境: MATLAB 2022a 1、算法描述 极化码(Polar Code) 极化码(Polar Code)是一种新型的信道编码技术,由土耳其裔教授Erdal Arıkan在2008年提出。极化码在理论上被证明能够在信道容量上达到香农极限…...
创新实训(十三) 项目开发——实现用户终止对话功能
思路分析: 如何实现用户终止AI正在进行的回答? 分析实现思路如下: 首先是在用户点击发送后,切换终止对话,点击后大模型终止对话,停止sse,不再接收后端的消息。同时因为对话记录存入数据库是后…...
基于Java+MySQL停车场车位管理系统详细设计和实现(源码+LW+调试文档+讲解等)
💗博主介绍:✌全网粉丝10W,CSDN作者、博客专家、全栈领域优质创作者,博客之星、平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗 🌟文末获取源码数据库🌟 感兴趣的可以先收藏起来,…...
LeetCode 53.最大子数组和(dp)
给你一个整数数组 nums ,请你找出一个具有最大和的连续子数组(子数组最少包含一个元素),返回其最大和。 子数组 是数组中的一个连续部分。 示例 1: 输入:nums [-2,1,-3,4,-1,2,1,-5,4] 输出:…...
IOS17闪退问题Assertion failure in void _UIGraphicsBeginImageContextWithOptions
最近项目更新到最新版本IOS17,发现一个以前的页面突然闪退了。原来是IOS17下,这个方法 UIGraphicsBeginImageContext(CGSize size) 已经被移除,原参数如果size为0的话,会出现闪退现象。 根据说明,上述方法已经被替换…...
float8格式
产生背景 在人工智能神经元网络中,一个参数用1字节表示即可,或者说,这是个猜想:因为图像的颜色用8比特表示就够了,所以说,猜想神经元的区分度应该小于256。 数字的分配 8比特有256个码位,分为…...
云效BizDevOps上手亲测
云效BizDevOps上手亲测 什么是云效项目协作Projex配置2023业务空间原始诉求字段原始诉求工作流创建原始诉求配置2023产品空间创建主题业务原始诉求关联主题配置2023研发空间新建需求需求关联主题 与传统区别云效开发流程传统开发流程云效BizDevOps 操作体验 什么是云效 在说到…...
线程与协程
1. 线程与协程 1.1. “函数调用级别”的切换、上下文切换 1. 函数调用级别的切换 “函数调用级别的切换”是指:像函数调用/返回一样轻量地完成任务切换。 举例说明: 当你在程序中写一个函数调用: funcA() 然后 funcA 执行完后返回&…...
2021-03-15 iview一些问题
1.iview 在使用tree组件时,发现没有set类的方法,只有get,那么要改变tree值,只能遍历treeData,递归修改treeData的checked,发现无法更改,原因在于check模式下,子元素的勾选状态跟父节…...
WPF八大法则:告别模态窗口卡顿
⚙️ 核心问题:阻塞式模态窗口的缺陷 原始代码中ShowDialog()会阻塞UI线程,导致后续逻辑无法执行: var result modalWindow.ShowDialog(); // 线程阻塞 ProcessResult(result); // 必须等待窗口关闭根本问题:…...
绕过 Xcode?使用 Appuploader和主流工具实现 iOS 上架自动化
iOS 应用的发布流程一直是开发链路中最“苹果味”的环节:强依赖 Xcode、必须使用 macOS、各种证书和描述文件配置……对很多跨平台开发者来说,这一套流程并不友好。 特别是当你的项目主要在 Windows 或 Linux 下开发(例如 Flutter、React Na…...
LangChain【6】之输出解析器:结构化LLM响应的关键工具
文章目录 一 LangChain输出解析器概述1.1 什么是输出解析器?1.2 主要功能与工作原理1.3 常用解析器类型 二 主要输出解析器类型2.1 Pydantic/Json输出解析器2.2 结构化输出解析器2.3 列表解析器2.4 日期解析器2.5 Json输出解析器2.6 xml输出解析器 三 高级使用技巧3…...
js 设置3秒后执行
如何在JavaScript中延迟3秒执行操作 在JavaScript中,要设置一个操作在指定延迟后(例如3秒)执行,可以使用 setTimeout 函数。setTimeout 是JavaScript的核心计时器方法,它接受两个参数: 要执行的函数&…...
raid存储技术
1. 存储技术概念 数据存储架构是对数据存储方式、存储设备及相关组件的组织和规划,涵盖存储系统的布局、数据存储策略等,它明确数据如何存储、管理与访问,为数据的安全、高效使用提供支撑。 由计算机中一组存储设备、控制部件和管理信息调度的…...
python可视化:俄乌战争时间线关键节点与深层原因
俄乌战争时间线可视化分析:关键节点与深层原因 俄乌战争是21世纪欧洲最具影响力的地缘政治冲突之一,自2022年2月爆发以来已持续超过3年。 本文将通过Python可视化工具,系统分析这场战争的时间线、关键节点及其背后的深层原因,全面…...
Linux 内存管理调试分析:ftrace、perf、crash 的系统化使用
Linux 内存管理调试分析:ftrace、perf、crash 的系统化使用 Linux 内核内存管理是构成整个内核性能和系统稳定性的基础,但这一子系统结构复杂,常常有设置失败、性能展示不良、OOM 杀进程等问题。要分析这些问题,需要一套工具化、…...
window 显示驱动开发-如何查询视频处理功能(三)
D3DDDICAPS_GETPROCAMPRANGE请求类型 UMD 返回指向 DXVADDI_VALUERANGE 结构的指针,该结构包含特定视频流上特定 ProcAmp 控件属性允许的值范围。 Direct3D 运行时在D3DDDIARG_GETCAPS的 pInfo 成员指向的变量中为特定视频流的 ProcAmp 控件属性指定DXVADDI_QUER…...
