当前位置: 首页 > news >正文

大模型应用技术系列(一):大模型应用整体技术栈浅析

        RAG相关的技术学习暂时告一段落了,接下来尝试探索新的学习方向。这就引入一个问题:接下来该做什么?为了能进一步推进,我需要有一个整体的视角,从更上层来看整个技术栈,从而确定接下来感兴趣的方向。本文主要探索从更上层的视角来看构建大模型的技术栈,从而进一步确定研究学习方向。

前言

        技术最终是为业务服务的,基于新兴的大模型技术,最近涌现出各种有意思的应用。从我的视角,这部分应用通常可以被分为两类:问答式应用和生成式应用。典型的问答式应用包括:chat应用、智能助手、企业知识库等;典型的生成式应用包括:文本创作、文生图、文生视频等。那么,这些应用是如何构建的呢?如何基于大模型来构建起这样的一个私人/企业级的应用呢?本文接下来的部分将探索构建这样应用的流程和所涉及到的技术栈。

        接下来会开启一个系列文章来往后推进,感兴趣可以关注下专栏中的后续进展~

整体架构

        先来看一下,如果我们想要构建一个大模型应用,那么它的架构应该是怎样的呢?下面是一张基于个人理解的大模型应用的整体架构图:

        图中按照前端和后台进行了整体的划分,对于后台,这里进行了更细致的按层划分:

  • 网关层:网关层是前后端交互的入口。主要负责请求路由的识别和分发、安全防护、协议适配等功能。在

相关文章:

大模型应用技术系列(一):大模型应用整体技术栈浅析

RAG相关的技术学习暂时告一段落了,接下来尝试探索新的学习方向。这就引入一个问题:接下来该做什么?为了能进一步推进,我需要有一个整体的视角,从更上层来看整个技术栈,从而确定接下来感兴趣的方向。本文主要探索从更上层的视角来看构建大模型的技术栈,从而进一步确定研究…...

绿色环保木塑复合材料自动化生产线设计书

《绿色环保木塑复合材料自动化生产线设计书》 一、项目概述 随着全球对环境保护和可持续发展的日益重视,绿色环保材料的研发与生产成为了热门领域。木塑复合材料作为一种新型的绿色环保材料,它将木材纤维与塑料通过特定工艺复合而成,兼具木材与塑料的双重特性,具有防水、…...

Sourcegraph 概述

Sourcegraph 报告 Sourcegraph 是一款强大的代码搜索和智能导航工具,专为大型代码库、分布式系统和跨多个仓库的开发环境设计。它能显著提高开发者对复杂系统的理解和维护效率,帮助团队在庞大的代码库中快速找到关键信息。本文将详细讲解 Sourcegraph 的…...

c 保存 csv格式的文件

在C语言中保存数据为CSV(逗号分隔值)格式的文件,你可以使用标准I/O库函数,如fprintf,来将数据写入文件,并确保每个字段之间用逗号分隔。以下是一个简单的示例,说明如何在C语言中创建一个CSV文件…...

C语言扫雷游戏教学(有图形界面)(提供源码+实验报告)(计时+排行榜+难度选择+登录注册+背景音乐)(涉及easyX库)

前言: 本篇文章篇幅较长,请根据自己的需求在目录上跳转对应内容哦!源码及实验报告的获取在文章的后面哦!本人代码水平不佳,希望本文章和项目能带给大家帮助! 目录 前言: 一.成果预览&#x…...

第五节:GLM-4v-9b模型model加载源码解读(模型相关参数方法解读)

文章目录 前言一、GLM-4v-9b模型model加载源码解读1、GLM-4v-9b模型model加载主函数源码2、GLM-4v-9b模型model加载源码源码解读3、GLM-4v-9b自定义模型类源码解读 二、基于GLM-4v-9b模型获取模型输入参数等内容源码解读(from_pretrained-->huggingface)1、from_pretrained函…...

面试经验分享 | 北京渗透测试岗位

更多大厂面试经验的视频经验分享看主页 目录: 所面试的公司:安全大厂 所在城市:北京 面试职位:渗透测试工程师 面试方式:腾讯会议线上面试线下面试 面试过程: 面试官的问题: 1、说一下XSS有哪…...

unity Toggle制作滑动开关

先上效果图 重点是这个Graphic要清空,不然显示不能直接切换,会消失 using DG.Tweening; using UnityEngine; using UnityEngine.UI;public class SwitchToggle : MonoBehaviour {public RectTransform handleRect;public float duration 0.5f;private Vector2 handlePos;To…...

全面解析 Kubernetes 流量负载均衡:iptables 与 IPVS 模式

目录 Kubernetes 中 Service 的流量负载均衡模式 1. iptables 模式 工作原理 数据路径 优点 缺点 适用场景 2. IPVS 模式 工作原理 数据路径 优点 缺点 适用场景 两种模式的对比 如何切换模式 启用 IPVS 模式 验证模式 总结 Kubernetes 中 Service 的流量负载…...

【unity】【游戏开发】Unity项目一运行就蓝屏报Watch Dog Timeout

【背景】 由于是蓝屏所以没法截屏,总之今天遇到了一开Unity,过一阵就蓝屏的情况,报Watch Dog Timeout。 【分析】 通过任务管理器查看,发现Unity占用率100%,再观察Unity内部,每次右下角出现一个Global I…...

【macos java反编译工具Java Decompiler】

mac上能用的反编译工具 https://java-decompiler.github.io/...

宠物用品电子商务系统|Java|SSM|VUE| 前后端分离

【技术栈】 1⃣️:架构: B/S、MVC 2⃣️:系统环境:Windowsh/Mac 3⃣️:开发环境:IDEA、JDK1.8、Maven、Mysql5.7 4⃣️:技术栈:Java、Mysql、SSM、Mybatis-Plus、VUE、jquery,html 5⃣️数据库可…...

脑肿瘤检测数据集,对9900张原始图片进行YOLO,COCO,VOC格式的标注

脑肿瘤检测数据集,对9900张原始图片进行YOLO,COCO,VOC格式的标注 数据集分割 训练组 70% 6930图片 有效集 20% 1980图片 测试集 10% 990图片 预处理 静态裁剪: 24-82&…...

Adversarial Machine Learning(对抗机器学习)

之前把机器学习(Machine Learning)的安全问题简单记录了一下,这里有深入研究了一些具体的概念,这里记录一下方便以后查阅。 Adversarial Machine Learning(对抗机器学习) Adversarial Examples 相关内容Eva…...

每日十题八股-2024年12月23日

1.MySQL如何避免重复插入数据? 2.CHAR 和 VARCHAR有什么区别? 3.Text数据类型可以无限大吗? 4.说一下外键约束 5.MySQL的关键字in和exist 6.mysql中的一些基本函数,你知道哪些? 7.SQL查询语句的执行顺序是怎么样的&…...

Android Studio新建项目在源码中编译

新建空白项目 用AS新建默认空项目,代码目录如下: MyApplication$ tree -L 4 . ├── Android.bp // bp编译脚本 ├── Android.mk.bak // mk编译脚本 ├── app // 下面目录结构是AS新建工程目录 │ ├── build.gradle │ ├── pro…...

ubuntu使用ffmpeg+ZLMediaKit搭建rtsp推流环境

最方便的方式,ubuntu上安装vlc播放器,通过vlc来推流,在网上有很多教程。这里采用ffmpegZLMediaKit 必备条件: 1、安装ffmpeg 2、安装ZLMediaKit 一、安装ffmpeg sudo apt update sudo apt install ffmpeg 二、安装ZLMediaKit…...

vue中的css深度选择器v-deep 配合!important

当 <style> 标签有 scoped 属性时&#xff0c;它的 CSS 只作用于当前组件中的元素&#xff0c;父组件的样式将不会渗透到子组件。 如果你希望 scoped 样式中的一个选择器能够作用得“更深”&#xff0c;例如影响子组件&#xff0c;你可以使用深度选择器。 ::v-deep { } 举…...

Python读写JSON文件

import jsondef writeJSONFile(self):with open(g_updateFilePath, "w" encodingutf-8) as fiel:json.dump(dictData, fiel, indent4, ensure_asciiFalse)fiel.close()def readJsonToDict(file):with open(file, r, encodingutf-8) as f: # 确保文件以 UTF-8 编码打…...

重温设计模式--外观模式

文章目录 外观模式&#xff08;Facade Pattern&#xff09;概述定义 外观模式UML图作用 外观模式的结构C 代码示例1C代码示例2总结 外观模式&#xff08;Facade Pattern&#xff09;概述 定义 外观模式是一种结构型设计模式&#xff0c;它为子系统中的一组接口提供了一个统一…...

JavaScript中字符串split方法转换为数组的细节.txt

context.WithTimeout没生效是因为未在关键位置检查ctx.Err()或未将ctx传入底层可取消操作&#xff1b;需确保I/O操作&#xff08;如http.NewRequestWithContext&#xff09;显式接收ctx&#xff0c;并在自定义协程中定期select监听ctx.Done()。context.WithTimeout 为什么没生效…...

ArcHydroTools中DEM修正的关键参数优化与效果对比分析

1. ArcHydroTools与DEM修正的核心价值 第一次接触ArcHydroTools的DEM修正功能时&#xff0c;我和大多数初学者一样充满疑惑——为什么需要对原始DEM数据进行修正&#xff1f;直到在某个流域分析项目中&#xff0c;我亲眼看到未经修正的DEM导致水流路径完全偏离实际河道&#xf…...

Coqui STT语言模型构建:如何创建高效的语音识别评分器

Coqui STT语言模型构建&#xff1a;如何创建高效的语音识别评分器 【免费下载链接】STT &#x1f438;STT - The deep learning toolkit for Speech-to-Text. Training and deploying STT models has never been so easy. 项目地址: https://gitcode.com/gh_mirrors/st/STT …...

塑胶产品结构设计查询软件

塑胶产品结构设计核心要点速查指南&#xff08;基于“紫垣商驿 v3.2”软件内容整理&#xff09;本指南提炼了塑胶产品结构设计中关于胶厚、加强筋、孔的三个最关键模块的设计规范&#xff0c;旨在帮助工程师快速掌握核心原则&#xff0c;避免常见缺陷。第一章&#xff1a;胶厚&…...

AI民主化:让每个人都能开发AI应用,是理想还是泡沫?

在人工智能&#xff08;AI&#xff09;技术飞速发展的今天&#xff0c;“AI民主化”已成为热门议题——它承诺让非专业开发者也能轻松创建AI应用&#xff0c;打破技术壁垒。然而&#xff0c;作为软件测试从业者&#xff0c;我们不禁要问&#xff1a;这究竟是推动创新的理想愿景…...

[AI/向量数据库/GUI] Attu : Milvus 的图形化与一体化管理工具捞

前言 在使用 kubectl get $KIND -o yaml 查看 k8s 资源时&#xff0c;输出结果中包含大量由集群自动生成的元数据&#xff08;如 managedFields、resourceVersion、uid 等&#xff09;。这些信息在实际复用 yaml 清单时需要手动清理&#xff0c;增加了额外的工作量。 使用 kube…...

论文降AI工具测评:10款对比后这款低至0.12%通过率极高

2026年国内学术圈AIGC检测规则全面更新&#xff0c;学生和科研人员对论文降AI工具的需求持续攀升&#xff0c;一季度用户规模已突破2000万。但市面上各类工具的技术能力差异极大&#xff0c;多数还停留在同义词替换、简单调整句式的浅层改写阶段&#xff0c;根本无法应对知网、…...

代驾软件可以自己改界面吗?

在选择代驾软件时&#xff0c;很多企业主和创业者都非常关心一个问题&#xff1a;代驾软件的界面是否可以自定义&#xff1f; 这个问题的答案是肯定的。本文将详细介绍如何自定义代驾软件的界面&#xff0c;并提供具体的数据和案例支撑&#xff0c;帮助你更好地理解和操作。一、…...

DFRobot_BMP280库深度解析:嵌入式BMP280传感器驱动开发指南

1. DFRobot_BMP280库深度解析&#xff1a;面向嵌入式工程师的BMP280传感器驱动开发指南BMP280是博世&#xff08;Bosch&#xff09;推出的高精度数字环境传感器&#xff0c;集成温度、气压测量功能&#xff0c;并支持基于气压反推海拔高度。DFRobot为其SEN0372模块开发的DFRobo…...

让开发流程更高效:为 Visual Studio 订阅用户解锁 Syncfusion辛

一、什么是requests&#xff1f; requests 是一个用于发送HTTP请求的 Python 库。 它可以帮助你&#xff1a; 轻松发送GET、POST、PUT、DELETE等请求 处理Cookie、会话等复杂性 自动解压缩内容 处理国际化域名和URL 二、应用场景 requests 广泛应用于以下实际场景&#xff1a; …...