当前位置： 首页 > news >正文

ChatGPT实战与私有化大模型落地

news 2025/11/6 16:27:47

文章目录

  • 大模型现状
    • baseline底座选择
    • 数据构造
    • 迁移方法
    • 评价
    • 思考
  • 领域大模型训练技巧
    • Tokenizer
    • 分布式深度学习
      • 数据并行
      • 管道并行
      • 向量并行
      • 分布式框架——Megatron-LM
      • 分布式深度学习框架——Colossal-AI
      • 分布式深度学习框架——DeepSpeed
      • P-tuning 微调
    • 资源消耗
    • 模型推理加速
      • 模型推理加速方法——FastLLM
      • 模型推理加速方法——VLLm
  • 领域大模型产品形态及落地场景
    • ChatGPT用户视角思考
    • ChatGPT企业视角思考
    • 企业级ChatGPT的建设要素
    • 选择优质的应用场景
    • ChatGPT场景设计-工业制造
    • ChatGPT场景设计-文案编写

大模型现状

baseline底座选择

在这里插入图片描述

数据构造

在这里插入图片描述

  • 领域数据
  • 书籍数据
  • 网站数据
  • 新闻内容
  • 指令微调数据

混合数据（公用数据+领域数据，比例1：5 ）避免知识遗忘，导致通用能力下降。

迁移方法

在这里插入图片描述

  • 资源不充足的时候，在chat模型基础上训练
  • 资源充足的时候，在Base模型上训练
    千万级别的数据，在chat模型上不要用全量数据进行训练。

评价

在这里插入图片描述

思考

在这里插入图片描述

领域大模型训练技巧

在这里插入图片描述

  • ChatGPTBook：github.com/liucongg/ChatGPTBook

Tokenizer

在这里插入图片描述

分布式深度学习

在这里插入图片描述

数据并行

在这里插入图片描述

管道并行

在这里插入图片描述

向量并行

在这里插入图片描述
在这里插入图片描述

分布式框架——Megatron-LM

在这里插入图片描述

分布式深度学习框架——Colossal-AI

在这里插入图片描述

分布式深度学习框架——DeepSpeed

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

P-tuning 微调

在这里插入图片描述

资源消耗

在这里插入图片描述
在这里插入图片描述

模型推理加速

模型推理加速方法——FastLLM

在这里插入图片描述

模型推理加速方法——VLLm

在这里插入图片描述

领域大模型产品形态及落地场景

在这里插入图片描述

ChatGPT用户视角思考

在这里插入图片描述

ChatGPT企业视角思考

在这里插入图片描述

企业级ChatGPT的建设要素

在这里插入图片描述

选择优质的应用场景

在这里插入图片描述

ChatGPT场景设计-工业制造

在这里插入图片描述

ChatGPT场景设计-文案编写

在这里插入图片描述

相关文章：

ChatGPT实战与私有化大模型落地

文章目录 大模型现状baseline底座选择数据构造迁移方法评价思考 领域大模型训练技巧Tokenizer分布式深度学习数据并行管道并行向量并行分布式框架——Megatron-LM分布式深度学习框架——Colossal-AI分布式深度学习框架——DeepSpeedP-tuning 微调 资源消耗模型推理加速模型推理…...

编程日记 2023/9/9 22:19:14

10分钟从实现和使用场景聊聊并发包下的阻塞队列

上篇文章12分钟从Executor自顶向下彻底搞懂线程池中我们聊到线程池，而线程池中包含阻塞队列 这篇文章我们主要聊聊并发包下的阻塞队列 阻塞队列 什么是队列？ 队列的实现可以是数组、也可以是链表，可以实现先进先出的顺序队列，…...

编程日记 2023/9/9 22:18:12

Python入门学习13（面向对象）

一、类的定义和使用 类的使用语法： 创建类对象的语法： ​​​​​​​ class Student:name None #学生的名字age None #学生的年龄def say_hi(self):print(f"Hi大家好，我是{self.name}")stu Student() stu.name &q…...

编程日记 2023/9/9 22:17:11

哈工大计算机网络课程网络安全基本原理之：身份认证

哈工大计算机网络课程网络安全基本原理之：身份认证 在日常生活中，在很多场景下我们都需要对当前身份做认证，比如使用密码、人脸识别、指纹识别等，这些都是身份认证的常用方式。本节介绍的身份认证，是在计算机网络安全…...

编程日记 2023/9/9 22:16:10

海外代购系统/代购网站怎么搭建

搭建海外代购系统/代购网站的详细步骤涉及到的内容非常多，本文将分为以下几个部分进行详细介绍：前端开发、后端管理系统的开发、数据库设计和代购流程的设计与实现。 一、前端开发 前端开发是整个代购网站的门面，它直接面向用户&#xff0c…...

编程日记 2023/9/9 22:15:03

go-micro

go-micro Go Micro简介go-micro体系结构gin-go-micro使用consul实现服务注册与发现实现服务发现批量启动多个服务测试服务发现服务调用在微服务中使用ProtocolBuffergo-micro配置文件...

编程日记 2023/9/9 22:14:02

安装GPU驱动,CUDA Toolkit和配置与CUDA对应的Pytorch

如果有帮助,记得回来点个赞 目录 1.安装指定GPU驱动如果安装的GPU CUDA Version和CUDA Toolkit版本已经冲突怎么办? 2.安装指定版本的CUDA Toolkit如果我安装了CUDA Toolkit之后nvcc -V仍然显示旧的CUDA Toolkit版本怎么办? 3.安装与CUDA对应的Pytorch 1.安装指定GPU驱动 &…...

编程日记 2023/9/9 22:13:01

JavaScript单例模式

JavaScript单例模式 1 什么是单例模式2 实现一个基础的单例模式3 透明的单例模式4 用代理实现单例模式5 JavaScript 中的单例模式6 惰性单例 1 什么是单例模式 保证一个类只有一个实例，并提供一个访问它的全局访问点，这就是单例模式。 单例模式是一种常…...

编程日记 2023/9/9 22:11:59

centos下安装jenkins.war

https://get.jenkins.io/war-stable/ 下载jenkins.war包,(2.164.1 版本支持1.8，其他的都是jdk11),可以安装完成后更新jenkins.war的安装包启动jenkins命令 java -jar jenkins.war --httpPort8010访问http://IP:8010/jenkins （密码在/root/.jenkins/secre…...

编程日记 2023/9/9 22:10:59

App线上网络问题优化策略

在我们App开发过程中，网络是必不可少的，几乎很难想到有哪些app是不需要网络传输的，所以网络问题一般都是线下难以复现，一旦到了用户手里就会碰到很多疑难杂症，所以对于网络的监控是必不可少的，针对用户常见…...

编程日记 2023/9/9 22:09:58

PDF 工具箱

PDF 工具箱 V9.0.0.1 程序：VB.net 运行库：NET Framework 4.5 功能简介： 1、PDF文件多文件合并，可调整顺序。 2、PDF文件拆分，将每页拆分成独立的PDF文件。 3、PDF文件添加水印，文字或图片水印&…...

编程日记 2023/9/9 22:08:57

大数据组件系列-Hadoop每日小问

1、谈谈对HDFS的理解？HDFS这种存储适合哪些场景？ HDFS即Hadoop Distributed File System，Hadoop 分布式文件系统。它为的是解决海量数据的存储与分析的问题，它本身是源于Google在大数据方面的论文，GFS-->HDFS; HD…...

编程日记 2023/9/9 22:07:56

【前端】在Vue页面中引入其它vue页面 数据传输 相互调用方法等

主页面 home 从页面 headView 需求 在 home.vue 中引用 headView.Vue 方案: home.vue 代码: 只需要在home.vue 想要的地方添加 <headView></headView> <script>//聊天页面 import headView /view/headView.vueexport default {components: {headView},…...

编程日记 2023/9/9 22:06:55

网络通信深入解析：探索TCP/IP模型

http协议访问web 你知道在我们的网页浏览器的地址当中输入url&#xff0c;未必是如何呈现的吗&#xff1f; web浏览器根据地址栏中指定的url&#xff0c;从web服务器获取文件资源&#xff08;resource&#xff09;等信息&#xff0c;从而显示出web页面。web使用HTTP&#xff08…...

编程日记 2023/9/9 22:05:54

可靠的可视化监控平台应用在那些场景？

可视化监控平台是一种用户友好的工具&#xff0c;可以帮助用户实时监控IT设备的运行状态和网络流量&#xff0c;以及监测安全性和性能指标。它们通常采用图形化界面&#xff0c;使得用户能够直观地了解设备和网络的状态。 以下是一些可视化监控平台常见的应用场景&#xff1a;…...

编程日记 2023/9/9 22:04:53

从 BBR 失速到带宽探测

看一下 pacing 流失速的成因&#xff1a; 一段时间收不到 ack&#xff0c;丢了 ack 自时钟&#xff0c;cwnd 将耗尽&#xff0c;bbr 虽有 cwnd_gain(上图没有表现)&#xff0c;但在该 cwnd_gain 下不依赖 ack 持续坚持发送多久取决于 cwnd_gain 的数值。 bbr 失速的后果在于…...

编程日记 2023/9/9 22:03:52

MobaXterm使用sz/rz命令下载上传文件

MobaXterm使用sz/rz命令下载上传文件 1 参考文档2 下载3 上传 1 参考文档 MobaXterm使用sz/rz命令下载上传文件 2 下载 步骤1&#xff1a;sz filename 步骤2&#xff1a;ctrl 鼠标右键 步骤3&#xff1a;Receive file using Z-modem 3 上传 步骤1&#xff1a;rz 步骤2&am…...

编程日记 2023/9/9 22:02:51

vue el-popover hover延时触发，el-popover 鼠标放上三秒以后触发

背景&#xff1a;el-popover hover只要鼠标刮过就显示 多个el-popover出现加载卡顿 解决方案 给el-popover加一个延时显示 <template><div><el-popovertrigger"hover":open-delay"3000"content"这是一个Popover"><button…...

编程日记 2023/9/9 22:01:50

计算机竞赛 基于深度学习的人脸识别系统

前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 基于深度学习的人脸识别系统 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐&#xff01; &#x1f9ff; 更多资料, 项目分享&#xff1a; https://gitee.com/dancheng-senior/…...

编程日记 2023/9/9 22:00:48

Android扫码连接WIFI实现

0&#xff0c;目标 APP中实现扫WIFI分享码自动连接WIFI功能 1&#xff0c;前提条件 设备需要有个扫码器&#xff08;摄像头拍照识别也行&#xff09;&#xff0c;APP调用扫码器读取WIFI连接分享码。 2&#xff0c;增加权限 在AndroidManifest.xml中增加权限 <uses-permissi…...

编程日记 2023/9/9 21:59:47

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…...

编程新知 2025/11/6 12:49:39

Linux链表操作全解析

Linux C语言链表深度解析与实战技巧 一、链表基础概念与内核链表优势1.1 为什么使用链表&#xff1f;1.2 Linux 内核链表与用户态链表的区别 二、内核链表结构与宏解析常用宏/函数 三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...

编程新知 2025/8/28 9:42:18

Python：操作 Excel 折叠

💖亲爱的技术爱好者们，热烈欢迎来到 Kant2048 的博客！我是 Thomas Kant，很开心能在CSDN上与你们相遇～💖 本博客的精华专栏： 【自动化测试】 【测试经验】 【人工智能】 【Python】 Python 操作 Excel 系列 读取单元格数据按行写入设置行高和列宽自动调整行高和列宽水平…...

编程新知 2025/11/2 13:39:39

IGP（Interior Gateway Protocol，内部网关协议）

IGP&#xff08;Interior Gateway Protocol&#xff0c;内部网关协议&#xff09; 是一种用于在一个自治系统&#xff08;AS&#xff09;内部传递路由信息的路由协议&#xff0c;主要用于在一个组织或机构的内部网络中决定数据包的最佳路径。与用于自治系统之间通信的 EGP&…...

编程新知 2025/10/12 11:54:26

FastAPI 教程：从入门到实践

FastAPI 是一个现代、快速&#xff08;高性能&#xff09;的 Web 框架&#xff0c;用于构建 API&#xff0c;支持 Python 3.6。它基于标准 Python 类型提示&#xff0c;易于学习且功能强大。以下是一个完整的 FastAPI 入门教程&#xff0c;涵盖从环境搭建到创建并运行一个简单的…...

编程新知 2025/10/16 7:51:26

【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现（服务端执行命令请求的过程 - 初始化服务器）

服务端执行命令请求的过程 【专栏简介】【技术大纲】【专栏目标】【目标人群】1. Redis爱好者与社区成员2. 后端开发和系统架构师3. 计算机专业的本科生及研究生 初始化服务器1. 初始化服务器状态结构初始化RedisServer变量 2. 加载相关系统配置和用户配置参数定制化配置参数案…...

编程新知 2025/11/5 1:10:58

Linux云原生安全：零信任架构与机密计算

Linux云原生安全&#xff1a;零信任架构与机密计算 构建坚不可摧的云原生防御体系 引言&#xff1a;云原生安全的范式革命 随着云原生技术的普及&#xff0c;安全边界正在从传统的网络边界向工作负载内部转移。Gartner预测&#xff0c;到2025年&#xff0c;零信任架构将成为超…...

编程新知 2025/8/17 17:11:47

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作

一、上下文切换 即使单核CPU也可以进行多线程执行代码&#xff0c;CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短&#xff0c;所以CPU会不断地切换线程执行&#xff0c;从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

编程新知 2025/10/30 5:09:33

Typeerror: cannot read properties of undefined (reading ‘XXX‘)

最近需要在离线机器上运行软件&#xff0c;所以得把软件用docker打包起来&#xff0c;大部分功能都没问题&#xff0c;出了一个奇怪的事情。同样的代码&#xff0c;在本机上用vscode可以运行起来&#xff0c;但是打包之后在docker里出现了问题。使用的是dialog组件&#xff0c;…...

编程新知 2025/9/24 3:05:06

RabbitMQ入门4.1.0版本（基于java、SpringBoot操作）

RabbitMQ 一、RabbitMQ概述 RabbitMQ RabbitMQ最初由LShift和CohesiveFT于2007年开发&#xff0c;后来由Pivotal Software Inc.&#xff08;现为VMware子公司&#xff09;接管。RabbitMQ 是一个开源的消息代理和队列服务器&#xff0c;用 Erlang 语言编写。广泛应用于各种分布…...

编程新知 2025/10/28 12:05:05