当前位置： 首页 > news >正文

ChatGPT实战与私有化大模型落地

news 2025/11/6 16:18:52

文章目录

  • 大模型现状
    • baseline底座选择
    • 数据构造
    • 迁移方法
    • 评价
    • 思考
  • 领域大模型训练技巧
    • Tokenizer
    • 分布式深度学习
      • 数据并行
      • 管道并行
      • 向量并行
      • 分布式框架——Megatron-LM
      • 分布式深度学习框架——Colossal-AI
      • 分布式深度学习框架——DeepSpeed
      • P-tuning 微调
    • 资源消耗
    • 模型推理加速
      • 模型推理加速方法——FastLLM
      • 模型推理加速方法——VLLm
  • 领域大模型产品形态及落地场景
    • ChatGPT用户视角思考
    • ChatGPT企业视角思考
    • 企业级ChatGPT的建设要素
    • 选择优质的应用场景
    • ChatGPT场景设计-工业制造
    • ChatGPT场景设计-文案编写

大模型现状

baseline底座选择

在这里插入图片描述

数据构造

在这里插入图片描述

  • 领域数据
  • 书籍数据
  • 网站数据
  • 新闻内容
  • 指令微调数据

混合数据（公用数据+领域数据，比例1：5 ）避免知识遗忘，导致通用能力下降。

迁移方法

在这里插入图片描述

  • 资源不充足的时候，在chat模型基础上训练
  • 资源充足的时候，在Base模型上训练
    千万级别的数据，在chat模型上不要用全量数据进行训练。

评价

在这里插入图片描述

思考

在这里插入图片描述

领域大模型训练技巧

在这里插入图片描述

  • ChatGPTBook：github.com/liucongg/ChatGPTBook

Tokenizer

在这里插入图片描述

分布式深度学习

在这里插入图片描述

数据并行

在这里插入图片描述

管道并行

在这里插入图片描述

向量并行

在这里插入图片描述
在这里插入图片描述

分布式框架——Megatron-LM

在这里插入图片描述

分布式深度学习框架——Colossal-AI

在这里插入图片描述

分布式深度学习框架——DeepSpeed

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

P-tuning 微调

在这里插入图片描述

资源消耗

在这里插入图片描述
在这里插入图片描述

模型推理加速

模型推理加速方法——FastLLM

在这里插入图片描述

模型推理加速方法——VLLm

在这里插入图片描述

领域大模型产品形态及落地场景

在这里插入图片描述

ChatGPT用户视角思考

在这里插入图片描述

ChatGPT企业视角思考

在这里插入图片描述

企业级ChatGPT的建设要素

在这里插入图片描述

选择优质的应用场景

在这里插入图片描述

ChatGPT场景设计-工业制造

在这里插入图片描述

ChatGPT场景设计-文案编写

在这里插入图片描述

相关文章：

ChatGPT实战与私有化大模型落地

文章目录 大模型现状baseline底座选择数据构造迁移方法评价思考 领域大模型训练技巧Tokenizer分布式深度学习数据并行管道并行向量并行分布式框架——Megatron-LM分布式深度学习框架——Colossal-AI分布式深度学习框架——DeepSpeedP-tuning 微调 资源消耗模型推理加速模型推理…...

编程日记 2023/9/9 22:19:14

10分钟从实现和使用场景聊聊并发包下的阻塞队列

上篇文章12分钟从Executor自顶向下彻底搞懂线程池中我们聊到线程池，而线程池中包含阻塞队列 这篇文章我们主要聊聊并发包下的阻塞队列 阻塞队列 什么是队列？ 队列的实现可以是数组、也可以是链表，可以实现先进先出的顺序队列，…...

编程日记 2023/9/9 22:18:12

Python入门学习13（面向对象）

一、类的定义和使用 类的使用语法： 创建类对象的语法： ​​​​​​​ class Student:name None #学生的名字age None #学生的年龄def say_hi(self):print(f"Hi大家好，我是{self.name}")stu Student() stu.name &q…...

编程日记 2023/9/9 22:17:11

哈工大计算机网络课程网络安全基本原理之：身份认证

哈工大计算机网络课程网络安全基本原理之：身份认证 在日常生活中，在很多场景下我们都需要对当前身份做认证，比如使用密码、人脸识别、指纹识别等，这些都是身份认证的常用方式。本节介绍的身份认证，是在计算机网络安全…...

编程日记 2023/9/9 22:16:10

海外代购系统/代购网站怎么搭建

搭建海外代购系统/代购网站的详细步骤涉及到的内容非常多，本文将分为以下几个部分进行详细介绍：前端开发、后端管理系统的开发、数据库设计和代购流程的设计与实现。 一、前端开发 前端开发是整个代购网站的门面，它直接面向用户&#xff0c…...

编程日记 2023/9/9 22:15:03

go-micro

go-micro Go Micro简介go-micro体系结构gin-go-micro使用consul实现服务注册与发现实现服务发现批量启动多个服务测试服务发现服务调用在微服务中使用ProtocolBuffergo-micro配置文件...

编程日记 2023/9/9 22:14:02

安装GPU驱动,CUDA Toolkit和配置与CUDA对应的Pytorch

如果有帮助,记得回来点个赞 目录 1.安装指定GPU驱动如果安装的GPU CUDA Version和CUDA Toolkit版本已经冲突怎么办? 2.安装指定版本的CUDA Toolkit如果我安装了CUDA Toolkit之后nvcc -V仍然显示旧的CUDA Toolkit版本怎么办? 3.安装与CUDA对应的Pytorch 1.安装指定GPU驱动 &…...

编程日记 2023/9/9 22:13:01

JavaScript单例模式

JavaScript单例模式 1 什么是单例模式2 实现一个基础的单例模式3 透明的单例模式4 用代理实现单例模式5 JavaScript 中的单例模式6 惰性单例 1 什么是单例模式 保证一个类只有一个实例，并提供一个访问它的全局访问点，这就是单例模式。 单例模式是一种常…...

编程日记 2023/9/9 22:11:59

centos下安装jenkins.war

https://get.jenkins.io/war-stable/ 下载jenkins.war包,(2.164.1 版本支持1.8，其他的都是jdk11),可以安装完成后更新jenkins.war的安装包启动jenkins命令 java -jar jenkins.war --httpPort8010访问http://IP:8010/jenkins （密码在/root/.jenkins/secre…...

编程日记 2023/9/9 22:10:59

App线上网络问题优化策略

在我们App开发过程中，网络是必不可少的，几乎很难想到有哪些app是不需要网络传输的，所以网络问题一般都是线下难以复现，一旦到了用户手里就会碰到很多疑难杂症，所以对于网络的监控是必不可少的，针对用户常见…...

编程日记 2023/9/9 22:09:58

PDF 工具箱

PDF 工具箱 V9.0.0.1 程序：VB.net 运行库：NET Framework 4.5 功能简介： 1、PDF文件多文件合并，可调整顺序。 2、PDF文件拆分，将每页拆分成独立的PDF文件。 3、PDF文件添加水印，文字或图片水印&…...

编程日记 2023/9/9 22:08:57

大数据组件系列-Hadoop每日小问

1、谈谈对HDFS的理解？HDFS这种存储适合哪些场景？ HDFS即Hadoop Distributed File System，Hadoop 分布式文件系统。它为的是解决海量数据的存储与分析的问题，它本身是源于Google在大数据方面的论文，GFS-->HDFS; HD…...

编程日记 2023/9/9 22:07:56

【前端】在Vue页面中引入其它vue页面 数据传输 相互调用方法等

主页面 home 从页面 headView 需求 在 home.vue 中引用 headView.Vue 方案: home.vue 代码: 只需要在home.vue 想要的地方添加 <headView></headView> <script>//聊天页面 import headView /view/headView.vueexport default {components: {headView},…...

编程日记 2023/9/9 22:06:55

网络通信深入解析：探索TCP/IP模型

http协议访问web 你知道在我们的网页浏览器的地址当中输入url&#xff0c;未必是如何呈现的吗&#xff1f; web浏览器根据地址栏中指定的url&#xff0c;从web服务器获取文件资源&#xff08;resource&#xff09;等信息&#xff0c;从而显示出web页面。web使用HTTP&#xff08…...

编程日记 2023/9/9 22:05:54

可靠的可视化监控平台应用在那些场景？

可视化监控平台是一种用户友好的工具&#xff0c;可以帮助用户实时监控IT设备的运行状态和网络流量&#xff0c;以及监测安全性和性能指标。它们通常采用图形化界面&#xff0c;使得用户能够直观地了解设备和网络的状态。 以下是一些可视化监控平台常见的应用场景&#xff1a;…...

编程日记 2023/9/9 22:04:53

从 BBR 失速到带宽探测

看一下 pacing 流失速的成因&#xff1a; 一段时间收不到 ack&#xff0c;丢了 ack 自时钟&#xff0c;cwnd 将耗尽&#xff0c;bbr 虽有 cwnd_gain(上图没有表现)&#xff0c;但在该 cwnd_gain 下不依赖 ack 持续坚持发送多久取决于 cwnd_gain 的数值。 bbr 失速的后果在于…...

编程日记 2023/9/9 22:03:52

MobaXterm使用sz/rz命令下载上传文件

MobaXterm使用sz/rz命令下载上传文件 1 参考文档2 下载3 上传 1 参考文档 MobaXterm使用sz/rz命令下载上传文件 2 下载 步骤1&#xff1a;sz filename 步骤2&#xff1a;ctrl 鼠标右键 步骤3&#xff1a;Receive file using Z-modem 3 上传 步骤1&#xff1a;rz 步骤2&am…...

编程日记 2023/9/9 22:02:51

vue el-popover hover延时触发，el-popover 鼠标放上三秒以后触发

背景&#xff1a;el-popover hover只要鼠标刮过就显示 多个el-popover出现加载卡顿 解决方案 给el-popover加一个延时显示 <template><div><el-popovertrigger"hover":open-delay"3000"content"这是一个Popover"><button…...

编程日记 2023/9/9 22:01:50

计算机竞赛 基于深度学习的人脸识别系统

前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 基于深度学习的人脸识别系统 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐&#xff01; &#x1f9ff; 更多资料, 项目分享&#xff1a; https://gitee.com/dancheng-senior/…...

编程日记 2023/9/9 22:00:48

Android扫码连接WIFI实现

0&#xff0c;目标 APP中实现扫WIFI分享码自动连接WIFI功能 1&#xff0c;前提条件 设备需要有个扫码器&#xff08;摄像头拍照识别也行&#xff09;&#xff0c;APP调用扫码器读取WIFI连接分享码。 2&#xff0c;增加权限 在AndroidManifest.xml中增加权限 <uses-permissi…...

编程日记 2023/9/9 21:59:47

docker详细操作--未完待续

docker介绍 docker官网: Docker&#xff1a;加速容器应用程序开发 harbor官网&#xff1a;Harbor - Harbor 中文 使用docker加速器: Docker镜像极速下载服务 - 毫秒镜像 是什么 Docker 是一种开源的容器化平台&#xff0c;用于将应用程序及其依赖项&#xff08;如库、运行时环…...

编程新知 2025/10/29 19:16:36

C++：std::is_convertible

C++标志库中提供is_convertible，可以测试一种类型是否可以转换为另一只类型： template <class From, class To> struct is_convertible; 使用举例： #include <iostream> #include <string>using namespace std;struct A { }; struct B : A { };int main…...

编程新知 2025/6/11 15:23:57

以下是对华为 HarmonyOS NETX 5属性动画（ArkTS）文档的结构化整理，通过层级标题、表格和代码块提升可读性：

一、属性动画概述NETX 作用&#xff1a;实现组件通用属性的渐变过渡效果&#xff0c;提升用户体验。支持属性&#xff1a;width、height、backgroundColor、opacity、scale、rotate、translate等。注意事项&#xff1a; 布局类属性&#xff08;如宽高&#xff09;变化时&#…...

编程新知 2025/11/5 3:45:16

JVM暂停（Stop-The-World，STW）的原因分类及对应排查方案

JVM暂停（Stop-The-World，STW）的完整原因分类及对应排查方案，结合JVM运行机制和常见故障场景整理而成： 一、GC相关暂停​​ 1. ​​安全点（Safepoint）阻塞​​ ​​现象​​：JVM暂停但无GC日志，日志显示No GCs detected。​​原因​​：JVM等待所有线程进入安全点（如…...

编程新知 2025/10/2 12:07:03

HDFS分布式存储 zookeeper

hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架&#xff0c;允许使用简单的变成模型跨计算机对大型集群进行分布式处理&#xff08;1.海量的数据存储 2.海量数据的计算&#xff09;Hadoop核心组件 hdfs&#xff08;分布式文件存储系统&#xff09;&a…...

编程新知 2025/11/5 12:24:31

嵌入式学习笔记DAY33（网络编程——TCP）

一、网络架构 C/S &#xff08;client/server 客户端/服务器&#xff09;&#xff1a;由客户端和服务器端两个部分组成。客户端通常是用户使用的应用程序&#xff0c;负责提供用户界面和交互逻辑 &#xff0c;接收用户输入&#xff0c;向服务器发送请求&#xff0c;并展示服务…...

编程新知 2025/10/25 18:25:42

tomcat入门

1 tomcat 是什么 apache开发的web服务器可以为java web程序提供运行环境tomcat是一款高效&#xff0c;稳定&#xff0c;易于使用的web服务器tomcathttp服务器Servlet服务器 2 tomcat 目录介绍 -bin #存放tomcat的脚本 -conf #存放tomcat的配置文件 ---catalina.policy #to…...

编程新知 2025/7/7 19:44:31

离线语音识别方案分析

随着人工智能技术的不断发展&#xff0c;语音识别技术也得到了广泛的应用&#xff0c;从智能家居到车载系统&#xff0c;语音识别正在改变我们与设备的交互方式。尤其是离线语音识别&#xff0c;由于其在没有网络连接的情况下仍然能提供稳定、准确的语音处理能力&#xff0c;广…...

编程新知 2025/9/22 13:00:25

【深度学习新浪潮】什么是credit assignment problem？

Credit Assignment Problem（信用分配问题） 是机器学习，尤其是强化学习（RL）中的核心挑战之一，指的是如何将最终的奖励或惩罚准确地分配给导致该结果的各个中间动作或决策。在序列决策任务中，智能体执行一系列动作后获得一个最终奖励，但每个动作对最终结果的贡献程度往往…...

编程新知 2025/10/25 5:12:22

2025-05-08-deepseek本地化部署

title: 2025-05-08-deepseek 本地化部署 tags: 深度学习 程序开发 2025-05-08-deepseek 本地化部署 参考博客 本地部署 DeepSeek&#xff1a;小白也能轻松搞定&#xff01; 如何给本地部署的 DeepSeek 投喂数据&#xff0c;让他更懂你 [实验目的]&#xff1a;理解系统架构与原…...

编程新知 2025/10/31 18:15:46