当前位置： 首页 > news >正文

ChatGPT实战与私有化大模型落地

news 2026/3/30 0:35:41

文章目录

  • 大模型现状
    • baseline底座选择
    • 数据构造
    • 迁移方法
    • 评价
    • 思考
  • 领域大模型训练技巧
    • Tokenizer
    • 分布式深度学习
      • 数据并行
      • 管道并行
      • 向量并行
      • 分布式框架——Megatron-LM
      • 分布式深度学习框架——Colossal-AI
      • 分布式深度学习框架——DeepSpeed
      • P-tuning 微调
    • 资源消耗
    • 模型推理加速
      • 模型推理加速方法——FastLLM
      • 模型推理加速方法——VLLm
  • 领域大模型产品形态及落地场景
    • ChatGPT用户视角思考
    • ChatGPT企业视角思考
    • 企业级ChatGPT的建设要素
    • 选择优质的应用场景
    • ChatGPT场景设计-工业制造
    • ChatGPT场景设计-文案编写

大模型现状

baseline底座选择

在这里插入图片描述

数据构造

在这里插入图片描述

  • 领域数据
  • 书籍数据
  • 网站数据
  • 新闻内容
  • 指令微调数据

混合数据（公用数据+领域数据，比例1：5 ）避免知识遗忘，导致通用能力下降。

迁移方法

在这里插入图片描述

  • 资源不充足的时候，在chat模型基础上训练
  • 资源充足的时候，在Base模型上训练
    千万级别的数据，在chat模型上不要用全量数据进行训练。

评价

在这里插入图片描述

思考

在这里插入图片描述

领域大模型训练技巧

在这里插入图片描述

  • ChatGPTBook：github.com/liucongg/ChatGPTBook

Tokenizer

在这里插入图片描述

分布式深度学习

在这里插入图片描述

数据并行

在这里插入图片描述

管道并行

在这里插入图片描述

向量并行

在这里插入图片描述
在这里插入图片描述

分布式框架——Megatron-LM

在这里插入图片描述

分布式深度学习框架——Colossal-AI

在这里插入图片描述

分布式深度学习框架——DeepSpeed

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

P-tuning 微调

在这里插入图片描述

资源消耗

在这里插入图片描述
在这里插入图片描述

模型推理加速

模型推理加速方法——FastLLM

在这里插入图片描述

模型推理加速方法——VLLm

在这里插入图片描述

领域大模型产品形态及落地场景

在这里插入图片描述

ChatGPT用户视角思考

在这里插入图片描述

ChatGPT企业视角思考

在这里插入图片描述

企业级ChatGPT的建设要素

在这里插入图片描述

选择优质的应用场景

在这里插入图片描述

ChatGPT场景设计-工业制造

在这里插入图片描述

ChatGPT场景设计-文案编写

在这里插入图片描述

相关文章：

ChatGPT实战与私有化大模型落地

文章目录 大模型现状baseline底座选择数据构造迁移方法评价思考 领域大模型训练技巧Tokenizer分布式深度学习数据并行管道并行向量并行分布式框架——Megatron-LM分布式深度学习框架——Colossal-AI分布式深度学习框架——DeepSpeedP-tuning 微调 资源消耗模型推理加速模型推理…...

编程日记 2023/9/9 22:19:14

10分钟从实现和使用场景聊聊并发包下的阻塞队列

上篇文章12分钟从Executor自顶向下彻底搞懂线程池中我们聊到线程池，而线程池中包含阻塞队列 这篇文章我们主要聊聊并发包下的阻塞队列 阻塞队列 什么是队列？ 队列的实现可以是数组、也可以是链表，可以实现先进先出的顺序队列，…...

编程日记 2023/9/9 22:18:12

Python入门学习13（面向对象）

一、类的定义和使用 类的使用语法： 创建类对象的语法： ​​​​​​​ class Student:name None #学生的名字age None #学生的年龄def say_hi(self):print(f"Hi大家好，我是{self.name}")stu Student() stu.name &q…...

编程日记 2023/9/9 22:17:11

哈工大计算机网络课程网络安全基本原理之：身份认证

哈工大计算机网络课程网络安全基本原理之：身份认证 在日常生活中，在很多场景下我们都需要对当前身份做认证，比如使用密码、人脸识别、指纹识别等，这些都是身份认证的常用方式。本节介绍的身份认证，是在计算机网络安全…...

编程日记 2023/9/9 22:16:10

海外代购系统/代购网站怎么搭建

搭建海外代购系统/代购网站的详细步骤涉及到的内容非常多，本文将分为以下几个部分进行详细介绍：前端开发、后端管理系统的开发、数据库设计和代购流程的设计与实现。 一、前端开发 前端开发是整个代购网站的门面，它直接面向用户&#xff0c…...

编程日记 2023/9/9 22:15:03

go-micro

go-micro Go Micro简介go-micro体系结构gin-go-micro使用consul实现服务注册与发现实现服务发现批量启动多个服务测试服务发现服务调用在微服务中使用ProtocolBuffergo-micro配置文件...

编程日记 2023/9/9 22:14:02

安装GPU驱动,CUDA Toolkit和配置与CUDA对应的Pytorch

如果有帮助,记得回来点个赞 目录 1.安装指定GPU驱动如果安装的GPU CUDA Version和CUDA Toolkit版本已经冲突怎么办? 2.安装指定版本的CUDA Toolkit如果我安装了CUDA Toolkit之后nvcc -V仍然显示旧的CUDA Toolkit版本怎么办? 3.安装与CUDA对应的Pytorch 1.安装指定GPU驱动 &…...

编程日记 2023/9/9 22:13:01

JavaScript单例模式

JavaScript单例模式 1 什么是单例模式2 实现一个基础的单例模式3 透明的单例模式4 用代理实现单例模式5 JavaScript 中的单例模式6 惰性单例 1 什么是单例模式 保证一个类只有一个实例，并提供一个访问它的全局访问点，这就是单例模式。 单例模式是一种常…...

编程日记 2023/9/9 22:11:59

centos下安装jenkins.war

https://get.jenkins.io/war-stable/ 下载jenkins.war包,(2.164.1 版本支持1.8，其他的都是jdk11),可以安装完成后更新jenkins.war的安装包启动jenkins命令 java -jar jenkins.war --httpPort8010访问http://IP:8010/jenkins （密码在/root/.jenkins/secre…...

编程日记 2023/9/9 22:10:59

App线上网络问题优化策略

在我们App开发过程中，网络是必不可少的，几乎很难想到有哪些app是不需要网络传输的，所以网络问题一般都是线下难以复现，一旦到了用户手里就会碰到很多疑难杂症，所以对于网络的监控是必不可少的，针对用户常见…...

编程日记 2023/9/9 22:09:58

PDF 工具箱

PDF 工具箱 V9.0.0.1 程序：VB.net 运行库：NET Framework 4.5 功能简介： 1、PDF文件多文件合并，可调整顺序。 2、PDF文件拆分，将每页拆分成独立的PDF文件。 3、PDF文件添加水印，文字或图片水印&…...

编程日记 2023/9/9 22:08:57

大数据组件系列-Hadoop每日小问

1、谈谈对HDFS的理解？HDFS这种存储适合哪些场景？ HDFS即Hadoop Distributed File System，Hadoop 分布式文件系统。它为的是解决海量数据的存储与分析的问题，它本身是源于Google在大数据方面的论文，GFS-->HDFS; HD…...

编程日记 2023/9/9 22:07:56

【前端】在Vue页面中引入其它vue页面 数据传输 相互调用方法等

主页面 home 从页面 headView 需求 在 home.vue 中引用 headView.Vue 方案: home.vue 代码: 只需要在home.vue 想要的地方添加 <headView></headView> <script>//聊天页面 import headView /view/headView.vueexport default {components: {headView},…...

编程日记 2023/9/9 22:06:55

网络通信深入解析：探索TCP/IP模型

http协议访问web 你知道在我们的网页浏览器的地址当中输入url&#xff0c;未必是如何呈现的吗&#xff1f; web浏览器根据地址栏中指定的url&#xff0c;从web服务器获取文件资源&#xff08;resource&#xff09;等信息&#xff0c;从而显示出web页面。web使用HTTP&#xff08…...

编程日记 2023/9/9 22:05:54

可靠的可视化监控平台应用在那些场景？

可视化监控平台是一种用户友好的工具&#xff0c;可以帮助用户实时监控IT设备的运行状态和网络流量&#xff0c;以及监测安全性和性能指标。它们通常采用图形化界面&#xff0c;使得用户能够直观地了解设备和网络的状态。 以下是一些可视化监控平台常见的应用场景&#xff1a;…...

编程日记 2023/9/9 22:04:53

从 BBR 失速到带宽探测

看一下 pacing 流失速的成因&#xff1a; 一段时间收不到 ack&#xff0c;丢了 ack 自时钟&#xff0c;cwnd 将耗尽&#xff0c;bbr 虽有 cwnd_gain(上图没有表现)&#xff0c;但在该 cwnd_gain 下不依赖 ack 持续坚持发送多久取决于 cwnd_gain 的数值。 bbr 失速的后果在于…...

编程日记 2023/9/9 22:03:52

MobaXterm使用sz/rz命令下载上传文件

MobaXterm使用sz/rz命令下载上传文件 1 参考文档2 下载3 上传 1 参考文档 MobaXterm使用sz/rz命令下载上传文件 2 下载 步骤1&#xff1a;sz filename 步骤2&#xff1a;ctrl 鼠标右键 步骤3&#xff1a;Receive file using Z-modem 3 上传 步骤1&#xff1a;rz 步骤2&am…...

编程日记 2023/9/9 22:02:51

vue el-popover hover延时触发，el-popover 鼠标放上三秒以后触发

背景&#xff1a;el-popover hover只要鼠标刮过就显示 多个el-popover出现加载卡顿 解决方案 给el-popover加一个延时显示 <template><div><el-popovertrigger"hover":open-delay"3000"content"这是一个Popover"><button…...

编程日记 2023/9/9 22:01:50

计算机竞赛 基于深度学习的人脸识别系统

前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 基于深度学习的人脸识别系统 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐&#xff01; &#x1f9ff; 更多资料, 项目分享&#xff1a; https://gitee.com/dancheng-senior/…...

编程日记 2023/9/9 22:00:48

Android扫码连接WIFI实现

0&#xff0c;目标 APP中实现扫WIFI分享码自动连接WIFI功能 1&#xff0c;前提条件 设备需要有个扫码器&#xff08;摄像头拍照识别也行&#xff09;&#xff0c;APP调用扫码器读取WIFI连接分享码。 2&#xff0c;增加权限 在AndroidManifest.xml中增加权限 <uses-permissi…...

编程日记 2023/9/9 21:59:47

OpenCascade避坑指南：BRepMesh网格生成常见的5个问题与解决方法（含性能对比数据）

OpenCascade网格生成实战&#xff1a;5个高频问题深度解析与性能优化指南 当你在CAD开发中第一次调用BRepMesh_IncrementalMesh时&#xff0c;是否遇到过网格生成失败却找不到原因的情况&#xff1f;或是面对复杂模型时性能急剧下降的困境&#xff1f;这些问题往往让初学者束手…...

编程新知 2026/3/30 0:17:34

3步实现Axure RP本地化界面优化：开源工具助力中文设计环境构建

3步实现Axure RP本地化界面优化&#xff1a;开源工具助力中文设计环境构建 【免费下载链接】axure-cn Chinese language file for Axure RP. Axure RP 简体中文语言包&#xff0c;不定期更新。支持 Axure 9、Axure 10。 项目地址: https://gitcode.com/gh_mirrors/ax/axure-c…...

编程新知 2026/3/30 0:17:34

MiniCPM-V-2_6赋能Python爬虫：智能数据采集与清洗

MiniCPM-V-2_6赋能Python爬虫&#xff1a;智能数据采集与清洗 还在为反爬机制头疼&#xff1f;试试让AI来帮你搞定数据采集的那些麻烦事 咱们做数据采集的&#xff0c;最怕遇到什么&#xff1f;页面结构一变&#xff0c;爬虫就失效&#xff1b;验证码弹出来&#xff0c;手动识别…...

编程新知 2026/3/29 21:10:14

清单来了：2026年公认好用的专业AI论文网站

2026年AI论文写作工具已从“内容生成”进化为多维度学术支持系统&#xff0c;核心差异体现在文献真实性、格式合规性、长文本逻辑、查重降重、AIGC合规五大维度。本次测评覆盖6款主流工具&#xff0c;涵盖中文/英文、全流程/专项、免费/付费场景&#xff0c;让你高效筛选适合自…...

编程新知 2026/3/29 21:06:13

Navicat Premium Mac版试用期重置技术解析与实战指南

Navicat Premium Mac版试用期重置技术解析与实战指南 【免费下载链接】navicat_reset_mac navicat16 mac版无限重置试用期脚本 项目地址: https://gitcode.com/gh_mirrors/na/navicat_reset_mac 问题导入&#xff1a;Navicat试用期限制的技术挑战 Navicat Premium作为一…...

编程新知 2026/3/29 20:03:52

重构窗口管理逻辑的效率革命：Loop重新定义macOS多任务体验

重构窗口管理逻辑的效率革命&#xff1a;Loop重新定义macOS多任务体验 【免费下载链接】Loop MacOS窗口管理 项目地址: https://gitcode.com/GitHub_Trending/lo/Loop 当你在三个浏览器窗口、两个文档和一个设计工具间频繁切换时&#xff0c;当你花费十分钟拖拽调整窗口…...

编程新知 2026/3/29 19:51:45

机器人状态估计——从IMU运动方程到ESKF误差状态建模（上）

1. 从IMU数据到机器人状态估计的挑战 当你第一次拿到一个IMU传感器时&#xff0c;可能会觉得它就像个魔法黑盒——只要把它装在机器人上&#xff0c;就能知道机器人的姿态、速度和位置。但实际操作起来&#xff0c;你会发现IMU数据就像个调皮的孩子&#xff0c;稍不注意就会给你…...

编程新知 2026/3/29 19:41:43

5个技巧让CUDA应用在非NVIDIA显卡发挥最大价值——ZLUDA完全指南

5个技巧让CUDA应用在非NVIDIA显卡发挥最大价值——ZLUDA完全指南 【免费下载链接】ZLUDA CUDA on Intel GPUs 项目地址: https://gitcode.com/GitHub_Trending/zl/ZLUDA 在AI与高性能计算领域&#xff0c;CUDA生态的垄断地位让许多开发者和企业面临硬件选择困境。跨平台…...

编程新知 2026/3/29 19:13:35

如何永久保存微信聊天记录：3步实现数据自主管理的完整指南

如何永久保存微信聊天记录&#xff1a;3步实现数据自主管理的完整指南 【免费下载链接】WeChatMsg 提取微信聊天记录&#xff0c;将其导出成HTML、Word、CSV文档永久保存&#xff0c;对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/W…...

编程新知 2026/3/29 18:39:29

代理优先（Agent-First）软件开发全生命周期流程解析

1. 引言&#xff1a;从“手动编码”到“系统导航”的范式转移 在传统的软件工程中&#xff0c;人类工程师是代码的“砖瓦匠”&#xff0c;将大部分认知带宽消耗在每一行代码的编写与微观调试上。然而&#xff0c;OpenAI 最新的实践证明了一种激进的范式转移&#xff1a;在一个为…...

编程新知 2026/3/29 18:03:16