当前位置： 首页 > news >正文

李宏毅LLM——ChatGPT原理剖析

news 2026/5/23 20:46:10

文章目录

  • Chat-GPT引言
  • 关键技术——预训练
  • 研究问题
  • 玩文字冒险游戏

ChatGPT原理剖析

Chat-GPT引言

  • 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案
  • 误解：罐头回答、答案是网络搜索的结果
  • 真正做的事：文字接龙，function，几率分布 -> 采样
    在这里插入图片描述
    不仅包含现在的输入还有过去的输入，大语言模型 = 文字接龙
    在这里插入图片描述
    训练：寻找函数的过程，使用了网络资料
    测试：没有联网
    在这里插入图片描述

关键技术——预训练

在这里插入图片描述
一般的机器学习：
督导式学习
在这里插入图片描述
在这里插入图片描述

人类提供资料有限，GPT就无法回答
在这里插入图片描述
使用网络上的文字来教GPT学习
在这里插入图片描述

  • GPT：2018年 117M模型，1G数据。单纯用网络资料学习
  • GPT-2：2019年，1542M模型，40G数据。开始像模像样地瞎掰，可以回答问题
  • GPT-3：2020年，175B模型，45T资料筛选出的570G数据（哈利波特全集的30w倍）。可以写程序了。
    参数量越大，正确率越高，但似乎接近极限了
    在这里插入图片描述
    网络资料的缺陷：不受控
    在这里插入图片描述
    解决：督导式学习，微调
    在这里插入图片描述
    预训练的帮助：也许人类不需要教会GPT所有语言。只教会GPT某一个语言的某种任务，自动学会其他语言的相同任务
    在这里插入图片描述
    多种语言预训练，只在某种语言上微调
    在这里插入图片描述
    增强式学习只需要人判断答案好不好就行
    在这里插入图片描述

研究问题

对NLP领域影响很大，也带来了新的研究方向。

  • 如何精准提升需求？催眠（Prompting）。有没有更好的方式找到prompting
    在这里插入图片描述
  • 如何更正错误？把某一个答案弄对，弄错了更多答案

在这里插入图片描述

  • 侦测AI生成的物件
    在这里插入图片描述
  • 不小心泄露人类秘密
    machine unlearning

在这里插入图片描述

玩文字冒险游戏

提供足够的prompting，midjourney生成图片

在这里插入图片描述

相关文章：

李宏毅LLM——ChatGPT原理剖析

文章目录 Chat-GPT引言关键技术——预训练研究问题玩文字冒险游戏 ChatGPT原理剖析 Chat-GPT引言 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案误解：罐头回答、答案是网络搜索的结果真正做的事：文字接龙，…...

编程日记 2024/1/17 3:21:40

让Windows上vscode的C语言scanf函数可以读取中文字符

windows的默认字符集保存为GBK不要修改 区域设置–时钟和区域–区域–管理–更系统区域设置–（不要勾选）使用UTF-8。 查看验证当前字符集： cmdchcp 活动代码页: 936936就是简体中文GBK vscode的setting.json文件添加如下代码 点击左下角…...

编程日记 2024/1/17 3:18:37

Linux命令（3）

一. tr 对字符进行处理： tr 命令用于字符转换、替换和删除，主要用于删除文件中的控制符或进行字符串转换等。 将a转换成1 将小写字母转换成大写 压缩: tr -s 将a压缩成一个a 将空格压缩成一个 删除： tr -d 补集: 用字符串中的字符集的补…...

编程日记 2024/1/17 3:17:36

安卓MediaRecorder(3)音频采集编码写入详细源码分析

文章目录 前言音频采集音频初始化AudioRecord 分析AudioSource 采集到音频 音频编码音频编码后数据处理MPEG4Writer写入音频编码后数据到文件MPEG4Writer::Track 取编码后的音频编数据结语 本文首发地址 https://blog.csdn.net/CSqingchen/article/details/134896808 最新更新地…...

编程日记 2024/1/17 3:14:33

2024年网络安全竞赛—网络安全事件分析应急响应解析（包含FLAG）

网络安全事件分析应急响应 目录 网络安全事件分析应急响应 解析如下：...

编程日记 2024/1/17 3:13:32

FineBI实战项目一（22）：各省份订单个数及订单总额分析开发

点击新建组件，创建各省份订单个数及订单总额组件。 选择自定义图表，将province拖拽到横轴，将cnt和total拖拽到纵轴。 调节纵轴的为指标并列。 修改横轴和纵轴的标题。 修改柱状图样式： 将组件拖拽到仪表板。 结果如下：…...

编程日记 2024/1/17 3:09:29

2024.1.16 调用tinyspline样条曲线拟合库时报 stack smashing detected，CMakeLists.txt中屏蔽该异常

在函数中调用第三方库api拟合样条曲线，函数中一切正常，可以打印所有数组变量，重复执行该函数，某一次函数return时报 stack smashing deteced （unknown） ，原因可能是第三方库内部的函数有栈溢出风…...

编程日记 2024/1/17 3:07:27

Leetcode202快乐数（java实现）

今天分享的题目是快乐数： 快乐数的定义如下： 快乐数（Happy Number）是指一个正整数，将其替换为各个位上数字的平方和，重复这个过程直到最后得到的结果为1，或者无限循环但不包含1。如果最终结果为…...

编程日记 2024/1/17 3:06:26

50天精通Golang（第13天）

反射reflect 一、引入 先看官方Doc中Rob Pike给出的关于反射的定义： Reflection in computing is the ability of a program to examine its own structure, particularly through types; it’s a form of metaprogramming. It’s also a great source of confus…...

编程日记 2024/1/17 3:05:25

大数据 - Doris系列《三》- 数据表设计之表的基本概念

目录 🐶3.1 字段类型 🐶3.2 表的基本概念 3.2.1 Row & Column 3.2.2 分区与分桶 🥙3.2.2.1 Partition 1. Range 分区 2. List 分区 进阶：复合分区与单分区的选择 3.2.3 PROPERTIES 🥙3.2.3.1 分片副本数 &#x1f…...

编程日记 2024/1/17 3:01:22

数据库mysql no.3

1.排序查询 order by 排序列表 【asc/desc】 排序列表：可以是单个字段、多个字段、表达式、函数、别名。 asc 升序 desc 降序 如果没有写那就是默认升序 2.常见函数 select 函数名（）； 定义：函…...

编程日记 2024/1/17 2:59:20

数据结构实战：变位词侦测

文章目录 一、实战概述二、实战步骤（一）逐个比较法1、编写源程序2、代码解释说明（1）函数逻辑解释（2）主程序部分 3、运行程序，查看结果4、计算时间复杂度 （二）排序比较法1…...

编程日记 2024/1/17 2:58:19

C++核心编程之类和对象---C++面向对象的三大特性--多态

目录 一、多态 1. 多态的概念 2.多态的分类： 1. 静态多态： 2. 动态多态： 3.静态多态和动态多态的区别： 4.动态多态需要满足的条件： 4.1重写的概念： 4.2动态多态的调用： 二、多态 三、多…...

编程日记 2024/1/17 2:52:14

基于PyQT的图片批处理系统

项目背景： 随着数字摄影技术的普及，人们拍摄和处理大量图片的需求也越来越高。为了提高效率，开发一个基于 PyQt 的图片批处理系统是很有意义的。该系统可以提供一系列图像增强、滤波、水印、翻转、放大缩小、旋转等功能，使用户能够…...

编程日记 2024/1/17 2:51:14

vscode文件配置

lanuch.json {"version": "0.2.0","configurations": [{"name": "(gdb) 启动","type": "cppdbg","request": "launch",// "program": "输入程序名称，例…...

编程日记 2024/1/17 2:50:13

C++学习笔记——SLT六大组件及头文件

目录 一、C中STL（Standard Template Library） 二、 Gun源代码开发精神 三、 实现版本 四、GNU C库的头文件分布 bits目录 ext目录 backward目录 iostream目录 stdexcept目录 string目录 上一篇文章： C标准模板库（STL&am…...

编程日记 2024/1/17 2:44:07

Spring之AOP源码（二）

书接上文 文章目录 一、简介1. 前文回顾2. 知识点补充 二、ProxyFactory源码分析1. ProxyFactory2. JdkDynamicAopProxy3. ObjenesisCglibAopProxy 三、 Spring AOP源码分析 一、简介 1. 前文回顾 前面我们已经介绍了AOP的基本使用方法以及基本原理，但是还没有涉…...

编程日记 2024/1/17 2:42:05

VS code console.log快捷键设置 ：console.log(‘n＞＞＞‘,n)

vscode设置log快捷显示： 一、打开 VS Code，并进入菜单栏选择 “文件”（File）-> “首选项”（Preferences）-> “用户代码片段”（User Snippets）。 二、在弹出的下拉菜单中选择 …...

编程日记 2024/1/17 2:41:04

ZooKeeper 简介

1、概念介绍 ZooKeeper 是一个开放源码的分布式应用程序协调服务，为分布式应用提供一致性服务的软件，由雅虎创建，是 Google Chubby 的开源实现，是 Apache 的子项目，之前是 Hadoop 项目的一部分，使用 Java …...

编程日记 2024/1/17 2:39:00

rke2 Online Deploy Rancher v2.8.0 latest （helm 在线部署 rancher v2.8.0）

文章目录 1. 简介2. 预备条件3. 安装 helm4. 安装 cert-manager4.1 yaml 安装4.2 helm 安装 5. 安装 rancher6. 验证7. 界面预览 1. 简介 Rancher 是一个 Kubernetes 管理工具，让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托…...

编程日记 2024/1/17 2:38:00

Forza Painter终极指南：3分钟将任何图片变成专业车辆涂装

Forza Painter终极指南：3分钟将任何图片变成专业车辆涂装 【免费下载链接】forza-painter Import images into Forza 项目地址: https://gitcode.com/gh_mirrors/fo/forza-painter 还在为《极限竞速：地平线》系列游戏中复杂的车辆涂装设计而烦恼吗…...

编程新知 2026/5/23 17:22:51

AI Agent在制造业的隐秘革命（产线故障预测Agent首次公开技术栈）

更多请点击： https://kaifayun.com 第一章：AI Agent在制造业的隐秘革命（产线故障预测Agent首次公开技术栈） 当振动传感器每秒回传8,192点时序数据、PLC日志以毫秒级时间戳持续写入边缘缓存，传统阈值告警系统正悄然失…...

编程新知 2026/5/23 16:59:21

为什么我总是想很多，却很难开始做？

为什么我总是想很多，却很难开始做？ 有一种人，脑子从来停不下来。 走路在想，洗澡在想，睡前还在想。 想人生方向，想技术路线，想项目结构，想商业模式，想内容选题&#xff0c…...

编程新知 2026/5/23 16:32:16

让你的电脑拥有AI大脑：UI-TARS桌面助手实战指南

让你的电脑拥有AI大脑：UI-TARS桌面助手实战指南 【免费下载链接】UI-TARS-desktop The Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra 项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop 你是…...

编程新知 2026/5/23 15:42:05

【Lindy人力资源自动化方案】：20年HR Tech专家亲授，3大落地陷阱与5步零失败实施路径

更多请点击： https://codechina.net 第一章：Lindy人力资源自动化方案全景图 Lindy 是一款面向中大型企业的开源人力资源自动化平台，聚焦于招聘管理、员工生命周期编排、组织架构动态建模与合规性审计四大核心能力。其架构采用云原生设计&…...

编程新知 2026/5/23 15:33:49

5步终极元数据管理：PDF补丁丁高效修改文档属性完整指南

5步终极元数据管理：PDF补丁丁高效修改文档属性完整指南 【免费下载链接】PDFPatcher PDF补丁丁——PDF工具箱，可以编辑书签、剪裁旋转页面、解除限制、提取或合并文档，探查文档结构，提取图片、转成图片等等 项目地址: https://g…...

编程新知 2026/5/23 15:01:19

显卡怎么越来越贵？聊聊GPU算力背后那些事

老实说，我也难以确切记起，究竟是自哪一日起始，电脑显卡的价格便如同乘坐了火箭那般。 可能就连楼下从事修电脑工作的陈师傅都未曾想到，在过去几年的时候，还能够运用“甜品卡”这个词汇去夸赞一张显卡在性价比方面较高&…...

编程新知 2026/5/23 14:35:40

如何5分钟快速配置Apple Store库存监控：终极自动化助手指南

如何5分钟快速配置Apple Store库存监控：终极自动化助手指南 【免费下载链接】apple-store-helper Apple Store iPhone预约助手 项目地址: https://gitcode.com/gh_mirrors/ap/apple-store-helper Apple Store iPhone预约助手是一个专为果粉设计的开源工具&am…...

编程新知 2026/5/23 14:24:04

Yarn Spinner终极指南：10分钟学会编写专业游戏交互对话

Yarn Spinner终极指南：10分钟学会编写专业游戏交互对话 【免费下载链接】YarnSpinner The core compiler and engine-agnostic components for Yarn Spinner, the friendly dialogue tool. 项目地址: https://gitcode.com/gh_mirrors/ya/YarnSpinner Yarn Sp…...

编程新知 2026/5/23 14:02:35

【Midjourney企业版落地实战指南】：从0到1搭建合规、可控、可审计的AI设计中台

更多请点击： https://intelliparadigm.com 第一章：【Midjourney企业版落地实战指南】：从0到1搭建合规、可控、可审计的AI设计中台 企业引入Midjourney需突破个人账号局限，构建具备身份鉴权、用量管控、内容水印、操作留痕与策略审…...

编程新知 2026/5/23 12:29:04