当前位置： 首页 > news >正文

李宏毅LLM——ChatGPT原理剖析

news 2025/10/17 0:31:41

文章目录

  • Chat-GPT引言
  • 关键技术——预训练
  • 研究问题
  • 玩文字冒险游戏

ChatGPT原理剖析

Chat-GPT引言

  • 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案
  • 误解：罐头回答、答案是网络搜索的结果
  • 真正做的事：文字接龙，function，几率分布 -> 采样
    在这里插入图片描述
    不仅包含现在的输入还有过去的输入，大语言模型 = 文字接龙
    在这里插入图片描述
    训练：寻找函数的过程，使用了网络资料
    测试：没有联网
    在这里插入图片描述

关键技术——预训练

在这里插入图片描述
一般的机器学习：
督导式学习
在这里插入图片描述
在这里插入图片描述

人类提供资料有限，GPT就无法回答
在这里插入图片描述
使用网络上的文字来教GPT学习
在这里插入图片描述

  • GPT：2018年 117M模型，1G数据。单纯用网络资料学习
  • GPT-2：2019年，1542M模型，40G数据。开始像模像样地瞎掰，可以回答问题
  • GPT-3：2020年，175B模型，45T资料筛选出的570G数据（哈利波特全集的30w倍）。可以写程序了。
    参数量越大，正确率越高，但似乎接近极限了
    在这里插入图片描述
    网络资料的缺陷：不受控
    在这里插入图片描述
    解决：督导式学习，微调
    在这里插入图片描述
    预训练的帮助：也许人类不需要教会GPT所有语言。只教会GPT某一个语言的某种任务，自动学会其他语言的相同任务
    在这里插入图片描述
    多种语言预训练，只在某种语言上微调
    在这里插入图片描述
    增强式学习只需要人判断答案好不好就行
    在这里插入图片描述

研究问题

对NLP领域影响很大，也带来了新的研究方向。

  • 如何精准提升需求？催眠（Prompting）。有没有更好的方式找到prompting
    在这里插入图片描述
  • 如何更正错误？把某一个答案弄对，弄错了更多答案

在这里插入图片描述

  • 侦测AI生成的物件
    在这里插入图片描述
  • 不小心泄露人类秘密
    machine unlearning

在这里插入图片描述

玩文字冒险游戏

提供足够的prompting，midjourney生成图片

在这里插入图片描述

相关文章：

李宏毅LLM——ChatGPT原理剖析

文章目录 Chat-GPT引言关键技术——预训练研究问题玩文字冒险游戏 ChatGPT原理剖析 Chat-GPT引言 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案误解：罐头回答、答案是网络搜索的结果真正做的事：文字接龙，…...

编程日记 2024/1/17 3:21:40

让Windows上vscode的C语言scanf函数可以读取中文字符

windows的默认字符集保存为GBK不要修改 区域设置–时钟和区域–区域–管理–更系统区域设置–（不要勾选）使用UTF-8。 查看验证当前字符集： cmdchcp 活动代码页: 936936就是简体中文GBK vscode的setting.json文件添加如下代码 点击左下角…...

编程日记 2024/1/17 3:18:37

Linux命令（3）

一. tr 对字符进行处理： tr 命令用于字符转换、替换和删除，主要用于删除文件中的控制符或进行字符串转换等。 将a转换成1 将小写字母转换成大写 压缩: tr -s 将a压缩成一个a 将空格压缩成一个 删除： tr -d 补集: 用字符串中的字符集的补…...

编程日记 2024/1/17 3:17:36

安卓MediaRecorder(3)音频采集编码写入详细源码分析

文章目录 前言音频采集音频初始化AudioRecord 分析AudioSource 采集到音频 音频编码音频编码后数据处理MPEG4Writer写入音频编码后数据到文件MPEG4Writer::Track 取编码后的音频编数据结语 本文首发地址 https://blog.csdn.net/CSqingchen/article/details/134896808 最新更新地…...

编程日记 2024/1/17 3:14:33

2024年网络安全竞赛—网络安全事件分析应急响应解析（包含FLAG）

网络安全事件分析应急响应 目录 网络安全事件分析应急响应 解析如下：...

编程日记 2024/1/17 3:13:32

FineBI实战项目一（22）：各省份订单个数及订单总额分析开发

点击新建组件，创建各省份订单个数及订单总额组件。 选择自定义图表，将province拖拽到横轴，将cnt和total拖拽到纵轴。 调节纵轴的为指标并列。 修改横轴和纵轴的标题。 修改柱状图样式： 将组件拖拽到仪表板。 结果如下：…...

编程日记 2024/1/17 3:09:29

2024.1.16 调用tinyspline样条曲线拟合库时报 stack smashing detected，CMakeLists.txt中屏蔽该异常

在函数中调用第三方库api拟合样条曲线，函数中一切正常，可以打印所有数组变量，重复执行该函数，某一次函数return时报 stack smashing deteced （unknown） ，原因可能是第三方库内部的函数有栈溢出风…...

编程日记 2024/1/17 3:07:27

Leetcode202快乐数（java实现）

今天分享的题目是快乐数： 快乐数的定义如下： 快乐数（Happy Number）是指一个正整数，将其替换为各个位上数字的平方和，重复这个过程直到最后得到的结果为1，或者无限循环但不包含1。如果最终结果为…...

编程日记 2024/1/17 3:06:26

50天精通Golang（第13天）

反射reflect 一、引入 先看官方Doc中Rob Pike给出的关于反射的定义： Reflection in computing is the ability of a program to examine its own structure, particularly through types; it’s a form of metaprogramming. It’s also a great source of confus…...

编程日记 2024/1/17 3:05:25

大数据 - Doris系列《三》- 数据表设计之表的基本概念

目录 🐶3.1 字段类型 🐶3.2 表的基本概念 3.2.1 Row & Column 3.2.2 分区与分桶 🥙3.2.2.1 Partition 1. Range 分区 2. List 分区 进阶：复合分区与单分区的选择 3.2.3 PROPERTIES 🥙3.2.3.1 分片副本数 &#x1f…...

编程日记 2024/1/17 3:01:22

数据库mysql no.3

1.排序查询 order by 排序列表 【asc/desc】 排序列表：可以是单个字段、多个字段、表达式、函数、别名。 asc 升序 desc 降序 如果没有写那就是默认升序 2.常见函数 select 函数名（）； 定义：函…...

编程日记 2024/1/17 2:59:20

数据结构实战：变位词侦测

文章目录 一、实战概述二、实战步骤（一）逐个比较法1、编写源程序2、代码解释说明（1）函数逻辑解释（2）主程序部分 3、运行程序，查看结果4、计算时间复杂度 （二）排序比较法1…...

编程日记 2024/1/17 2:58:19

C++核心编程之类和对象---C++面向对象的三大特性--多态

目录 一、多态 1. 多态的概念 2.多态的分类： 1. 静态多态： 2. 动态多态： 3.静态多态和动态多态的区别： 4.动态多态需要满足的条件： 4.1重写的概念： 4.2动态多态的调用： 二、多态 三、多…...

编程日记 2024/1/17 2:52:14

基于PyQT的图片批处理系统

项目背景： 随着数字摄影技术的普及，人们拍摄和处理大量图片的需求也越来越高。为了提高效率，开发一个基于 PyQt 的图片批处理系统是很有意义的。该系统可以提供一系列图像增强、滤波、水印、翻转、放大缩小、旋转等功能，使用户能够…...

编程日记 2024/1/17 2:51:14

vscode文件配置

lanuch.json {"version": "0.2.0","configurations": [{"name": "(gdb) 启动","type": "cppdbg","request": "launch",// "program": "输入程序名称，例…...

编程日记 2024/1/17 2:50:13

C++学习笔记——SLT六大组件及头文件

目录 一、C中STL（Standard Template Library） 二、 Gun源代码开发精神 三、 实现版本 四、GNU C库的头文件分布 bits目录 ext目录 backward目录 iostream目录 stdexcept目录 string目录 上一篇文章： C标准模板库（STL&am…...

编程日记 2024/1/17 2:44:07

Spring之AOP源码（二）

书接上文 文章目录 一、简介1. 前文回顾2. 知识点补充 二、ProxyFactory源码分析1. ProxyFactory2. JdkDynamicAopProxy3. ObjenesisCglibAopProxy 三、 Spring AOP源码分析 一、简介 1. 前文回顾 前面我们已经介绍了AOP的基本使用方法以及基本原理，但是还没有涉…...

编程日记 2024/1/17 2:42:05

VS code console.log快捷键设置 ：console.log(‘n＞＞＞‘,n)

vscode设置log快捷显示： 一、打开 VS Code，并进入菜单栏选择 “文件”（File）-> “首选项”（Preferences）-> “用户代码片段”（User Snippets）。 二、在弹出的下拉菜单中选择 …...

编程日记 2024/1/17 2:41:04

ZooKeeper 简介

1、概念介绍 ZooKeeper 是一个开放源码的分布式应用程序协调服务，为分布式应用提供一致性服务的软件，由雅虎创建，是 Google Chubby 的开源实现，是 Apache 的子项目，之前是 Hadoop 项目的一部分，使用 Java …...

编程日记 2024/1/17 2:39:00

rke2 Online Deploy Rancher v2.8.0 latest （helm 在线部署 rancher v2.8.0）

文章目录 1. 简介2. 预备条件3. 安装 helm4. 安装 cert-manager4.1 yaml 安装4.2 helm 安装 5. 安装 rancher6. 验证7. 界面预览 1. 简介 Rancher 是一个 Kubernetes 管理工具，让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托…...

编程日记 2024/1/17 2:38:00

Linux链表操作全解析

Linux C语言链表深度解析与实战技巧 一、链表基础概念与内核链表优势1.1 为什么使用链表？1.2 Linux 内核链表与用户态链表的区别 二、内核链表结构与宏解析常用宏/函数 三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...

编程新知 2025/8/28 9:42:18

Spring Boot 实现流式响应（兼容 2.7.x）

在实际开发中，我们可能会遇到一些流式数据处理的场景，比如接收来自上游接口的 Server-Sent Events（SSE） 或 流式 JSON 内容，并将其原样中转给前端页面或客户端。这种情况下，传统的 RestTemplate 缓存机制会…...

编程新知 2025/8/11 8:18:44

Day131 | 灵神 | 回溯算法 | 子集型 子集

Day131 | 灵神 | 回溯算法 | 子集型 子集 78.子集 78. 子集 - 力扣（LeetCode） 思路： 笔者写过很多次这道题了，不想写题解了，大家看灵神讲解吧 回溯算法套路①子集型回溯【基础算法精讲 14】_哔哩哔哩_bilibili 完…...

编程新知 2025/10/15 8:46:10

java 实现excel文件转pdf | 无水印 | 无限制

文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具，自己手写的难度，恐怕高级程序员花费一年的事件，也…...

编程新知 2025/7/18 10:35:00

CentOS下的分布式内存计算Spark环境部署

一、Spark 核心架构与应用场景 1.1 分布式计算引擎的核心优势 Spark 是基于内存的分布式计算框架，相比 MapReduce 具有以下核心优势： 内存计算：数据可常驻内存，迭代计算性能提升 10-100 倍（文档段落：3-79…...

编程新知 2025/10/11 6:25:35

Android15默认授权浮窗权限

我们经常有那种需求，客户需要定制的apk集成在ROM中，并且默认授予其【显示在其他应用的上层】权限，也就是我们常说的浮窗权限，那么我们就可以通过以下方法在wms、ams等系统服务的systemReady()方法中调用即可实现预置应用默认授权浮…...

编程新知 2025/9/28 3:33:04

让回归模型不再被异常值“带跑偏“，MSE和Cauchy损失函数在噪声数据环境下的实战对比

在机器学习的回归分析中，损失函数的选择对模型性能具有决定性影响。均方误差（MSE）作为经典的损失函数，在处理干净数据时表现优异，但在面对包含异常值的噪声数据时，其对大误差的二次惩罚机制往往导致模型参数…...

编程新知 2025/9/28 19:49:05

Web中间件--tomcat学习

Web中间件–tomcat Java虚拟机详解 什么是JAVA虚拟机 Java虚拟机是一个抽象的计算机，它可以执行Java字节码。Java虚拟机是Java平台的一部分，Java平台由Java语言、Java API和Java虚拟机组成。Java虚拟机的主要作用是将Java字节码转换为机器代码&#x…...

编程新知 2025/9/13 18:20:34

【 java 虚拟机知识 第一篇 】

目录 1.内存模型 1.1.JVM内存模型的介绍 1.2.堆和栈的区别 1.3.栈的存储细节 1.4.堆的部分 1.5.程序计数器的作用 1.6.方法区的内容 1.7.字符串池 1.8.引用类型 1.9.内存泄漏与内存溢出 1.10.会出现内存溢出的结构 1.内存模型 1.1.JVM内存模型的介绍 内存模型主要分…...

编程新知 2025/10/12 16:54:08

Python训练营-Day26-函数专题1：函数定义与参数

题目1：计算圆的面积 任务： 编写一个名为 calculate_circle_area 的函数，该函数接收圆的半径 radius 作为参数，并返回圆的面积。圆的面积 π * radius (可以使用 math.pi 作为 π 的值)要求：函数接收一个位置参数 radi…...

编程新知 2025/10/14 23:26:56