当前位置： 首页 > news >正文

李宏毅LLM——ChatGPT原理剖析

news 2026/2/9 19:44:56

文章目录

  • Chat-GPT引言
  • 关键技术——预训练
  • 研究问题
  • 玩文字冒险游戏

ChatGPT原理剖析

Chat-GPT引言

  • 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案
  • 误解：罐头回答、答案是网络搜索的结果
  • 真正做的事：文字接龙，function，几率分布 -> 采样
    在这里插入图片描述
    不仅包含现在的输入还有过去的输入，大语言模型 = 文字接龙
    在这里插入图片描述
    训练：寻找函数的过程，使用了网络资料
    测试：没有联网
    在这里插入图片描述

关键技术——预训练

在这里插入图片描述
一般的机器学习：
督导式学习
在这里插入图片描述
在这里插入图片描述

人类提供资料有限，GPT就无法回答
在这里插入图片描述
使用网络上的文字来教GPT学习
在这里插入图片描述

  • GPT：2018年 117M模型，1G数据。单纯用网络资料学习
  • GPT-2：2019年，1542M模型，40G数据。开始像模像样地瞎掰，可以回答问题
  • GPT-3：2020年，175B模型，45T资料筛选出的570G数据（哈利波特全集的30w倍）。可以写程序了。
    参数量越大，正确率越高，但似乎接近极限了
    在这里插入图片描述
    网络资料的缺陷：不受控
    在这里插入图片描述
    解决：督导式学习，微调
    在这里插入图片描述
    预训练的帮助：也许人类不需要教会GPT所有语言。只教会GPT某一个语言的某种任务，自动学会其他语言的相同任务
    在这里插入图片描述
    多种语言预训练，只在某种语言上微调
    在这里插入图片描述
    增强式学习只需要人判断答案好不好就行
    在这里插入图片描述

研究问题

对NLP领域影响很大，也带来了新的研究方向。

  • 如何精准提升需求？催眠（Prompting）。有没有更好的方式找到prompting
    在这里插入图片描述
  • 如何更正错误？把某一个答案弄对，弄错了更多答案

在这里插入图片描述

  • 侦测AI生成的物件
    在这里插入图片描述
  • 不小心泄露人类秘密
    machine unlearning

在这里插入图片描述

玩文字冒险游戏

提供足够的prompting，midjourney生成图片

在这里插入图片描述

相关文章：

李宏毅LLM——ChatGPT原理剖析

文章目录 Chat-GPT引言关键技术——预训练研究问题玩文字冒险游戏 ChatGPT原理剖析 Chat-GPT引言 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案误解：罐头回答、答案是网络搜索的结果真正做的事：文字接龙，…...

编程日记 2024/1/17 3:21:40

让Windows上vscode的C语言scanf函数可以读取中文字符

windows的默认字符集保存为GBK不要修改 区域设置–时钟和区域–区域–管理–更系统区域设置–（不要勾选）使用UTF-8。 查看验证当前字符集： cmdchcp 活动代码页: 936936就是简体中文GBK vscode的setting.json文件添加如下代码 点击左下角…...

编程日记 2024/1/17 3:18:37

Linux命令（3）

一. tr 对字符进行处理： tr 命令用于字符转换、替换和删除，主要用于删除文件中的控制符或进行字符串转换等。 将a转换成1 将小写字母转换成大写 压缩: tr -s 将a压缩成一个a 将空格压缩成一个 删除： tr -d 补集: 用字符串中的字符集的补…...

编程日记 2024/1/17 3:17:36

安卓MediaRecorder(3)音频采集编码写入详细源码分析

文章目录 前言音频采集音频初始化AudioRecord 分析AudioSource 采集到音频 音频编码音频编码后数据处理MPEG4Writer写入音频编码后数据到文件MPEG4Writer::Track 取编码后的音频编数据结语 本文首发地址 https://blog.csdn.net/CSqingchen/article/details/134896808 最新更新地…...

编程日记 2024/1/17 3:14:33

2024年网络安全竞赛—网络安全事件分析应急响应解析（包含FLAG）

网络安全事件分析应急响应 目录 网络安全事件分析应急响应 解析如下：...

编程日记 2024/1/17 3:13:32

FineBI实战项目一（22）：各省份订单个数及订单总额分析开发

点击新建组件，创建各省份订单个数及订单总额组件。 选择自定义图表，将province拖拽到横轴，将cnt和total拖拽到纵轴。 调节纵轴的为指标并列。 修改横轴和纵轴的标题。 修改柱状图样式： 将组件拖拽到仪表板。 结果如下：…...

编程日记 2024/1/17 3:09:29

2024.1.16 调用tinyspline样条曲线拟合库时报 stack smashing detected，CMakeLists.txt中屏蔽该异常

在函数中调用第三方库api拟合样条曲线，函数中一切正常，可以打印所有数组变量，重复执行该函数，某一次函数return时报 stack smashing deteced （unknown） ，原因可能是第三方库内部的函数有栈溢出风…...

编程日记 2024/1/17 3:07:27

Leetcode202快乐数（java实现）

今天分享的题目是快乐数： 快乐数的定义如下： 快乐数（Happy Number）是指一个正整数，将其替换为各个位上数字的平方和，重复这个过程直到最后得到的结果为1，或者无限循环但不包含1。如果最终结果为…...

编程日记 2024/1/17 3:06:26

50天精通Golang（第13天）

反射reflect 一、引入 先看官方Doc中Rob Pike给出的关于反射的定义： Reflection in computing is the ability of a program to examine its own structure, particularly through types; it’s a form of metaprogramming. It’s also a great source of confus…...

编程日记 2024/1/17 3:05:25

大数据 - Doris系列《三》- 数据表设计之表的基本概念

目录 🐶3.1 字段类型 🐶3.2 表的基本概念 3.2.1 Row & Column 3.2.2 分区与分桶 🥙3.2.2.1 Partition 1. Range 分区 2. List 分区 进阶：复合分区与单分区的选择 3.2.3 PROPERTIES 🥙3.2.3.1 分片副本数 &#x1f…...

编程日记 2024/1/17 3:01:22

数据库mysql no.3

1.排序查询 order by 排序列表 【asc/desc】 排序列表：可以是单个字段、多个字段、表达式、函数、别名。 asc 升序 desc 降序 如果没有写那就是默认升序 2.常见函数 select 函数名（）； 定义：函…...

编程日记 2024/1/17 2:59:20

数据结构实战：变位词侦测

文章目录 一、实战概述二、实战步骤（一）逐个比较法1、编写源程序2、代码解释说明（1）函数逻辑解释（2）主程序部分 3、运行程序，查看结果4、计算时间复杂度 （二）排序比较法1…...

编程日记 2024/1/17 2:58:19

C++核心编程之类和对象---C++面向对象的三大特性--多态

目录 一、多态 1. 多态的概念 2.多态的分类： 1. 静态多态： 2. 动态多态： 3.静态多态和动态多态的区别： 4.动态多态需要满足的条件： 4.1重写的概念： 4.2动态多态的调用： 二、多态 三、多…...

编程日记 2024/1/17 2:52:14

基于PyQT的图片批处理系统

项目背景： 随着数字摄影技术的普及，人们拍摄和处理大量图片的需求也越来越高。为了提高效率，开发一个基于 PyQt 的图片批处理系统是很有意义的。该系统可以提供一系列图像增强、滤波、水印、翻转、放大缩小、旋转等功能，使用户能够…...

编程日记 2024/1/17 2:51:14

vscode文件配置

lanuch.json {"version": "0.2.0","configurations": [{"name": "(gdb) 启动","type": "cppdbg","request": "launch",// "program": "输入程序名称，例…...

编程日记 2024/1/17 2:50:13

C++学习笔记——SLT六大组件及头文件

目录 一、C中STL（Standard Template Library） 二、 Gun源代码开发精神 三、 实现版本 四、GNU C库的头文件分布 bits目录 ext目录 backward目录 iostream目录 stdexcept目录 string目录 上一篇文章： C标准模板库（STL&am…...

编程日记 2024/1/17 2:44:07

Spring之AOP源码（二）

书接上文 文章目录 一、简介1. 前文回顾2. 知识点补充 二、ProxyFactory源码分析1. ProxyFactory2. JdkDynamicAopProxy3. ObjenesisCglibAopProxy 三、 Spring AOP源码分析 一、简介 1. 前文回顾 前面我们已经介绍了AOP的基本使用方法以及基本原理，但是还没有涉…...

编程日记 2024/1/17 2:42:05

VS code console.log快捷键设置 ：console.log(‘n＞＞＞‘,n)

vscode设置log快捷显示： 一、打开 VS Code，并进入菜单栏选择 “文件”（File）-> “首选项”（Preferences）-> “用户代码片段”（User Snippets）。 二、在弹出的下拉菜单中选择 …...

编程日记 2024/1/17 2:41:04

ZooKeeper 简介

1、概念介绍 ZooKeeper 是一个开放源码的分布式应用程序协调服务，为分布式应用提供一致性服务的软件，由雅虎创建，是 Google Chubby 的开源实现，是 Apache 的子项目，之前是 Hadoop 项目的一部分，使用 Java …...

编程日记 2024/1/17 2:39:00

rke2 Online Deploy Rancher v2.8.0 latest （helm 在线部署 rancher v2.8.0）

文章目录 1. 简介2. 预备条件3. 安装 helm4. 安装 cert-manager4.1 yaml 安装4.2 helm 安装 5. 安装 rancher6. 验证7. 界面预览 1. 简介 Rancher 是一个 Kubernetes 管理工具，让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托…...

编程日记 2024/1/17 2:38:00

无法与IP建立连接，未能下载VSCode服务器

如题，在远程连接服务器的时候突然遇到了这个提示。 查阅了一圈，发现是VSCode版本自动更新惹的祸！！！ 在VSCode的帮助->关于这里发现前几天VSCode自动更新了，我的版本号变成了1.100.3 才导致了远程连接出…...

编程新知 2026/1/22 21:24:01

线程与协程

1. 线程与协程 1.1. “函数调用级别”的切换、上下文切换 1. 函数调用级别的切换 “函数调用级别的切换”是指：像函数调用/返回一样轻量地完成任务切换。 举例说明： 当你在程序中写一个函数调用： funcA() 然后 funcA 执行完后返回&…...

编程新知 2025/10/31 17:25:40

C++ 基础特性深度解析

目录 引言 一、命名空间（namespace） C 中的命名空间​ 与 C 语言的对比​ 二、缺省参数​ C 中的缺省参数​ 与 C 语言的对比​ 三、引用（reference）​ C 中的引用​ 与 C 语言的对比​ 四、inline（内联函数…...

编程新知 2026/1/15 4:25:16

在Ubuntu中设置开机自动运行（sudo）指令的指南

在Ubuntu系统中，有时需要在系统启动时自动执行某些命令，特别是需要 sudo权限的指令。为了实现这一功能，可以使用多种方法，包括编写Systemd服务、配置 rc.local文件或使用 cron任务计划。本文将详细介绍这些方法，并提供…...

编程新知 2025/12/23 11:20:24

EtherNet/IP转DeviceNet协议网关详解

一，设备主要功能 疆鸿智能JH-DVN-EIP本产品是自主研发的一款EtherNet/IP从站功能的通讯网关。该产品主要功能是连接DeviceNet总线和EtherNet/IP网络，本网关连接到EtherNet/IP总线中做为从站使用，连接到DeviceNet总线中做为从站使用。 在自动…...

编程新知 2026/1/31 6:53:51

工业自动化时代的精准装配革新：迁移科技3D视觉系统如何重塑机器人定位装配

AI3D视觉的工业赋能者 迁移科技成立于2017年，作为行业领先的3D工业相机及视觉系统供应商，累计完成数亿元融资。其核心技术覆盖硬件设计、算法优化及软件集成，通过稳定、易用、高回报的AI3D视觉系统，为汽车、新能源、金属制造等行…...

编程新知 2025/11/25 4:59:47

css3笔记 （1） 自用

outline: none 用于移除元素获得焦点时默认的轮廓线 broder:0 用于移除边框 font-size&#xff1a;0 用于设置字体不显示 list-style: none 消除<li> 标签默认样式 margin: xx auto 版心居中 width:100% 通栏 vertical-align 作用于行内元素 / 表格单元格&#xff…...

编程新知 2025/10/11 5:18:43

Map相关知识

数据结构 二叉树 二叉树&#xff0c;顾名思义&#xff0c;每个节点最多有两个“叉”&#xff0c;也就是两个子节点&#xff0c;分别是左子 节点和右子节点。不过&#xff0c;二叉树并不要求每个节点都有两个子节点&#xff0c;有的节点只 有左子节点&#xff0c;有的节点只有…...

编程新知 2026/2/4 16:21:14

佰力博科技与您探讨热释电测量的几种方法

热释电的测量主要涉及热释电系数的测定&#xff0c;这是表征热释电材料性能的重要参数。热释电系数的测量方法主要包括静态法、动态法和积分电荷法。其中&#xff0c;积分电荷法最为常用&#xff0c;其原理是通过测量在电容器上积累的热释电电荷&#xff0c;从而确定热释电系数…...

编程新知 2026/1/23 11:53:19

处理vxe-table 表尾数据是单独一个接口，表格tableData数据更新后，需要点击两下，表尾才是正确的

修改bug思路&#xff1a; 分别把 tabledata 和 表尾相关数据 console.log() 发现 更新数据先后顺序不对 settimeout延迟查询表格接口 ——测试可行 升级↑&#xff1a;async await 等接口返回后再开始下一个接口查询 ________________________________________________________…...

编程新知 2026/1/25 6:16:49