当前位置： 首页 > news >正文

李宏毅LLM——ChatGPT原理剖析

news 2026/4/1 18:10:33

文章目录

  • Chat-GPT引言
  • 关键技术——预训练
  • 研究问题
  • 玩文字冒险游戏

ChatGPT原理剖析

Chat-GPT引言

  • 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案
  • 误解：罐头回答、答案是网络搜索的结果
  • 真正做的事：文字接龙，function，几率分布 -> 采样
    在这里插入图片描述
    不仅包含现在的输入还有过去的输入，大语言模型 = 文字接龙
    在这里插入图片描述
    训练：寻找函数的过程，使用了网络资料
    测试：没有联网
    在这里插入图片描述

关键技术——预训练

在这里插入图片描述
一般的机器学习：
督导式学习
在这里插入图片描述
在这里插入图片描述

人类提供资料有限，GPT就无法回答
在这里插入图片描述
使用网络上的文字来教GPT学习
在这里插入图片描述

  • GPT：2018年 117M模型，1G数据。单纯用网络资料学习
  • GPT-2：2019年，1542M模型，40G数据。开始像模像样地瞎掰，可以回答问题
  • GPT-3：2020年，175B模型，45T资料筛选出的570G数据（哈利波特全集的30w倍）。可以写程序了。
    参数量越大，正确率越高，但似乎接近极限了
    在这里插入图片描述
    网络资料的缺陷：不受控
    在这里插入图片描述
    解决：督导式学习，微调
    在这里插入图片描述
    预训练的帮助：也许人类不需要教会GPT所有语言。只教会GPT某一个语言的某种任务，自动学会其他语言的相同任务
    在这里插入图片描述
    多种语言预训练，只在某种语言上微调
    在这里插入图片描述
    增强式学习只需要人判断答案好不好就行
    在这里插入图片描述

研究问题

对NLP领域影响很大，也带来了新的研究方向。

  • 如何精准提升需求？催眠（Prompting）。有没有更好的方式找到prompting
    在这里插入图片描述
  • 如何更正错误？把某一个答案弄对，弄错了更多答案

在这里插入图片描述

  • 侦测AI生成的物件
    在这里插入图片描述
  • 不小心泄露人类秘密
    machine unlearning

在这里插入图片描述

玩文字冒险游戏

提供足够的prompting，midjourney生成图片

在这里插入图片描述

相关文章：

李宏毅LLM——ChatGPT原理剖析

文章目录 Chat-GPT引言关键技术——预训练研究问题玩文字冒险游戏 ChatGPT原理剖析 Chat-GPT引言 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案误解：罐头回答、答案是网络搜索的结果真正做的事：文字接龙，…...

编程日记 2024/1/17 3:21:40

让Windows上vscode的C语言scanf函数可以读取中文字符

windows的默认字符集保存为GBK不要修改 区域设置–时钟和区域–区域–管理–更系统区域设置–（不要勾选）使用UTF-8。 查看验证当前字符集： cmdchcp 活动代码页: 936936就是简体中文GBK vscode的setting.json文件添加如下代码 点击左下角…...

编程日记 2024/1/17 3:18:37

Linux命令（3）

一. tr 对字符进行处理： tr 命令用于字符转换、替换和删除，主要用于删除文件中的控制符或进行字符串转换等。 将a转换成1 将小写字母转换成大写 压缩: tr -s 将a压缩成一个a 将空格压缩成一个 删除： tr -d 补集: 用字符串中的字符集的补…...

编程日记 2024/1/17 3:17:36

安卓MediaRecorder(3)音频采集编码写入详细源码分析

文章目录 前言音频采集音频初始化AudioRecord 分析AudioSource 采集到音频 音频编码音频编码后数据处理MPEG4Writer写入音频编码后数据到文件MPEG4Writer::Track 取编码后的音频编数据结语 本文首发地址 https://blog.csdn.net/CSqingchen/article/details/134896808 最新更新地…...

编程日记 2024/1/17 3:14:33

2024年网络安全竞赛—网络安全事件分析应急响应解析（包含FLAG）

网络安全事件分析应急响应 目录 网络安全事件分析应急响应 解析如下：...

编程日记 2024/1/17 3:13:32

FineBI实战项目一（22）：各省份订单个数及订单总额分析开发

点击新建组件，创建各省份订单个数及订单总额组件。 选择自定义图表，将province拖拽到横轴，将cnt和total拖拽到纵轴。 调节纵轴的为指标并列。 修改横轴和纵轴的标题。 修改柱状图样式： 将组件拖拽到仪表板。 结果如下：…...

编程日记 2024/1/17 3:09:29

2024.1.16 调用tinyspline样条曲线拟合库时报 stack smashing detected，CMakeLists.txt中屏蔽该异常

在函数中调用第三方库api拟合样条曲线，函数中一切正常，可以打印所有数组变量，重复执行该函数，某一次函数return时报 stack smashing deteced （unknown） ，原因可能是第三方库内部的函数有栈溢出风…...

编程日记 2024/1/17 3:07:27

Leetcode202快乐数（java实现）

今天分享的题目是快乐数： 快乐数的定义如下： 快乐数（Happy Number）是指一个正整数，将其替换为各个位上数字的平方和，重复这个过程直到最后得到的结果为1，或者无限循环但不包含1。如果最终结果为…...

编程日记 2024/1/17 3:06:26

50天精通Golang（第13天）

反射reflect 一、引入 先看官方Doc中Rob Pike给出的关于反射的定义： Reflection in computing is the ability of a program to examine its own structure, particularly through types; it’s a form of metaprogramming. It’s also a great source of confus…...

编程日记 2024/1/17 3:05:25

大数据 - Doris系列《三》- 数据表设计之表的基本概念

目录 🐶3.1 字段类型 🐶3.2 表的基本概念 3.2.1 Row & Column 3.2.2 分区与分桶 🥙3.2.2.1 Partition 1. Range 分区 2. List 分区 进阶：复合分区与单分区的选择 3.2.3 PROPERTIES 🥙3.2.3.1 分片副本数 &#x1f…...

编程日记 2024/1/17 3:01:22

数据库mysql no.3

1.排序查询 order by 排序列表 【asc/desc】 排序列表：可以是单个字段、多个字段、表达式、函数、别名。 asc 升序 desc 降序 如果没有写那就是默认升序 2.常见函数 select 函数名（）； 定义：函…...

编程日记 2024/1/17 2:59:20

数据结构实战：变位词侦测

文章目录 一、实战概述二、实战步骤（一）逐个比较法1、编写源程序2、代码解释说明（1）函数逻辑解释（2）主程序部分 3、运行程序，查看结果4、计算时间复杂度 （二）排序比较法1…...

编程日记 2024/1/17 2:58:19

C++核心编程之类和对象---C++面向对象的三大特性--多态

目录 一、多态 1. 多态的概念 2.多态的分类： 1. 静态多态： 2. 动态多态： 3.静态多态和动态多态的区别： 4.动态多态需要满足的条件： 4.1重写的概念： 4.2动态多态的调用： 二、多态 三、多…...

编程日记 2024/1/17 2:52:14

基于PyQT的图片批处理系统

项目背景： 随着数字摄影技术的普及，人们拍摄和处理大量图片的需求也越来越高。为了提高效率，开发一个基于 PyQt 的图片批处理系统是很有意义的。该系统可以提供一系列图像增强、滤波、水印、翻转、放大缩小、旋转等功能，使用户能够…...

编程日记 2024/1/17 2:51:14

vscode文件配置

lanuch.json {"version": "0.2.0","configurations": [{"name": "(gdb) 启动","type": "cppdbg","request": "launch",// "program": "输入程序名称，例…...

编程日记 2024/1/17 2:50:13

C++学习笔记——SLT六大组件及头文件

目录 一、C中STL（Standard Template Library） 二、 Gun源代码开发精神 三、 实现版本 四、GNU C库的头文件分布 bits目录 ext目录 backward目录 iostream目录 stdexcept目录 string目录 上一篇文章： C标准模板库（STL&am…...

编程日记 2024/1/17 2:44:07

Spring之AOP源码（二）

书接上文 文章目录 一、简介1. 前文回顾2. 知识点补充 二、ProxyFactory源码分析1. ProxyFactory2. JdkDynamicAopProxy3. ObjenesisCglibAopProxy 三、 Spring AOP源码分析 一、简介 1. 前文回顾 前面我们已经介绍了AOP的基本使用方法以及基本原理，但是还没有涉…...

编程日记 2024/1/17 2:42:05

VS code console.log快捷键设置 ：console.log(‘n＞＞＞‘,n)

vscode设置log快捷显示： 一、打开 VS Code，并进入菜单栏选择 “文件”（File）-> “首选项”（Preferences）-> “用户代码片段”（User Snippets）。 二、在弹出的下拉菜单中选择 …...

编程日记 2024/1/17 2:41:04

ZooKeeper 简介

1、概念介绍 ZooKeeper 是一个开放源码的分布式应用程序协调服务，为分布式应用提供一致性服务的软件，由雅虎创建，是 Google Chubby 的开源实现，是 Apache 的子项目，之前是 Hadoop 项目的一部分，使用 Java …...

编程日记 2024/1/17 2:39:00

rke2 Online Deploy Rancher v2.8.0 latest （helm 在线部署 rancher v2.8.0）

文章目录 1. 简介2. 预备条件3. 安装 helm4. 安装 cert-manager4.1 yaml 安装4.2 helm 安装 5. 安装 rancher6. 验证7. 界面预览 1. 简介 Rancher 是一个 Kubernetes 管理工具，让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托…...

编程日记 2024/1/17 2:38:00

Qwen-Ranker Pro快速部署：Windows WSL2环境下Streamlit兼容性方案

Qwen-Ranker Pro快速部署：Windows WSL2环境下Streamlit兼容性方案 1. 环境准备与系统要求 在Windows WSL2环境中部署Qwen-Ranker Pro需要确保系统满足以下基本要求： 硬件要求： 内存：至少8GB RAM（推荐16GB以上&…...

编程新知 2026/4/1 17:47:28

LFM2.5-1.2B-Thinking-GGUF入门必看：轻量模型在离线环境中的安全合规部署

LFM2.5-1.2B-Thinking-GGUF入门必看：轻量模型在离线环境中的安全合规部署 1. 模型概述 LFM2.5-1.2B-Thinking-GGUF是Liquid AI推出的轻量级文本生成模型，专为低资源环境设计。这个1.2B参数的模型采用GGUF格式，能够在各种边缘设备上高效运行…...

编程新知 2026/4/1 17:20:34

RIFE智能帧插值技术全解析：从原理到实战的视频流畅度提升指南

RIFE智能帧插值技术全解析：从原理到实战的视频流畅度提升指南 【免费下载链接】video2x A machine learning-based video super resolution and frame interpolation framework. Est. Hack the Valley II, 2018. 项目地址: https://gitcode.com/GitHub_Trending/v…...

编程新知 2026/4/1 16:39:01

R语言实战：利用compareGroups包高效生成临床研究三线表(Table1)

1. 为什么临床研究离不开Table1三线表 在医学论文和临床研究报告中，Table1三线表几乎是标配。我第一次投稿时，审稿人直接指出"缺少规范的基线特征表"，这才意识到这个表格的重要性。Table1的核心作用是展示研究人群的基线特征&#…...

编程新知 2026/4/1 16:00:32

08_Claude Code之高级工作流与自动化：循环、调度与并行批处理

08 Claude Code之高级工作流与自动化：循环、调度与并行批处理 Claude Code 的真正价值在于自动化能力，而不仅仅是对话工具。本文深度讲解 Plan Mode 的量化对比（多文件重构成功率从62%到89%）、非交互批处理脚本、并行处理架构、CI…...

编程新知 2026/4/1 15:56:30

威联通NAS安全防护全攻略：10个必做设置让你的数据固若金汤

威联通NAS安全防护全攻略：10个必做设置让你的数据固若金汤 在数字化时代，数据安全已成为个人和企业最关注的议题之一。威联通NAS作为专业级网络存储设备，凭借其强大的硬件性能和丰富的软件生态，成为许多用户存储重要数据的首选。然…...

编程新知 2026/4/1 15:03:29

StructBERT中文相似度模型保姆级教学：如何用TSNE可视化高维句向量空间分布

StructBERT中文相似度模型保姆级教学：如何用TSNE可视化高维句向量空间分布 1. 引言：为什么需要可视化句向量？ 当你使用StructBERT这样的模型计算句子相似度时，你得到的只是一个0到1之间的数字。这个数字告诉你两个句子“有多像”…...

编程新知 2026/4/1 14:39:01

用Python+Pandas搞定校园单车数据清洗：从‘200+’到精准分布表的保姆级教程

用PythonPandas搞定校园单车数据清洗：从‘200’到精准分布表的保姆级教程 校园单车数据清洗是数据分析实战中的经典场景。想象一下这样的情境：你拿到一份包含15个停车点、7个时间段的校园单车统计表，却发现数据里混杂着"200"这样的…...

编程新知 2026/4/1 14:28:33

别再用FIFO了！AXI4-Stream CDC场景下，寄存器管道(Register Slice)模式实战与避坑

别再用FIFO了！AXI4-Stream CDC场景下寄存器管道模式的实战精要 在FPGA和SoC设计中，跨时钟域（CDC）数据传输一直是个让人头疼的问题。每当遇到不同时钟域间的数据同步，大多数工程师的第一反应就是掏出一个FIFO来解决。这…...

编程新知 2026/4/1 12:54:27

合肥工业大学LaTeX学位论文模板零基础入门：高效解决方案与实战指南

合肥工业大学LaTeX学位论文模板零基础入门：高效解决方案与实战指南 【免费下载链接】HFUT_Thesis LaTeX Thesis Template for Hefei University of Technology 项目地址: https://gitcode.com/gh_mirrors/hf/HFUT_Thesis 在学术写作中，格式规范的…...

编程新知 2026/4/1 11:41:43