当前位置： 首页 > news >正文

李宏毅LLM——ChatGPT原理剖析

news 2025/7/19 12:48:36

文章目录

  • Chat-GPT引言
  • 关键技术——预训练
  • 研究问题
  • 玩文字冒险游戏

ChatGPT原理剖析

Chat-GPT引言

  • 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案
  • 误解：罐头回答、答案是网络搜索的结果
  • 真正做的事：文字接龙，function，几率分布 -> 采样
    在这里插入图片描述
    不仅包含现在的输入还有过去的输入，大语言模型 = 文字接龙
    在这里插入图片描述
    训练：寻找函数的过程，使用了网络资料
    测试：没有联网
    在这里插入图片描述

关键技术——预训练

在这里插入图片描述
一般的机器学习：
督导式学习
在这里插入图片描述
在这里插入图片描述

人类提供资料有限，GPT就无法回答
在这里插入图片描述
使用网络上的文字来教GPT学习
在这里插入图片描述

  • GPT：2018年 117M模型，1G数据。单纯用网络资料学习
  • GPT-2：2019年，1542M模型，40G数据。开始像模像样地瞎掰，可以回答问题
  • GPT-3：2020年，175B模型，45T资料筛选出的570G数据（哈利波特全集的30w倍）。可以写程序了。
    参数量越大，正确率越高，但似乎接近极限了
    在这里插入图片描述
    网络资料的缺陷：不受控
    在这里插入图片描述
    解决：督导式学习，微调
    在这里插入图片描述
    预训练的帮助：也许人类不需要教会GPT所有语言。只教会GPT某一个语言的某种任务，自动学会其他语言的相同任务
    在这里插入图片描述
    多种语言预训练，只在某种语言上微调
    在这里插入图片描述
    增强式学习只需要人判断答案好不好就行
    在这里插入图片描述

研究问题

对NLP领域影响很大，也带来了新的研究方向。

  • 如何精准提升需求？催眠（Prompting）。有没有更好的方式找到prompting
    在这里插入图片描述
  • 如何更正错误？把某一个答案弄对，弄错了更多答案

在这里插入图片描述

  • 侦测AI生成的物件
    在这里插入图片描述
  • 不小心泄露人类秘密
    machine unlearning

在这里插入图片描述

玩文字冒险游戏

提供足够的prompting，midjourney生成图片

在这里插入图片描述

相关文章：

李宏毅LLM——ChatGPT原理剖析

文章目录 Chat-GPT引言关键技术——预训练研究问题玩文字冒险游戏 ChatGPT原理剖析 Chat-GPT引言 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案误解：罐头回答、答案是网络搜索的结果真正做的事：文字接龙，…...

编程日记 2024/1/17 3:21:40

让Windows上vscode的C语言scanf函数可以读取中文字符

windows的默认字符集保存为GBK不要修改 区域设置–时钟和区域–区域–管理–更系统区域设置–（不要勾选）使用UTF-8。 查看验证当前字符集： cmdchcp 活动代码页: 936936就是简体中文GBK vscode的setting.json文件添加如下代码 点击左下角…...

编程日记 2024/1/17 3:18:37

Linux命令（3）

一. tr 对字符进行处理： tr 命令用于字符转换、替换和删除，主要用于删除文件中的控制符或进行字符串转换等。 将a转换成1 将小写字母转换成大写 压缩: tr -s 将a压缩成一个a 将空格压缩成一个 删除： tr -d 补集: 用字符串中的字符集的补…...

编程日记 2024/1/17 3:17:36

安卓MediaRecorder(3)音频采集编码写入详细源码分析

文章目录 前言音频采集音频初始化AudioRecord 分析AudioSource 采集到音频 音频编码音频编码后数据处理MPEG4Writer写入音频编码后数据到文件MPEG4Writer::Track 取编码后的音频编数据结语 本文首发地址 https://blog.csdn.net/CSqingchen/article/details/134896808 最新更新地…...

编程日记 2024/1/17 3:14:33

2024年网络安全竞赛—网络安全事件分析应急响应解析（包含FLAG）

网络安全事件分析应急响应 目录 网络安全事件分析应急响应 解析如下：...

编程日记 2024/1/17 3:13:32

FineBI实战项目一（22）：各省份订单个数及订单总额分析开发

点击新建组件，创建各省份订单个数及订单总额组件。 选择自定义图表，将province拖拽到横轴，将cnt和total拖拽到纵轴。 调节纵轴的为指标并列。 修改横轴和纵轴的标题。 修改柱状图样式： 将组件拖拽到仪表板。 结果如下：…...

编程日记 2024/1/17 3:09:29

2024.1.16 调用tinyspline样条曲线拟合库时报 stack smashing detected，CMakeLists.txt中屏蔽该异常

在函数中调用第三方库api拟合样条曲线，函数中一切正常，可以打印所有数组变量，重复执行该函数，某一次函数return时报 stack smashing deteced （unknown） ，原因可能是第三方库内部的函数有栈溢出风…...

编程日记 2024/1/17 3:07:27

Leetcode202快乐数（java实现）

今天分享的题目是快乐数： 快乐数的定义如下： 快乐数（Happy Number）是指一个正整数，将其替换为各个位上数字的平方和，重复这个过程直到最后得到的结果为1，或者无限循环但不包含1。如果最终结果为…...

编程日记 2024/1/17 3:06:26

50天精通Golang（第13天）

反射reflect 一、引入 先看官方Doc中Rob Pike给出的关于反射的定义： Reflection in computing is the ability of a program to examine its own structure, particularly through types; it’s a form of metaprogramming. It’s also a great source of confus…...

编程日记 2024/1/17 3:05:25

大数据 - Doris系列《三》- 数据表设计之表的基本概念

目录 🐶3.1 字段类型 🐶3.2 表的基本概念 3.2.1 Row & Column 3.2.2 分区与分桶 🥙3.2.2.1 Partition 1. Range 分区 2. List 分区 进阶：复合分区与单分区的选择 3.2.3 PROPERTIES 🥙3.2.3.1 分片副本数 &#x1f…...

编程日记 2024/1/17 3:01:22

数据库mysql no.3

1.排序查询 order by 排序列表 【asc/desc】 排序列表：可以是单个字段、多个字段、表达式、函数、别名。 asc 升序 desc 降序 如果没有写那就是默认升序 2.常见函数 select 函数名（）； 定义：函…...

编程日记 2024/1/17 2:59:20

数据结构实战：变位词侦测

文章目录 一、实战概述二、实战步骤（一）逐个比较法1、编写源程序2、代码解释说明（1）函数逻辑解释（2）主程序部分 3、运行程序，查看结果4、计算时间复杂度 （二）排序比较法1…...

编程日记 2024/1/17 2:58:19

C++核心编程之类和对象---C++面向对象的三大特性--多态

目录 一、多态 1. 多态的概念 2.多态的分类： 1. 静态多态： 2. 动态多态： 3.静态多态和动态多态的区别： 4.动态多态需要满足的条件： 4.1重写的概念： 4.2动态多态的调用： 二、多态 三、多…...

编程日记 2024/1/17 2:52:14

基于PyQT的图片批处理系统

项目背景： 随着数字摄影技术的普及，人们拍摄和处理大量图片的需求也越来越高。为了提高效率，开发一个基于 PyQt 的图片批处理系统是很有意义的。该系统可以提供一系列图像增强、滤波、水印、翻转、放大缩小、旋转等功能，使用户能够…...

编程日记 2024/1/17 2:51:14

vscode文件配置

lanuch.json {"version": "0.2.0","configurations": [{"name": "(gdb) 启动","type": "cppdbg","request": "launch",// "program": "输入程序名称，例…...

编程日记 2024/1/17 2:50:13

C++学习笔记——SLT六大组件及头文件

目录 一、C中STL（Standard Template Library） 二、 Gun源代码开发精神 三、 实现版本 四、GNU C库的头文件分布 bits目录 ext目录 backward目录 iostream目录 stdexcept目录 string目录 上一篇文章： C标准模板库（STL&am…...

编程日记 2024/1/17 2:44:07

Spring之AOP源码（二）

书接上文 文章目录 一、简介1. 前文回顾2. 知识点补充 二、ProxyFactory源码分析1. ProxyFactory2. JdkDynamicAopProxy3. ObjenesisCglibAopProxy 三、 Spring AOP源码分析 一、简介 1. 前文回顾 前面我们已经介绍了AOP的基本使用方法以及基本原理，但是还没有涉…...

编程日记 2024/1/17 2:42:05

VS code console.log快捷键设置 ：console.log(‘n＞＞＞‘,n)

vscode设置log快捷显示： 一、打开 VS Code，并进入菜单栏选择 “文件”（File）-> “首选项”（Preferences）-> “用户代码片段”（User Snippets）。 二、在弹出的下拉菜单中选择 …...

编程日记 2024/1/17 2:41:04

ZooKeeper 简介

1、概念介绍 ZooKeeper 是一个开放源码的分布式应用程序协调服务，为分布式应用提供一致性服务的软件，由雅虎创建，是 Google Chubby 的开源实现，是 Apache 的子项目，之前是 Hadoop 项目的一部分，使用 Java …...

编程日记 2024/1/17 2:39:00

rke2 Online Deploy Rancher v2.8.0 latest （helm 在线部署 rancher v2.8.0）

文章目录 1. 简介2. 预备条件3. 安装 helm4. 安装 cert-manager4.1 yaml 安装4.2 helm 安装 5. 安装 rancher6. 验证7. 界面预览 1. 简介 Rancher 是一个 Kubernetes 管理工具，让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托…...

编程日记 2024/1/17 2:38:00

2025年能源电力系统与流体力学国际会议 (EPSFD 2025)

2025年能源电力系统与流体力学国际会议（EPSFD 2025）将于本年度在美丽的杭州盛大召开。作为全球能源、电力系统以及流体力学领域的顶级盛会，EPSFD 2025旨在为来自世界各地的科学家、工程师和研究人员提供一个展示最新研究成果、分享实践经验及…...

编程新知 2025/7/17 14:55:17

在HarmonyOS ArkTS ArkUI-X 5.0及以上版本中，手势开发全攻略：

在 HarmonyOS 应用开发中，手势交互是连接用户与设备的核心纽带。ArkTS 框架提供了丰富的手势处理能力，既支持点击、长按、拖拽等基础单一手势的精细控制，也能通过多种绑定策略解决父子组件的手势竞争问题。本文将结合官方开发文档&#xff0c…...

编程新知 2025/6/20 18:20:46

《从零掌握MIPI CSI-2: 协议精解与FPGA摄像头开发实战》-- CSI-2 协议详细解析 (一）

CSI-2 协议详细解析 (一） 1. CSI-2层定义（CSI-2 Layer Definitions） 分层结构 ：CSI-2协议分为6层： 物理层（PHY Layer） ： 定义电气特性、时钟机制和传输介质（导线&#…...

编程新知 2025/7/13 13:41:45

蓝桥杯 2024 15届国赛 A组 儿童节快乐

P10576 [蓝桥杯 2024 国 A] 儿童节快乐 题目描述 五彩斑斓的气球在蓝天下悠然飘荡，轻快的音乐在耳边持续回荡，小朋友们手牵着手一同畅快欢笑。在这样一片安乐祥和的氛围下，六一来了。 今天是六一儿童节，小蓝老师为了让大家在节…...

编程新知 2025/6/27 7:21:20

在四层代理中还原真实客户端ngx_stream_realip_module

一、模块原理与价值 PROXY Protocol 回溯 第三方负载均衡（如 HAProxy、AWS NLB、阿里 SLB）发起上游连接时，将真实客户端 IP/Port 写入 PROXY Protocol v1/v2 头。Stream 层接收到头部后，ngx_stream_realip_module 从中提取原始信息…...

编程新知 2025/7/6 17:42:11

视频字幕质量评估的大规模细粒度基准

大家读完觉得有帮助记得关注和点赞！！！ 摘要 视频字幕在文本到视频生成任务中起着至关重要的作用，因为它们的质量直接影响所生成视频的语义连贯性和视觉保真度。尽管大型视觉-语言模型（VLMs）在字幕生成方面…...

编程新知 2025/7/14 23:38:13

令牌桶 滑动窗口-＞限流 分布式信号量-＞限并发的原理 lua脚本分析介绍

文章目录 前言限流限制并发的实际理解限流令牌桶代码实现结果分析令牌桶lua的模拟实现原理总结： 滑动窗口代码实现结果分析lua脚本原理解析 限并发分布式信号量代码实现结果分析lua脚本实现原理 双注解去实现限流 并发结果分析： 实际业务去理解体会统一注…...

编程新知 2025/7/18 19:36:24

04-初识css

一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...

编程新知 2025/7/17 0:41:35

拉力测试cuda pytorch 把 4070显卡拉满

import torch import timedef stress_test_gpu(matrix_size16384, duration300):"""对GPU进行压力测试&#xff0c;通过持续的矩阵乘法来最大化GPU利用率参数:matrix_size: 矩阵维度大小&#xff0c;增大可提高计算复杂度duration: 测试持续时间&#xff08;秒&…...

编程新知 2025/6/21 10:39:11

NFT模式：数字资产确权与链游经济系统构建

NFT模式&#xff1a;数字资产确权与链游经济系统构建 ——从技术架构到可持续生态的范式革命 一、确权技术革新&#xff1a;构建可信数字资产基石 1. 区块链底层架构的进化 跨链互操作协议&#xff1a;基于LayerZero协议实现以太坊、Solana等公链资产互通&#xff0c;通过零知…...

编程新知 2025/7/18 10:04:52