当前位置： 首页 > news >正文

李宏毅生成式AI课程笔记（持续更新

news 2026/2/10 5:22:16

01 ChatGPT在做的事情

image-20231010101131534

image-20231010101455962

02 预训练（Pre-train）

ChatGPT

G-Generative

P-Pre-trained

T-Transformer

GPT3 ----> InstructGPT（经过预训练的GPT3）

生成式学习的两种策略

我们在使用ChatGPT的时候会注意到，网站上的回答几乎是一个字一个字给出来的，这里就是生成式学习的两种策略：

“逐个击破”（文字）与“一次到位”（影像）

三种结构数据：文本（由token构成）、影像（像素点）、语音（采样频率）

  • 中文的token -----> 字
  • 英文的token -----> word piece，如unbreakable ----> un break able
image-20231011201121635 image-20231011200609879

Finetuning 与 Prompting

Adapter，不修改模型本身参数，插入一个额外的模组

image-20231014152258648

image-20231012112312322

image-20231014152429645

上图包括了几种Adapter：Bitfit、Houlsby、AdapterBias、Prefix-tuning、LoRA

思维链

Chain of Thought(COT) Prompting

思维链可以大大提高模型的准确率

image-20231012154058010

上图是在要求大语言模型按步骤输出答案和直接要求其输出答案的准确率区别。

03 大模型+大资料

大模型的顿悟

在某个参数量之前，增加参数量不会提高模型的正确率，当提高参数规模到一定程度，会出现准确率突然变高的情况（如下图）

image-20231014154255670

同理，也只有在参数量达到一定程度的时候，思维链和微调才能起作用，如下图：

image-20231014155242360

模型是否知道自己在胡说八道，在参数量足够大的时候，模型才拥有这个能力，如下图：

image-20231014155119589

模型与资料的平衡

足够大的时候，模型才拥有这个能力，如下图：

[外链图片转存中…(img-MTYfwvWJ-1697377074486)]

模型与资料的平衡

image-20231014164316445

相关文章：

李宏毅生成式AI课程笔记（持续更新

01 ChatGPT在做的事情 02 预训练（Pre-train） ChatGPT G-Generative P-Pre-trained T-Transformer GPT3 ----> InstructGPT（经过预训练的GPT3） 生成式学习的两种策略 我们在使用ChatGPT的时候会注意到，网站上…...

编程日记 2023/10/16 2:56:42

nodejs+vue+elementui酒店客房服务系统mysql带商家

视图层其实质就是vue页面，通过编写vue页面从而展示在浏览器中，编写完成的vue页面要能够和控制器类进行交互，从而使得用户在点击网页进行操作时能够正常。 简单的说 Node.js 就是运行在服务端的 JavaScript。 前端技术：nodejsvueel…...

编程日记 2023/10/16 2:54:38

【网络协议】聊聊网络分层

常用的网络协议 首先我们输入www.taobao.com，会先经过DNS进行域名解析，转换为59.82.122.115的公网IP地址。然后就会发起请求，一般来说非加密的使用http，加密的使用https。上面是在应用层做的处理，那么接下来就是到传输…...

编程日记 2023/10/16 2:52:36

[开源]基于Vue+ElementUI+G2Plot+Echarts的仪表盘设计器

一、开源项目简介 基于SpringBoot、MyBatisPlus、ElementUI、G2Plot、Echarts等技术栈的仪表盘设计器，具备仪表盘目录管理、仪表盘设计、仪表盘预览能力，支持MySQL、Oracle、PostgreSQL、MSSQL、JSON等数据集接入，对于复杂数据处理还可以使用…...

编程日记 2023/10/16 2:51:35

html设置前端加载动画

主体思路参考： 前端实现页面加载动画_边城仔的博客-CSDN博客 JS图片显示与隐藏案例_js控制图片显示隐藏-CSDN博客 1、编写load.css /* 显示加载场景 */ .loadBackGround{position: absolute;top: 0px;text-align: center;width: 100%;height: 100vh;background-c…...

编程日记 2023/10/16 2:50:34

【git的使用方法】——上传文件到gitlab仓库

先进入到你克隆下来的仓库的目录里面 比如：我的仓库名字为zhuox 然后将需要上传推送的文件拷贝到你的克隆仓库下 这里的话我需要拷贝的项目是t3 输入命令ls，就可以查看该文件目录下的所有文件信息 然后输入git add 文件名 我这边输入的是 &#x…...

编程日记 2023/10/16 2:49:33

Kafka 开启SASL/SCRAM认证 及 ACL授权（二）ACL

Kafka 开启SASL/SCRAM认证 及 ACL授权（二）ACL。 官网地址：https://kafka.apache.org/ kafka authentorization：https://docs.confluent.io/platform/current/kafka/authorization.html 一、开启ZK ACL（可选，内网环境，用户无机器访问权限时） 给kafka meta都加上zk的ac…...

编程日记 2023/10/16 2:48:32

Java8 新特性之Stream（三）-- Stream的终结操作

目录 1.forEach(Consumer) 2.reduce(BinaryOperator) 3.max([Comparator]) 4.min([Comparator]) 5.count() 6.findFirst() 7.findAny() 拓展：...

编程日记 2023/10/16 2:46:29

【Vue面试题二十八】、vue要做权限管理该怎么做？如果控制到按钮级别的权限怎么做？

文章底部有个人公众号：热爱技术的小郑。主要分享开发知识、学习资料、毕业设计指导等。有兴趣的可以关注一下。为何分享？ 踩过的坑没必要让别人在再踩，自己复盘也能加深记忆。利己利人、所谓双赢。 面试官：vue要做权限管理该怎么做…...

编程日记 2023/10/16 2:45:27

1、验证1101序列（Moore）

题目要求： 用Moore型状态机验证1101序列。 题目描述： 用使用状态机验证1101序列，注意：允许重复子序列。如图 端口描述： module moore_1101(input clk,//时钟信号input clr,//reset复位信号，高电平有效in…...

编程日记 2023/10/16 2:44:26

Java基础面试-BeanFactroy和ApplicationContext

ApplicationContext是BeanFactory的子接口 ApplicationContext提供了更完整的功能: 继承MessageSource，因此支持国际化。统一的资源文件访问方式。提供在监听器中注册bean的事件。同时加载多个配置文件。载入多个(有继承关系)上下文，使得每一个上下文都…...

编程日记 2023/10/16 2:43:24

js的入口函数

JavaScript的入口函数是指在HTML页面加载完毕后，JavaScript代码开始执行的函数。这个函数一般被称为onload函数，它的作用是在页面加载完成后执行一些初始化操作，或者对页面进行动态修改。 在HTML页面中，可以通过以下方式设置入口…...

编程日记 2023/10/16 2:42:23

[cpp primer随笔] 10. 函数重载与重载决议

本篇将介绍C函数重载的概念，及重载决议规则。 一、函数重载 同一作用域内，函数名相同，而形参列表不同的函数称之为重载函数(overloaded function)。 需要特别注意：以下情况看似形参列表不同，实则等价，无法…...

编程日记 2023/10/16 2:41:22

java_Stream API

文章目录 一、Stream API vs 集合二、Stream 使用的执行流程2.1、创建Stream2.1、中间操作2.1.1. filter2.1.2. limit2.1.3. skip2.1.4. distinct2.1.5. map2.1.6. sorted 一、Stream API vs 集合 Stream API 关注的是多个数据的计算（排序、查找、过滤、映射、遍历…...

编程日记 2023/10/16 2:40:21

红队专题-工具Fscan

红队专题 招募六边形战士队员简介主要功能 ubuntu 安装windows 安装常用命令：项目框架源文件common目录Plugins目录Webscan目录爆破插件common.Scantype Webtitle函数webpoc扫描类型指纹识别 免杀源码特征 参考链接 招募六边形战士队员 一起学习 代码审计、安全开发…...

编程日记 2023/10/16 2:39:20

【宏实现二进制奇偶位交换】

文章目录 一. 二进制奇偶位交换说明意思？二. 解题思路三. 代码验证四. 总结 一. 二进制奇偶位交换说明意思？ 就是一个int类型的整数在操作系统下是32位二进制01序列，第一位和第二位交换，第二位和第三位交换，依次类推。…...

编程日记 2023/10/16 2:38:19

【Java零基础入门到就业】第一天：java简介和cmd窗口的一些常见命令

1、java简介 Java是一种基于类的、面向对象的编程语言，它被设计成具有尽可能少的实现依赖。它旨在让应用程序开发人员编写一次，并在任何地方运行(WORA)，这意味着编译后的Java代码可以在所有支持Java的平台上运行，而无需重新编译。…...

编程日记 2023/10/16 2:37:18

ubuntu下yolov5 tensorrt模型部署

文章目录 ubuntu下yolov5 tensorrt模型部署一、Ubuntu18.04环境配置1.1 安装工具链和opencv1.2 安装Nvidia相关库1.2.1 安装Nvidia显卡驱动1.2.2 安装 cuda11.31.2.3 安装 cudnn8.21.2.4 下载 tensorrt8.4.2.41.2.5 下载仓库TensorRT-Alpha并设置 二、从yolov5源码中导出onnx文…...

编程日记 2023/10/16 2:36:17

windows Vscode 连接 虚拟机，超详细，含免密免ip配置 以 linux 虚拟机为例

我们这里使用 ssh 进行连接，不了解 ssh 的也没关系，感兴趣的可以自己了解一下。 我的虚拟机是 Ubuntu20.04，如果出现与 Centos 不一样的操作可以自行替换。 （应该不会有？？） 一 . 登录虚拟机~&a…...

编程日记 2023/10/16 2:35:15

【Unity】VR基础开发2项目准备-VR基本场景构建（OpenXR方向）

【文字内容】 稍等一会儿，编辑器界面就出现了。有可能你的界面布局会有所不同，可以在右上角点击布局，选择Tall，布局切换后在来到左边窗口的左上角，将Game选项卡拖放到下方Dock，这样就可以得到和我一样的布局了。 简单介绍一下。 场景面板是对游戏进行可视化编辑的地方…...

编程日记 2023/10/16 2:34:14

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …...

编程新知 2026/2/9 16:57:53

Java 8 Stream API 入门到实践详解

一、告别 for 循环&#xff01; 传统痛点&#xff1a; Java 8 之前&#xff0c;集合操作离不开冗长的 for 循环和匿名类。例如&#xff0c;过滤列表中的偶数&#xff1a; List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...

编程新知 2026/1/12 10:41:22

uni-app学习笔记二十二---使用vite.config.js全局导入常用依赖

在前面的练习中&#xff0c;每个页面需要使用ref&#xff0c;onShow等生命周期钩子函数时都需要像下面这样导入 import {onMounted, ref} from "vue" 如果不想每个页面都导入&#xff0c;需要使用node.js命令npm安装unplugin-auto-import npm install unplugin-au…...

编程新知 2025/9/14 18:41:15

Java多线程实现之Callable接口深度解析

Java多线程实现之Callable接口深度解析 一、Callable接口概述1.1 接口定义1.2 与Runnable接口的对比1.3 Future接口与FutureTask类 二、Callable接口的基本使用方法2.1 传统方式实现Callable接口2.2 使用Lambda表达式简化Callable实现2.3 使用FutureTask类执行Callable任务 三、…...

编程新知 2026/1/25 6:36:06

基于数字孪生的水厂可视化平台建设：架构与实践

分享大纲&#xff1a; 1、数字孪生水厂可视化平台建设背景 2、数字孪生水厂可视化平台建设架构 3、数字孪生水厂可视化平台建设成效 近几年&#xff0c;数字孪生水厂的建设开展的如火如荼。作为提升水厂管理效率、优化资源的调度手段&#xff0c;基于数字孪生的水厂可视化平台的…...

编程新知 2025/12/23 17:14:55

Python爬虫（二）：爬虫完整流程

爬虫完整流程详解&#xff08;7大核心步骤实战技巧&#xff09; 一、爬虫完整工作流程 以下是爬虫开发的完整流程&#xff0c;我将结合具体技术点和实战经验展开说明&#xff1a; 1. 目标分析与前期准备 网站技术分析&#xff1a; 使用浏览器开发者工具&#xff08;F12&…...

编程新知 2025/10/19 5:48:51

新能源汽车智慧充电桩管理方案：新能源充电桩散热问题及消防安全监管方案

随着新能源汽车的快速普及&#xff0c;充电桩作为核心配套设施&#xff0c;其安全性与可靠性备受关注。然而&#xff0c;在高温、高负荷运行环境下&#xff0c;充电桩的散热问题与消防安全隐患日益凸显&#xff0c;成为制约行业发展的关键瓶颈。 如何通过智慧化管理手段优化散…...

编程新知 2026/1/29 3:00:56

三体问题详解

从物理学角度&#xff0c;三体问题之所以不稳定&#xff0c;是因为三个天体在万有引力作用下相互作用&#xff0c;形成一个非线性耦合系统。我们可以从牛顿经典力学出发&#xff0c;列出具体的运动方程&#xff0c;并说明为何这个系统本质上是混沌的&#xff0c;无法得到一般解…...

编程新知 2025/10/19 5:14:05

回溯算法学习

一、电话号码的字母组合 import java.util.ArrayList; import java.util.List;import javax.management.loading.PrivateClassLoader;public class letterCombinations {private static final String[] KEYPAD {"", //0"", //1"abc", //2"…...

编程新知 2026/1/24 12:01:38

保姆级教程：在无网络无显卡的Windows电脑的vscode本地部署deepseek

文章目录 1 前言2 部署流程2.1 准备工作2.2 Ollama2.2.1 使用有网络的电脑下载Ollama2.2.2 安装Ollama&#xff08;有网络的电脑&#xff09;2.2.3 安装Ollama&#xff08;无网络的电脑&#xff09;2.2.4 安装验证2.2.5 修改大模型安装位置2.2.6 下载Deepseek模型 2.3 将deepse…...

编程新知 2026/2/6 16:59:24