当前位置： 首页 > news >正文

机器学习笔记：李宏毅ChatGPT课程1：刨析ChatGPT

news 2026/4/7 15:07:45

ChatGPT——Chat Generative Pre-trained Transformer

1 文字接龙

  • 每次输出一个概率分布，根据概率sample一个答案
    • ——>因为是根据概率采样，所以ChatGPT每次的答案是不一样的
    • （把生成式学习拆分成多个分类问题）
  • 将生成的答案加到原来的句子里面

1.1  同时使用同一个会话中之前的互动作为输入

  • 模型的输入不止有现在的互动，还有同一会话中过去的互动
    • 这里说的1700亿参数是OpenAI GPT3的参数量

 1.2 测试和训练

 

2 背后的技术——预训练

 

2.1 预训练的帮助（不同语言训练的迁移性）

  • 在多种语言上预训练，只需要教某一个语言的某一个任务，其他语言的同样任务可以自动学习

 

2.2 chatGPT的预训练

  • 除了监督学习的Finetune，ChatGPT还使用了强化学习来进行FineTune
    • 不直接给他答案，而是给他结论：答案好还是不好
    • 相比于监督学习，更省事，更容易收集到更多的资料
    • 同时，很多问题人类自己都不知道正确答案（比如创造类的问题，写诗写作文等）

 3 ChatGPT带来的研究问题

  • 精准提出要求（Prompting）

  •  更正错误（neural editing）

    • 改一个错误，可能会让很多原来对的地方的回答错误

  •  偵測 AI 生成的物件

     

    • ​​​​​​​
  • 一些内容不应该被输出（machine unlearning）

     

视频来源：【生成式AI】快速了解機器學習基本原理 (2⧸2) (已經略懂機器學習的同學可以跳過這段)_哔哩哔哩_bilibili

相关文章：

机器学习笔记：李宏毅ChatGPT课程1：刨析ChatGPT

ChatGPT——Chat Generative Pre-trained Transformer 1 文字接龙 每次输出一个概率分布，根据概率sample一个答案 ——>因为是根据概率采样，所以ChatGPT每次的答案是不一样的（把生成式学习拆分成多个分类问题）将生成的答案加到…...

编程日记 2023/8/7 14:16:54

Llama 2 with langchain项目详解（三）

Llama 2 with langchain项目详解（三） 17.3 Llama 2 with langchain基础 本节讲解在LangChain中使用Llama 2模型的基础知识，展示如何运行LangChain的代码，及在云端运行Llama 2的700亿模型。 首先，使用Python的pip管理器安装一系列库，包括huggingface/transformers、datase…...

编程日记 2023/8/7 14:15:53

牛客 AB30 排序（快排模板）

描述 给定一个长度为 n 的数组，请你编写一个函数，返回该数组按升序排序后的结果。 数据范围： 0≤�≤11030≤n≤1103，数组中每个元素都满足 0≤���≤1090≤val≤109 要求&#xff1…...

编程日记 2023/8/7 14:14:51

【Linux旅行记】第一个小程序“进度条“！

文章目录 一、预备知识1.1回车换行1.2缓冲区 二、倒计时三、进度条3.1普通版本源代码3.2高级版本源代码 🍀小结🍀 🎉博客主页：小智_x0___0x_ 🎉欢迎关注：👍点赞🙌收藏✍️留言 &…...

编程日记 2023/8/7 14:13:50

DeepMind将AI用于可控核聚变：将等离子体形状模拟精度提高65%

近日，英国AI公司DeepMind宣布取得了一项新的突破，成功实现了AI可控核聚变。这一技术能够在高温等离子体环境下实现精准放电，为核聚变技术的发展提供了新的思路和创新。 长期以来，相关领域的科学家们，一直在寻找清洁、取…...

编程日记 2023/8/7 14:12:49

Scrum是什么意思，Scrum敏捷项目管理工具有哪些？

一、什么是Scrum？ Scrum是一种敏捷项目管理方法，旨在帮助团队高效地开展软件开发和项目管理工作。 Scrum强调迭代和增量开发，通过将项目分解为多个短期的开发周期（称为Sprint），团队可以更好地应对需求变…...

编程日记 2023/8/7 14:11:47

【从零单排Golang】第十三话：使用WaitGroup等待多路并行的异步任务

在后端开发当中，经常会遇到这样的场景：请求给了批量的输入，对于每一个输入，我们都要给外部发请求等待返回，然后才能继续其它自己的业务逻辑。在这样的case下，如果每一个输入串行处理的话，那么很…...

编程日记 2023/8/7 14:10:45

WSL2安装CentOS7和CentOS8

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、下载ZIP包？二、安装1.打开Windows子系统支持2.安装到指定位置3.管理虚拟机4.配置虚拟机1.配置国内源2.安装软件3.安装第三方源 5.配置用户1.创建…...

编程日记 2023/8/7 14:09:42

不平衡电网条件下基于变频器DG操作的多目标优化研究（Matlab代码Simulink实现）

目录 💥1 概述 📚2 运行结果 🎉3 参考文献 🌈4 Matlab代码&Simulink实现&文章讲解 💥1 概述 文献来源： 最近，利用并网转换器（GCC）克服电网故障并支撑电网电压已…...

编程日记 2023/8/7 14:08:41

【Leetcode】（自食用）简单题||单词数

step by step. 题目： 统计字符串中的单词个数，这里的单词指的是连续的不是空格的字符。 请注意，你可以假定字符串里不包括任何不可打印的字符。 示例: 输入: "Hello, my name is John" 输出: 5 解释: 这里的单词是指连续的不是空格…...

编程日记 2023/8/7 14:07:39

C语言代码的x86-64汇编指令分析过程记录

先通过Xcode创建一个terminal APP&#xff0c;语言选择C。代码如下&#xff1a; #include <stdio.h>int main(int argc, const char * argv[]) {int a[7]{1,2,3,4,5,6,7};int *ptr (int*)(&a1);printf("%d\n",*(ptr));return 0; } 在return 0处打上断点&…...

编程日记 2023/8/7 14:06:36

基于springboot+vue的房屋租赁系统(前后端分离)

博主主页&#xff1a;猫头鹰源码 博主简介&#xff1a;Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容&#xff1a;毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目介绍…...

编程日记 2023/8/7 14:05:35

Python文件读写操作详解：从基础到高级

摘要&#xff1a;文件读写是Python编程中常见的操作之一。本文将介绍Python中文件读写的基础知识&#xff0c;包括打开文件、读取文件内容、写入文件、关闭文件等基本操作。此外&#xff0c;还将探讨一些高级文件读写技术&#xff0c;如使用上下文管理器、处理异常、使用with语…...

编程日记 2023/8/7 14:04:33

ThreadLocal基本介绍

文章目录 什么是ThreadLocalThreadLocal解决了什么问题ThreadLocal的作用 ThreadLocal的使用场景ThreadLocal的代码示例ThreadLocal的优点ThreadLocal的缺点与volatile、synchronized、ThreadLocal比较 总结 什么是ThreadLocal ThreadLocal是Java中的一个线程本地变量&#xf…...

编程日记 2023/8/7 14:03:32

ffmpeg源码编译成功，但是引用生成的静态库(.a)报错，报错位置在xxx_list.c，报错信息为某变量未定义

背景&#xff1a;本文是对上一个文章的补充&#xff0c;在源码编译之前&#xff0c;项目是有完整的ffmpeg编译脚本的&#xff0c;只不过新增了断点调试ffmpeg&#xff0c;所以产生的上面的文章&#xff0c;也就是说&#xff0c;我在用make编译成功后&#xff0c;再去做的源码编…...

编程日记 2023/8/7 14:02:31

2023爱分析·信创云市场厂商评估报告：中国电子云

01 研究范围定义 信创2.0时代开启&#xff0c;信创进程正在从局部到全面、从细分到所有领域延展。在这个过程中&#xff0c;传统的系统集成,也在逐步向信创化、数字化及智能化转变。随着信创产业的发展&#xff0c;企业需要更多的技术支持和服务&#xff0c;而传统的系统集成已…...

编程日记 2023/8/7 14:01:29

网络安全学习笔记——XFF攻击流程

手工注入 手动报错注入&#xff0c;填写格式如&#xff1a;X-Forwarded-For: and updatexml(1,concat(0x7e,(select database()),0x7e),1) or 11 库名 1 and updatexml(1,concat(0x7e,database(),0x7e),1), 表名 1 and updatexml(1,concat(0x7e,(select table_name from…...

编程日记 2023/8/7 14:00:28

微信小程序阻止用户返回上一页，并弹窗给用户确定是否要返回上一页

在onload中调用微信的enableAlertBeforeUnload方法&#xff0c;在首次进入会自动监听当前的页面&#xff0c;在返回的时候会自动弹出弹窗阻止用户返回上一页&#xff0c;点击确定则返回上一页&#xff0c;取消则停留在当前页 onLoad: function(){wx.enableAlertBeforeUnload({…...

编程日记 2023/8/7 13:59:26

LangChain+ChatGLM整合LLaMa模型（二）

开源大模型语言LLaMa LLaMa模型GitHub地址添加LLaMa模型配置启用LLaMa模型 LangChainChatGLM大模型应用落地实践&#xff08;一&#xff09; LLaMa模型GitHub地址 git lfs clone https://huggingface.co/huggyllama/llama-7b添加LLaMa模型配置 在Langchain-ChatGLM/configs/m…...

编程日记 2023/8/7 13:58:24

【NLP】训练chatglm2的评价指标BLEU，ROUGE

当进行一定程度的微调后&#xff0c;要评价模型输出的语句的准确性。由于衡量的对象是一个个的自然语言文本&#xff0c;所以通常会选择自然语言处理领域的相关评价指标。这些指标原先都是用来度量机器翻译结果质量的&#xff0c;并且被证明可以很好的反映待评测语句的准确性&a…...

编程日记 2023/8/7 13:57:23

GLM-OCR模型处理SolidWorks工程图中的技术说明

GLM-OCR模型处理SolidWorks工程图中的技术说明 在制造业和工程设计领域&#xff0c;SolidWorks输出的二维工程图是产品信息的核心载体。一张图纸里&#xff0c;除了几何图形&#xff0c;还包含了大量的文本信息&#xff1a;技术要求、标题栏里的零件名称与材料、明细表中的零件…...

编程新知 2026/4/7 14:54:52

OpenClaw定时任务实战：gemma-3-12b-it每日凌晨自动备份重要文件

OpenClaw定时任务实战&#xff1a;gemma-3-12b-it每日凌晨自动备份重要文件 1. 为什么需要自动化文件备份 上周我的移动硬盘突然罢工&#xff0c;导致三个月的工作文档险些丢失。这次事故让我意识到&#xff1a;人工备份永远存在疏漏。即使设置了日历提醒&#xff0c;也难免因…...

编程新知 2026/4/7 14:34:07

终极密码恢复方案：ArchivePasswordTestTool帮你找回遗忘的压缩包密码

终极密码恢复方案&#xff1a;ArchivePasswordTestTool帮你找回遗忘的压缩包密码 【免费下载链接】ArchivePasswordTestTool 利用7zip测试压缩包的功能 对加密压缩包进行自动化测试密码 项目地址: https://gitcode.com/gh_mirrors/ar/ArchivePasswordTestTool 你是否曾遇…...

编程新知 2026/4/7 14:17:55

利用快马平台快速构建你的Skill-Vetter技能评估原型

利用快马平台快速构建你的Skill-Vetter技能评估原型 最近在做一个技能评估工具的原型验证&#xff0c;发现用传统方式从零开始搭建实在太费时间。后来尝试了InsCode(快马)平台&#xff0c;整个过程变得特别顺畅。这里分享一下如何用这个平台快速构建一个编程技能评估原型。 原…...

编程新知 2026/4/7 13:57:29

实战指南：利用快马平台，无需下载qoderwork即可构建Vue3库存管理系统

最近在做一个库存管理系统的需求&#xff0c;发现很多开发者都在找qoderwork这类代码生成工具。但实际用下来发现&#xff0c;这类工具生成的代码往往需要二次修改&#xff0c;而且下载安装过程也挺麻烦的。后来尝试了InsCode(快马)平台&#xff0c;发现它不仅能直接生成可运行…...

编程新知 2026/4/7 13:47:22

【C++笔记】STL详解： stack 和 queue 的使用

前言&#xff1a;在 C 的标准模板库 (STL) 中&#xff0c;stack&#xff08;栈&#xff09;和 queue&#xff08;队列&#xff09;是非常重要且常用的数据结构。它们都属于“容器适配器”&#xff0c;这意味着它们不是从零开始构建的&#xff0c;而是封装了其他底层容器&#x…...

编程新知 2026/4/7 13:43:21

DeerFlow企业级部署：支持大规模并发请求的架构升级

DeerFlow企业级部署&#xff1a;支持大规模并发请求的架构升级 1. 企业级部署的核心挑战 当您开始考虑将DeerFlow从个人研究助手升级为企业级应用时&#xff0c;第一个需要面对的问题就是并发处理能力。单个用户的研究请求可能很轻松&#xff0c;但当几十个甚至上百个用户同时…...

编程新知 2026/4/7 12:54:34

GLM-4.7-Flash作品集：政务通知、新闻通稿、宣传文案风格迁移生成

GLM-4.7-Flash作品集&#xff1a;政务通知、新闻通稿、宣传文案风格迁移生成 1. 快速上手&#xff1a;用GLM-4.7-Flash玩转文本风格迁移 你是不是经常需要写各种不同类型的文案&#xff1f;今天要写政务通知&#xff0c;明天要写新闻通稿&#xff0c;后天又要写宣传文案&…...

编程新知 2026/4/7 12:54:33

告别答辩 PPT 加班地狱！Paperxie AI PPT，一键生成本科生专属高分答辩模板

paperxie-免费查重复率aigc检测/开题报告/毕业论文/智能排版/文献综述/AIPPThttps://www.paperxie.cn/ppt/createhttps://www.paperxie.cn/ppt/create 一、本科生的答辩 PPT 困局&#xff1a;为什么你熬到三点还在改&#xff1f; 毕业论文写完的那一刻&#xff0c;以为终于能松…...

编程新知 2026/4/7 11:47:27

**ServiceWorker 从零到一：打造离线优先的现代 Web 应用体验**在现代前端开发中，**S

ServiceWorker 从零到一&#xff1a;打造离线优先的现代 Web 应用体验 在现代前端开发中&#xff0c;ServiceWorker 已不再是“高级玩家”的专属技能&#xff0c;而是构建高性能、可离线运行的 PWA&#xff08;Progressive Web App&#xff09;的核心基础设施。它通过拦截网络…...

编程新知 2026/4/7 11:25:09