机器学习笔记：李宏毅ChatGPT课程1：刨析ChatGPT
ChatGPT——Chat Generative Pre-trained Transformer
1 文字接龙
- 每次输出一个概率分布，根据概率sample一个答案
- ——>因为是根据概率采样，所以ChatGPT每次的答案是不一样的
- （把生成式学习拆分成多个分类问题）
- 将生成的答案加到原来的句子里面
1.1 同时使用同一个会话中之前的互动作为输入
- 模型的输入不止有现在的互动，还有同一会话中过去的互动
- 这里说的1700亿参数是OpenAI GPT3的参数量
1.2 测试和训练
2 背后的技术——预训练
2.1 预训练的帮助（不同语言训练的迁移性）
- 在多种语言上预训练，只需要教某一个语言的某一个任务，其他语言的同样任务可以自动学习
2.2 chatGPT的预训练
- 除了监督学习的Finetune，ChatGPT还使用了强化学习来进行FineTune
- 不直接给他答案，而是给他结论：答案好还是不好
- 相比于监督学习，更省事，更容易收集到更多的资料
- 同时，很多问题人类自己都不知道正确答案（比如创造类的问题，写诗写作文等）
3 ChatGPT带来的研究问题
- 精准提出要求（Prompting）
-
更正错误（neural editing）
-
改一个错误，可能会让很多原来对的地方的回答错误
-
-
- 偵測 AI 生成的物件
-
-
- 一些内容不应该被输出（machine unlearning）
视频来源：【生成式AI】快速了解機器學習基本原理 (2⧸2) (已經略懂機器學習的同學可以跳過這段)_哔哩哔哩_bilibili
相关文章：
机器学习笔记：李宏毅ChatGPT课程1：刨析ChatGPT
ChatGPT——Chat Generative Pre-trained Transformer 1 文字接龙 每次输出一个概率分布，根据概率sample一个答案 ——>因为是根据概率采样，所以ChatGPT每次的答案是不一样的（把生成式学习拆分成多个分类问题）将生成的答案加到…...
Llama 2 with langchain项目详解（三）
Llama 2 with langchain项目详解（三） 17.3 Llama 2 with langchain基础 本节讲解在LangChain中使用Llama 2模型的基础知识，展示如何运行LangChain的代码，及在云端运行Llama 2的700亿模型。 首先，使用Python的pip管理器安装一系列库，包括huggingface/transformers、datase…...
牛客 AB30 排序（快排模板）
描述 给定一个长度为 n 的数组，请你编写一个函数，返回该数组按升序排序后的结果。 数据范围： 0≤�≤11030≤n≤1103，数组中每个元素都满足 0≤���≤1090≤val≤109 要求࿱…...
【Linux旅行记】第一个小程序“进度条“！
文章目录 一、预备知识1.1回车换行1.2缓冲区 二、倒计时三、进度条3.1普通版本源代码3.2高级版本源代码 🍀小结🍀 🎉博客主页：小智_x0___0x_ 🎉欢迎关注：👍点赞🙌收藏✍️留言 &…...
DeepMind将AI用于可控核聚变：将等离子体形状模拟精度提高65%
近日，英国AI公司DeepMind宣布取得了一项新的突破，成功实现了AI可控核聚变。这一技术能够在高温等离子体环境下实现精准放电，为核聚变技术的发展提供了新的思路和创新。 长期以来，相关领域的科学家们，一直在寻找清洁、取…...
Scrum是什么意思，Scrum敏捷项目管理工具有哪些？
一、什么是Scrum？ Scrum是一种敏捷项目管理方法，旨在帮助团队高效地开展软件开发和项目管理工作。 Scrum强调迭代和增量开发，通过将项目分解为多个短期的开发周期（称为Sprint），团队可以更好地应对需求变…...
【从零单排Golang】第十三话：使用WaitGroup等待多路并行的异步任务
在后端开发当中，经常会遇到这样的场景：请求给了批量的输入，对于每一个输入，我们都要给外部发请求等待返回，然后才能继续其它自己的业务逻辑。在这样的case下，如果每一个输入串行处理的话，那么很…...
WSL2安装CentOS7和CentOS8
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、下载ZIP包？二、安装1.打开Windows子系统支持2.安装到指定位置3.管理虚拟机4.配置虚拟机1.配置国内源2.安装软件3.安装第三方源 5.配置用户1.创建…...
不平衡电网条件下基于变频器DG操作的多目标优化研究（Matlab代码Simulink实现）
目录 💥1 概述 📚2 运行结果 🎉3 参考文献 🌈4 Matlab代码&Simulink实现&文章讲解 💥1 概述 文献来源： 最近，利用并网转换器（GCC）克服电网故障并支撑电网电压已…...
【Leetcode】（自食用）简单题||单词数
step by step. 题目： 统计字符串中的单词个数，这里的单词指的是连续的不是空格的字符。 请注意，你可以假定字符串里不包括任何不可打印的字符。 示例: 输入: "Hello, my name is John" 输出: 5 解释: 这里的单词是指连续的不是空格…...
C语言代码的x86-64汇编指令分析过程记录
先通过Xcode创建一个terminal APP，语言选择C。代码如下： #include <stdio.h>int main(int argc, const char * argv[]) {int a[7]{1,2,3,4,5,6,7};int *ptr (int*)(&a1);printf("%d\n",*(ptr));return 0; } 在return 0处打上断点&…...
基于springboot+vue的房屋租赁系统(前后端分离)
博主主页：猫头鹰源码 博主简介：Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容：毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目介绍…...
Python文件读写操作详解：从基础到高级
摘要：文件读写是Python编程中常见的操作之一。本文将介绍Python中文件读写的基础知识，包括打开文件、读取文件内容、写入文件、关闭文件等基本操作。此外，还将探讨一些高级文件读写技术，如使用上下文管理器、处理异常、使用with语…...
ThreadLocal基本介绍
文章目录 什么是ThreadLocalThreadLocal解决了什么问题ThreadLocal的作用 ThreadLocal的使用场景ThreadLocal的代码示例ThreadLocal的优点ThreadLocal的缺点与volatile、synchronized、ThreadLocal比较 总结 什么是ThreadLocal ThreadLocal是Java中的一个线程本地变量…...
ffmpeg源码编译成功，但是引用生成的静态库(.a)报错，报错位置在xxx_list.c，报错信息为某变量未定义
背景：本文是对上一个文章的补充，在源码编译之前，项目是有完整的ffmpeg编译脚本的，只不过新增了断点调试ffmpeg，所以产生的上面的文章，也就是说，我在用make编译成功后，再去做的源码编…...
2023爱分析·信创云市场厂商评估报告：中国电子云
01 研究范围定义 信创2.0时代开启，信创进程正在从局部到全面、从细分到所有领域延展。在这个过程中，传统的系统集成,也在逐步向信创化、数字化及智能化转变。随着信创产业的发展，企业需要更多的技术支持和服务，而传统的系统集成已…...
网络安全学习笔记——XFF攻击流程
手工注入 手动报错注入，填写格式如：X-Forwarded-For: and updatexml(1,concat(0x7e,(select database()),0x7e),1) or 11 库名 1 and updatexml(1,concat(0x7e,database(),0x7e),1), 表名 1 and updatexml(1,concat(0x7e,(select table_name from…...
微信小程序阻止用户返回上一页，并弹窗给用户确定是否要返回上一页
在onload中调用微信的enableAlertBeforeUnload方法，在首次进入会自动监听当前的页面，在返回的时候会自动弹出弹窗阻止用户返回上一页，点击确定则返回上一页，取消则停留在当前页 onLoad: function(){wx.enableAlertBeforeUnload({…...
LangChain+ChatGLM整合LLaMa模型（二）
开源大模型语言LLaMa LLaMa模型GitHub地址添加LLaMa模型配置启用LLaMa模型 LangChainChatGLM大模型应用落地实践（一） LLaMa模型GitHub地址 git lfs clone https://huggingface.co/huggyllama/llama-7b添加LLaMa模型配置 在Langchain-ChatGLM/configs/m…...
【NLP】训练chatglm2的评价指标BLEU，ROUGE
当进行一定程度的微调后，要评价模型输出的语句的准确性。由于衡量的对象是一个个的自然语言文本，所以通常会选择自然语言处理领域的相关评价指标。这些指标原先都是用来度量机器翻译结果质量的，并且被证明可以很好的反映待评测语句的准确性&a…...
Docker 运行 Kafka 带 SASL 认证教程
Docker 运行 Kafka 带 SASL 认证教程 Docker 运行 Kafka 带 SASL 认证教程一、说明二、环境准备三、编写 Docker Compose 和 jaas文件docker-compose.yml代码说明：server_jaas.conf 四、启动服务五、验证服务六、连接kafka服务七、总结 Docker 运行 Kafka 带 SASL 认…...
新能源汽车智慧充电桩管理方案：新能源充电桩散热问题及消防安全监管方案
随着新能源汽车的快速普及，充电桩作为核心配套设施，其安全性与可靠性备受关注。然而，在高温、高负荷运行环境下，充电桩的散热问题与消防安全隐患日益凸显，成为制约行业发展的关键瓶颈。 如何通过智慧化管理手段优化散…...
Caliper 配置文件解析：config.yaml
Caliper 是一个区块链性能基准测试工具，用于评估不同区块链平台的性能。下面我将详细解释你提供的 fisco-bcos.json 文件结构，并说明它与 config.yaml 文件的关系。 fisco-bcos.json 文件解析 这个文件是针对 FISCO-BCOS 区块链网络的 Caliper 配置文件，主要包含以下几个部…...
基于TurtleBot3在Gazebo地图实现机器人远程控制
1. TurtleBot3环境配置 # 下载TurtleBot3核心包 mkdir -p ~/catkin_ws/src cd ~/catkin_ws/src git clone -b noetic-devel https://github.com/ROBOTIS-GIT/turtlebot3.git git clone -b noetic https://github.com/ROBOTIS-GIT/turtlebot3_msgs.git git clone -b noetic-dev…...
在Mathematica中实现Newton-Raphson迭代的收敛时间算法（一般三次多项式）
考察一般的三次多项式，以r为参数： p[z_, r_] : z^3 (r - 1) z - r; roots[r_] : z /. Solve[p[z, r] 0, z]； 此多项式的根为： 尽管看起来这个多项式是特殊的，其实一般的三次多项式都是可以通过线性变换化为这个形式…...
Golang——6、指针和结构体
指针和结构体 1、指针1.1、指针地址和指针类型1.2、指针取值1.3、new和make 2、结构体2.1、type关键字的使用2.2、结构体的定义和初始化2.3、结构体方法和接收者2.4、给任意类型添加方法2.5、结构体的匿名字段2.6、嵌套结构体2.7、嵌套匿名结构体2.8、结构体的继承 3、结构体与…...
小木的算法日记-多叉树的递归/层序遍历
🌲 从二叉树到森林：一文彻底搞懂多叉树遍历的艺术 🚀 引言 你好，未来的算法大神！ 在数据结构的世界里，“树”无疑是最核心、最迷人的概念之一。我们中的大多数人都是从 二叉树 开始入门的，它…...
Pydantic + Function Calling的结合
1、Pydantic Pydantic 是一个 Python 库，用于数据验证和设置管理，通过 Python 类型注解强制执行数据类型。它广泛用于 API 开发（如 FastAPI）、配置管理和数据解析，核心功能包括： 数据验证：通过…...
起重机起升机构的安全装置有哪些？
起重机起升机构的安全装置是保障吊装作业安全的关键部件，主要用于防止超载、失控、断绳等危险情况。以下是常见的安全装置及其功能和原理： 一、超载保护装置（核心安全装置） 1. 起重量限制器 功能：实时监测起升载荷&a…...
StarRocks 全面向量化执行引擎深度解析
StarRocks 全面向量化执行引擎深度解析 StarRocks 的向量化执行引擎是其高性能的核心设计，相比传统行式处理引擎（如MySQL），性能可提升 5-10倍。以下是分层拆解： 1. 向量化 vs 传统行式处理 维度行式处理向量化处理数…...