当前位置： 首页 > news >正文

大模型DeepSeek-R1学习

news 2026/5/12 22:46:03

学习路线

机器学习->
深度学习->
强化学习->
深度强化学习

大模型演进分支

  • 微调： SFT 监督学习
  • 蒸馏：把大模型作为导师训练小模型
  • RLHF：基于人类反馈的强化学习

PPO 近端策略优化

  • 油门 - 重要性采样 权重 * 打分
  • 刹车 - clip 修剪：防止变化的太快
  • 老司机 - KL散度：起到一种正则化（提高泛化，防止过拟合）的作用，限制策略的变化幅度

R1的损失函数的核心逻辑

  1. 让新策略比就策略回答的更好，但又不能变化太快
  2. 通过裁剪机制防止更新幅度过大，保持训练稳定
  3. KL散度进一步控制新策略和某个参考策略间距离，防止模型乱跑
    让模型更聪明地进化，提升推理能力，稳定训练过程

方向感？
场景？

相关文章：

大模型DeepSeek-R1学习

学习路线 机器学习-> 深度学习-> 强化学习-> 深度强化学习 大模型演进分支 微调： SFT 监督学习蒸馏：把大模型作为导师训练小模型RLHF：基于人类反馈的强化学习 PPO 近端策略优化 油门 - 重要性采样 权重 * 打分刹车 - clip 修剪…...

编程日记 2025/2/14 0:14:09

【STM32】H743的以太网MAC控制器的一个特殊功能

调试743的MAC，翻阅手册的时候，发现了一个有意思的功能 混杂模式 H743的MAC控制器，可以设置为混杂模式，这就意味着它可以做一些网络监控的应用，譬如连接具备端口镜像功能的交换机，然后直接代替PC实现网络数据…...

编程日记 2025/2/14 0:12:07

关于“i18n“在vue中的使用

关于"i18n"在vue中的使用 <!-- vue2中 --> <template><div>{{ $t("This campaign has expired.") }}}}</div> </template> <script> export default {created() {this.onLoading();},methods: {onLoading () {this.$…...

编程日记 2025/2/14 0:11:06

前缀树算法篇：前缀信息的巧妙获取

前缀树算法篇&#xff1a;前缀信息的巧妙获取 那么前缀树算法是一个非常常用的算法&#xff0c;那么在介绍我们前缀树具体的原理以及实现上&#xff0c;我们先来说一下我们前缀树所应用的一个场景&#xff0c;那么在一个字符串的数据集合当中&#xff0c;那么我们查询我们某个字…...

编程日记 2025/2/14 0:10:05

DVSI使用SenseGlove为开发虚拟现实场景技能培训

虚拟现实场景技能培训能够有效提升被培训者的技能熟练度&#xff0c;使其在现实世界中经历类似事件时第一时间做出正确反映&#xff0c;从而大大降低因缺乏相关技能经验所造成的财产、人员、时间损失。 DVSI&#xff08;Digital Voice Systems Inc&#xff09;是一家美国数字化…...

编程日记 2025/2/14 0:09:04

VSCode + Continue 实现AI编程助理

安装VS Code 直接官网下载安装&#xff0c;反正是免费的。 安装VS插件Continue 直接在插件市场中搜索&#xff0c; Continue&#xff0c;第一个就是了。 配置Chat Model 点击Add Chat model后进行选择&#xff1a; 选择Ollama后&#xff0c;需要点击下面的config file : 由于…...

编程日记 2025/2/14 0:02:52

【PHP的static】

关于静态属性 最简单直接&#xff1a;静态方法也是一样 看了很多关于静态和动态的说法&#xff0c;无非是从 调用方式&#xff0c; 类访问实例变量&#xff0c; 访问静态变量&#xff0c; 需不要实例化这几个方向&#xff0c;太空了。问使用场景&#xff0c;好一点的 能说个…...

编程日记 2025/2/13 23:57:45

考研操作系统----操作系统的概念定义功能和目标（仅仅作为王道哔站课程讲义作用）

目录 操作系统的概念定义功能和目标 操作系统的四个特征 操作系统的分类 ​编辑 操作系统的运行机制 系统调用 操作系统体系结构 操作系统引导 虚拟机 操作系统的概念定义功能和目标 什么是操作系统&#xff1a; 操作系统是指控制和管理整个计算机系统的软硬件资源&…...

编程日记 2025/2/13 23:55:43

从360度全景照片到高质量3D场景：介绍SC-Omnigs 3D重建系统

在当今的数字化时代，3D重建技术正在迅速发展，并广泛应用于文旅、空间智能和3D重建等领域。为了简化360度全景相机拍摄数据的处理流程，提高3D场景重建的质量和效率，我们开发了一款专门处理360度全景相机数据的3D重建系统——SC-Omnigs。本文将详细介绍这一系统的功能、特点及…...

编程日记 2025/2/13 23:54:41

前沿技术新趋势：值得关注的创新发展

量子通信是一种新兴的通信技术。它基于量子力学的原理&#xff0c;特别是量子叠加和量子纠缠。量子通信的核心在于量子比特qubits&#xff09;&#xff0c;与传统的比特不同&#xff0c;量子比特可以同时处于多种状态。这种特性使得信息的传输更为安全。 量子通信技术的最大优…...

编程日记 2025/2/13 23:53:40

算法跟练第十一弹——二叉树

文章目录 part01 递归遍历1.1 二叉树的前序遍历1.2 二叉树的中序遍历1.3 二叉树的后序遍历 part02 迭代遍历2.1 二叉树的前序遍历2.2 二叉树的中序遍历2.3 二叉树的后序遍历 part03 层序遍历3.1 二叉树的层序遍历3.2 二叉树的层序遍历II3.3 二叉树的右视图 归纳获取双重链表的第…...

编程日记 2025/2/13 23:50:36

机器学习（李宏毅）——BERT

一、前言 本文章作为学习2023年《李宏毅机器学习课程》的笔记&#xff0c;感谢台湾大学李宏毅教授的课程&#xff0c;respect&#xff01;&#xff01;&#xff01; 读这篇文章必须先了解self-attention、Transformer&#xff0c;可参阅我其他文章。 二、大纲 BERT简介self-…...

编程日记 2025/2/13 23:48:32

新数据结构(7)——Object

Object类是所有类的父类&#xff0c;在 Java 中&#xff0c;每个类都直接或间接地继承自Object类&#xff0c;也就是说所有类都是object类的子类可以使用Object里的方法。 equals()和hashCode()是Java中Object类所包含的两个关键方法&#xff0c;下面将介绍两个方法。 和equa…...

编程日记 2025/2/13 23:40:25

云计算基础

环境准备 配置虚拟机安装docker 前提安装 步骤命令效果图 安装docker-compose 前提安装 步骤效果图 安装gitea 步骤命令效果图 执行docker-compose命令浏览器初始gitea配置浏览器登录gitea创建组织创建仓库 Drone安装 步骤效果图 非自动化部署 nginx安装redis安装jdk安装…...

编程日记 2025/2/13 23:38:21

利用kali linux 进行自动化渗透测试

本方案旨在自动化创建渗透测试全流程 一、架构 1.智能信息收集体系 class IntelligentOSINT:def __init__(self, target):self.target targetself.intelligence_sources [OSINT_Platforms,DeepWeb_Crawlers, SocialMedia_Trackers,ML_Correlation_Engine]def advanced_col…...

编程日记 2025/2/13 23:37:19

【Vue中BUG解决】npm error path git

报错内容如下&#xff1a; 从错误信息可知&#xff0c;这是一个 ENOENT&#xff08;No Entry&#xff0c;即找不到文件或目录&#xff09;错误&#xff0c;并且与 git 相关。具体来说&#xff0c;npm 在尝试调用 git 时&#xff0c;无法找到 git 可执行文件&#xff0c;下面为…...

编程日记 2025/2/13 23:35:17

GPT-4o微调SFT及强化学习DPO数据集构建

假设&#xff0c;已经标注的训练数据集df包含了提示词、输入和输出三列。 构建微调SFT的数据集代码如下&#xff1a; data [] for x in df.values:prompt x[1]user_content x[2]assistant_content x[3]data.append({"messages": [{"role": "sys…...

编程日记 2025/2/13 23:33:11

element-plus 解决el-dialog背后的页面滚动问题，及其内容有下拉框出现错位问题

这个问题通常是因为 el‑dialog 默认会锁定 body 的滚动&#xff08;通过给 body 添加隐藏滚动条的样式&#xff09;&#xff0c;从而导致页面在打开对话框时跳转到顶部。解决方法是在使用 el‑dialog 时禁用锁定滚动功能。 <el-dialogv-model"dialogVisible":lo…...

编程日记 2025/2/13 23:32:04

MT6835 21位 磁编码器 SPI 平台无关通用驱动框架 STM32

MT6835 21位 磁编码器 SPI 平台无关通用驱动框架 STM32 1. 获取代码&#xff1a;2. 加入你的项目2.1 以 STM32 为例:2.2 以 ESP-IDF 为例: 3. 对接 API3.1 以 STM32 为例&#xff1a; 4. 更多函数说明5. 写入 EEPROM 示例 MT6835 Framework 纯C语言实现&#xff0c;跨平台&…...

编程日记 2025/2/13 23:29:58

vue REF 和 Reactive区别、特点、优势

REF 和 Reactive 是两种不同的编程范式。下面是它们之间的对比以及各自的优势劣势和特点&#xff1a; REF&#xff08;可变状态编程&#xff09;&#xff1a; 优势&#xff1a; 易于理解和学习&#xff1a;REF 编程模型更贴近传统的命令式编程&#xff0c;因此对于大多数开发…...

编程日记 2025/2/13 23:27:53

从癌症研究到企业风控：用Python实战Cox比例风险模型（附完整代码与数据）

从医学到商业&#xff1a;Python实战Cox风险模型的企业级应用 在医疗领域&#xff0c;我们关心患者存活时间&#xff1b;在商业世界&#xff0c;我们关注客户生命周期。看似迥异的场景背后&#xff0c;都隐藏着同一个数学工具的身影——Cox比例风险模型。这个诞生于1972年的生存…...

编程新知 2026/5/12 21:13:54

TinyTroupe：轻量级智能体协作范式与确定性AI工程实践

1. 项目概述&#xff1a;这不是另一个“小模型”&#xff0c;而是一套轻量级智能体协作范式你可能已经看过不少标题带“Tiny”“Mini”“Lite”的AI项目&#xff0c;它们大多是在说“把大模型压缩一下&#xff0c;跑在手机上”。但 Microsoft 的TinyTroupe完全不是这个路数——…...

编程新知 2026/5/12 20:01:04

在Nodejs后端服务中集成Taotoken实现稳定可靠的大模型调用

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 在Nodejs后端服务中集成Taotoken实现稳定可靠的大模型调用 将大模型能力集成到后端服务是现代应用开发的常见需求。对于Node.js开发…...

编程新知 2026/5/12 19:54:20

Helm Git插件：实现K8s Chart的GitOps部署与CI/CD集成

1. 项目概述&#xff1a;为什么我们需要一个Helm Git插件&#xff1f;在Kubernetes生态中&#xff0c;Helm是当之无愧的“包管理器”&#xff0c;它通过Chart的概念&#xff0c;将复杂的K8s应用定义打包、版本化&#xff0c;极大地简化了部署流程。然而&#xff0c;标准的Helm工…...

编程新知 2026/5/12 19:18:03

异步、流式与批处理：LangChain 高性能调优

系列导读 你现在看到的是《LangChain 实战与工程化落地：从原型到生产环境的完整指南》的第 8/10 篇，当前这篇会重点解决：通过异步、流式与批处理技术，将 LangChain 应用响应速度提升 10 倍以上。 上一篇回顾：第 7 篇《RAG 实战：LangChain + 向量数据库构建知识问答系统…...

编程新知 2026/5/12 16:59:34

Stagewise：基于Chromium的AI编程浏览器，重塑前端开发工作流

1. 项目概述&#xff1a;一个为开发者而生的“浏览器AI助手”新物种 如果你和我一样&#xff0c;每天的工作流是在浏览器、代码编辑器和终端之间反复横跳&#xff0c;那么你肯定也幻想过&#xff1a;要是能有一个工具&#xff0c;把这三者无缝融合在一起就好了。最近&#xff0…...

编程新知 2026/5/12 16:57:31

EMAC寄存器系统：网络诊断与性能优化的关键

1. EMAC寄存器系统概述以太网媒体访问控制器&#xff08;EMAC&#xff09;是现代网络设备中负责数据链路层操作的核心硬件模块。作为网络通信的"交通警察"&#xff0c;EMAC不仅负责以太网帧的收发调度&#xff0c;还通过精密的寄存器系统记录着网络通信的每一个关键细…...

编程新知 2026/5/12 16:38:23

终极指南：在Windows上无需模拟器安装安卓应用的完整教程

终极指南&#xff1a;在Windows上无需模拟器安装安卓应用的完整教程 【免费下载链接】APK-Installer An Android Application Installer for Windows 项目地址: https://gitcode.com/GitHub_Trending/ap/APK-Installer 还在为安卓模拟器的臃肿和卡顿烦恼吗&#xff1f;今…...

编程新知 2026/5/12 15:43:51

硬核架构拆解：指纹浏览器底座+FSM状态机，如何重塑高容错的店群RPA自动化？

大家好&#xff0c;我是林焱&#xff0c;一名专注电商底层自动化架构与定制开发的独立开发者。 在 CSDN 以及各大技术社区&#xff0c;我看到很多开发者在尝试为拼多多、TEMU 等电商平台编写自动化脚本时&#xff0c;都会经历一个“崩溃期”&#xff1a;明明在本地测试时无比丝…...

编程新知 2026/5/12 13:11:57

UE4SS终极指南：5步掌握虚幻引擎游戏修改与脚本开发

UE4SS终极指南&#xff1a;5步掌握虚幻引擎游戏修改与脚本开发 【免费下载链接】RE-UE4SS Injectable LUA scripting system, SDK generator, live property editor and other dumping utilities for UE4/5 games 项目地址: https://gitcode.com/gh_mirrors/re/RE-UE4SS …...

编程新知 2026/5/12 13:07:18