当前位置： 首页 > news >正文

自然语言处理阅读第二弹

news 2026/3/31 8:31:59

HuggingFace

  • 镜像网站
  • 模型库

HuggingFace中bert实现

  • 下游任务介绍
  • 重要源码解读

NLP中的自回归模型和自编码模型

  • 自回归：根据上文内容预测下一个可能的单词，或者根据下文预测上一个可能的单词。只能利用上文或者下文的信息，不能同时利用上文和下文的信息。
  • 自编码：对输入的句子随机Mask其中的单词，然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词。同时根据上下文预测单词。
  • Sequence-to-Sequence：是encoder和decoder的结合。
    在这里插入图片描述

安装环境

在这里插入图片描述

视频

BERT架构

  • 输入的修改 在这里插入图片描述
  • 预训练任务1
    在这里插入图片描述
  • 预测任务2
    在这里插入图片描述
  • 总结
    在这里插入图片描述

李沐课程

相关文章：

自然语言处理阅读第二弹

HuggingFace 镜像网站模型库 HuggingFace中bert实现 下游任务介绍重要源码解读 NLP中的自回归模型和自编码模型 自回归：根据上文内容预测下一个可能的单词，或者根据下文预测上一个可能的单词。只能利用上文或者下文的信息，不能同时利用上…...

编程日记 2023/12/19 22:53:46

利用canvas封装录像时间轴拖动(uniapp),封装上传uniapp插件市场

gitee项目地址,项目是一个空项目,其中包含了封装的插件,自己阅读,由于利用了canvas所以在使用中暂不支持.nvue,待优化; 项目也是借鉴了github上的一个项目,timeline-canvas,​​​​​​​ ​​​​​​​...

编程日记 2023/12/19 22:49:43

PDF转为图片

PDF转为图片 背景pdf展示目标效果 发展过程最终解决方案：python PDF转图片pdf2image注意：poppler 安装 背景 最近接了一项目，主要的需求就是本地的文联单位，需要做一个电子刊物阅览的网站，将民族的刊物发布到网站上供…...

编程日记 2023/12/19 22:46:39

隐私计算介绍

这里只对隐私计算做一些概念性的浅显介绍，作为入门了解即可 目录 隐私计算概述隐私计算概念隐私计算背景国外各个国家和地区纷纷出台了围绕数据使用和保护的公共政策国内近年来也出台了数据安全、隐私和使用相关的政策法规 隐私计算技术发展 隐私计算技术安全多方计…...

编程日记 2023/12/19 22:43:37

HTML有哪些列表以及具体的使用！！！

文章目录 一、HTML列表二、列表的应用1、无序列表2、有序列表3、自定义列表 三、总结 一、HTML列表 html的列表有三种&#xff0c;一种是无序列表&#xff0c;一种是有序列表&#xff0c;还有一种为自定义列表。 二、列表的应用 1、无序列表 <ul> <li>无序列表…...

编程日记 2023/12/19 22:40:34

DriveWorks Solo捕获参数（二）

捕获参数-帧 顶门框 现在让我们捕获框架。它由2部分组成&#xff1b;两者都有一个需要捕捉的维度。 1.通过单击“捕获资源管理器”中的标题来激活“捕获的模型”部分。 2.展开框架组件。 3.双击任务窗格树中的模型顶门侧柱。 这将在SOLIDWORKS中打开模型顶门门框&#xff0c;并…...

编程日记 2023/12/19 22:35:30

基于开源的JAVA mongodb jdbc 驱动 使用教程

基于开源的JAVA mongodb jdbc 驱动 使用教程介绍 介绍 本文介绍一款开源的基于JAVA的 Mongodb JDBC 驱动使用教程 开源地址 https://gitee.com/bgong/jdbc-mongodb-driver功能价值 与mybaits融合&#xff1a;复用mybatis的功能特性&#xff0c;如:缓存,if动态判断标签等特…...

编程日记 2023/12/19 22:31:26

[RK-Linux] RK3399使用RK开源SPL，修改U-Boot为FIT打包方式，裁剪trust分区

文章目录 一、启动方式二、FIT打包三、RK3568相关配置参考四、RK3399支持与调试一、启动方式 RK3399平台根据前级Loader代码是否开源，目前有两套启动方式： // 前级loader闭源 BOOTROM => ddr bin => Miniloader => TRUST => U-BOOT => KERNEL // 前级loader…...

编程日记 2023/12/19 22:30:25

【网络安全】-Linux操作系统—VMWare软件

文章目录 VMWare软件的安装选择VMWare版本下载VMWare安装过程 VMWare的常用操作创建新的虚拟机配置虚拟机启动和关闭虚拟机安装VMWare Tools VMWare的克隆和快照克隆&#xff08;Clone&#xff09;快照&#xff08;Snapshot&#xff09; 总结 VMWare是一种流行的虚拟化软件&…...

编程日记 2023/12/19 22:29:24

关于chatgpt一点肤浅认识

001 词向量 用数字向量表示单词。它是计算机更好地理解单词 1、预训练 – 就是先训练一个模型&#xff0c;用于以后特定任务的微调&#xff0c;比如将 BERT这个模型用于特定的NLP任务&#xff0c;比如情感分析 2、one-hot: 用只有一个元素是1&#xff0c;其他是0的向量表示物体…...

编程日记 2023/12/19 22:28:23

Redis结合SpringBoot 基本使用

1.1 简介 1.1.1 概述 Spring Data 中有一个成员 Spring Data Redis&#xff0c;他提供了 RedisTemplate 可以在 Spring 应用中更简便的访问 Redis 以及异常处理及序列化&#xff0c;支持发布订阅等操作。 1.2 RedisTemplate 常见 API   RedisTemplate 针对 jedis 客户端中大…...

编程日记 2023/12/19 22:22:19

JAVA主流日志框架梳理学习及使用

前言&#xff1a;目前市面上有挺多JAVA的日志框架&#xff0c;比如JUL(JDK自带的日志框架),Log4j,Logback,Log4j2等&#xff0c;有人可能有疑问说还有slf4j&#xff0c;不过slf4j不是一种日志框架的具体实现&#xff0c;而是一种日志门面&#xff08;日志门面可以理解为是一种统…...

编程日记 2023/12/19 22:20:17

java多个设计模式解决大量if-else堆积

当面对大量的 if-else 语句时&#xff0c;可以考虑使用以下几种常见的设计模式来减少代码的复杂性和维护成本&#xff1a; 策略模式&#xff08;Strategy Pattern&#xff09;&#xff1a;将各个分支的逻辑封装成不同的策略类&#xff0c;然后通过一个上下文类来根据条件选择合…...

编程日记 2023/12/19 22:16:14

js DOM的一些小操作 获取节点集合Node（ getElementsByClassName等）

1. getElementsByClassName(names) 返回文档中所有含有指定类名的节点 document.getElementsByClassName(a) 返回所有类名为a的节点 2.getElementsByName(name) 返回文档中所有指定name的节点。 标签可以有name属性。 3. querySelectorAll(selectors) 返回文档中所有匹配…...

编程日记 2023/12/19 22:14:12

Arcgis导出为tiff

原有一幅影像&#xff0c;在进行一些操作之后&#xff0c;需要导出为tiff 比如我对他进行一个重采样&#xff0c;48m分辨率变为96m 在重采样后的数据图层上右键&#xff0c;导出数据 为什么有时会导出为.gdb格式的呢&#xff1f; 可能是位置处在一个文件地理数据库.gdb下...

编程日记 2023/12/19 22:12:10

nginx中的root and alias命令的区别

Ubuntu关于Nginx的命令&#xff1a; 1、安装Nginx&#xff1a; apt-get install nginx2、查看Nginx运行状态&#xff1a; systemctl status nginx3、启动Nginx&#xff1a; systemctl start nginx4、停止Nginx&#xff1a; systemctl stop nginx5、重启Nginx&#xff1a; …...

编程日记 2023/12/19 22:10:08

python提取图片型pdf中的文字（提取pdf扫描件文字）

前言 文字型pdf提取&#xff0c;python的库一大堆&#xff0c;但是图片型pdf和pdf扫描件提取&#xff0c;还是有些难度的&#xff0c;我们需要用到OCR&#xff08;光学字符识别&#xff09;功能。 一、准备 1、安装OCR&#xff08;光学字符识别&#xff09;支持库 首先要安…...

编程日记 2023/12/19 22:07:05

08‐Mysql全局优化与Mysql 8.0新特详解

文章目录 Mysql全局优化总结配置文件my.ini或my.cnf的全局参数最大连接数允许用户连接的最大数量MySQL能够暂存的连接数量JDBC连接空闲等待时长client连接空闲等待时长innodb线程并发数innodb存储引擎buffer pool缓存大小行锁锁定时间redo log写入策略binlog写入磁盘机制排序线…...

编程日记 2023/12/19 22:06:04

【LeetCode刷题笔记】155.最小栈

创作不易&#xff0c;本篇文章如果帮助到了你&#xff0c;还请点赞 关注支持一下♡>&#x16966;<)!! 主页专栏有更多知识&#xff0c;如有疑问欢迎大家指正讨论&#xff0c;共同进步&#xff01; 更多算法知识专栏&#xff1a;算法分析&#x1f525; 给大家跳段街舞感谢…...

编程日记 2023/12/19 22:05:03

我的4096创作纪念日

机缘 岁月如梭&#xff0c;时光一晃已经在CSDN扎根4096天了。第一次注册CSDN好像还是在2012年&#xff0c;那会还没大学毕业。初入CSDN&#xff0c;只是把他当作自己编程时遇到问题的在线笔记记录而已&#xff0c;没想到无意间还帮助了其他遇到同样问题困扰的同学。而在这4096…...

编程日记 2023/12/19 22:03:01

智能农业大棚设计详解

基于单片机的智能农业大棚设计温湿度二氧化碳光照&#xff08;详细设计说明 10119-基于单片机的智能农业大棚设计温湿度二氧化碳光照&#xff08;详细设计说明书proteus源代码原理图元件清单&#xff09; 功能需求&#xff1a; 智慧农业大棚的底层理念是实现智能化控制与生产&a…...

编程新知 2026/3/31 8:03:27

InternLM2-Chat-1.8B助力在线教育：个性化作业批改与学习反馈生成

InternLM2-Chat-1.8B助力在线教育&#xff1a;个性化作业批改与学习反馈生成 1. 引言&#xff1a;当作业批改遇上AI 想象一下&#xff0c;一位老师深夜还在批改几十份、甚至上百份学生作业。面对相似的错误&#xff0c;需要一遍遍写下相同的评语&#xff1b;面对有潜力的答案…...

编程新知 2026/3/31 7:25:09

从手机端到边缘设备：聊聊轻量化模型设计中FLOPs、MACs和Params的权衡艺术

从手机端到边缘设备&#xff1a;轻量化模型设计中FLOPs、MACs和Params的权衡艺术 当我们在智能手机上使用人脸解锁功能&#xff0c;或是通过智能音箱与AI助手对话时&#xff0c;背后运行的往往是经过精心设计的轻量化神经网络模型。这些模型需要在有限的算力和内存资源下&#…...

编程新知 2026/3/31 6:16:38

Qwen3.5-2B图文对话实战：教育场景中学生作业图题智能解析案例

Qwen3.5-2B图文对话实战&#xff1a;教育场景中学生作业图题智能解析案例 1. 引言&#xff1a;教育场景中的AI助手需求 想象一下这样的场景&#xff1a;晚上10点&#xff0c;孩子拿着数学作业来问问题&#xff0c;题目是一张手绘的几何图形。家长可能已经忘记了几十年前学过的…...

编程新知 2026/3/31 6:10:33

深度解析Cassandra：分布式数据库的王者之路

深度解析Cassandra&#xff1a;分布式数据库的王者之路一篇让你彻底搞懂Cassandra的适用场景、优势劣势与应用实践前言 在大数据时代&#xff0c;传统的关系型数据库已经无法满足所有场景的需求。随着互联网应用的爆发式增长&#xff0c;高可用性、线性扩展、海量数据存储成为了…...

编程新知 2026/3/31 5:26:13

4个关键步骤：用vscode-ai-toolkit实现智能应用开发全流程

4个关键步骤&#xff1a;用vscode-ai-toolkit实现智能应用开发全流程 【免费下载链接】vscode-ai-toolkit 项目地址: https://gitcode.com/GitHub_Trending/vs/vscode-ai-toolkit AI Toolkit for Visual Studio Code是一款专为简化生成式AI应用开发设计的强大VS Code扩…...

编程新知 2026/3/31 3:44:41

SimpleMem：基于语义无损压缩的三阶段 Agent 终身记忆框架

&#x1f4cc; 一句话总结&#xff1a; 本工作提出 SimpleMem&#xff0c;一个基于语义结构化压缩的终身记忆系统&#xff0c;通过“压缩—合成—规划”三阶段机制&#xff0c;在固定上下文预算下显著提升 LLM Agent 的长期交互能力与检索效率。 &#x1f50d; 背景问题&…...

编程新知 2026/3/31 3:34:31

深度学习模型可解释性详解：从原理到实践

深度学习模型可解释性详解&#xff1a;从原理到实践 1. 背景与动机 随着深度学习模型在各个领域的广泛应用&#xff0c;模型的可解释性变得越来越重要。深度学习模型通常被视为"黑盒"&#xff0c;其内部决策过程难以理解&#xff0c;这在医疗、金融、法律等关键领域应…...

编程新知 2026/3/31 3:28:27

GLM-4-9B-Chat-1M惊艳效果：复杂SQL代码库跨文件依赖关系可视化

GLM-4-9B-Chat-1M惊艳效果&#xff1a;复杂SQL代码库跨文件依赖关系可视化 1. 项目背景与核心价值 当你面对一个包含数百个SQL文件的大型数据仓库项目时&#xff0c;最头疼的问题是什么&#xff1f;我相信很多开发者和数据工程师都会说&#xff1a;理不清的表依赖关系。 传统…...

编程新知 2026/3/31 3:20:18

旧iOS设备维护全流程解决方案：Legacy iOS Kit实用指南

旧iOS设备维护全流程解决方案&#xff1a;Legacy iOS Kit实用指南 【免费下载链接】Legacy-iOS-Kit An all-in-one tool to downgrade/restore, save SHSH blobs, and jailbreak legacy iOS devices 项目地址: https://gitcode.com/gh_mirrors/le/Legacy-iOS-Kit Legacy…...

编程新知 2026/3/31 2:52:10