当前位置： 首页 > news >正文

【Pytorch】学习记录分享8——PyTorch自然语言处理基础-词向量模型Word2Vec

news 2025/10/26 17:24:56

【Pytorch】学习记录分享7——PyTorch自然语言处理基础-词向量模型Word2Vec

      • 1. 词向量模型Word2Vec)
        • 1. 如何度量这个单词的？
        • 2.词向量是什么样子？
        • 3.词向量对应的热力图：
        • 4.词向量模型的输入与输出![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/5ab5dc810a724ae883574a8bc58aeff8.png)
      • 2.如何构建训练数据
        • 2.1 构建训练数据
        • 2.2 不同模型对比(传入中间词预测上下文，传入上下文，预测中间词汇)
      • 3.如何训练
        • 3.1 如何设计驯联网络
        • 3.2 改进方案：加入一些负样本（负采样模型）
        • 3.3 词向量训练过程

1. 词向量模型Word2Vec)

1. 如何度量这个单词的？

在这里插入图片描述

2.词向量是什么样子？

在这里插入图片描述

3.词向量对应的热力图：

在这里插入图片描述
在这里插入图片描述

4.词向量模型的输入与输出在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.如何构建训练数据

2.1 构建训练数据

类似wiki与合乎说话逻辑的文本均可以作为训练数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 不同模型对比(传入中间词预测上下文，传入上下文，预测中间词汇)

CBOW:

在这里插入图片描述
在这里插入图片描述
Skip-gram模型所需训练数据集 :
在这里插入图片描述
在这里插入图片描述

3.如何训练

3.1 如何设计驯联网络

如果一个语料库稍微大一些，可能的结果简直太多了，最后一层相当于softmax，计算起来十分耗时，有什么办法来解决嘛？
在这里插入图片描述
初始方案：输入两个单词，看他们是不是前后对应的输入和输出，也就相当于一个二分类任务，但是这样做之后

在这里插入图片描述
在这里插入图片描述
出发点非常好，但是此时训练集构建出来的标签全为1，无法进行较好的训练

3.2 改进方案：加入一些负样本（负采样模型）

在这里插入图片描述

3.3 词向量训练过程

1.初始化词向量矩阵
在这里插入图片描述
在这里插入图片描述
2.通过神经网络返向传播来计算更新，此时不光更新权重参数矩阵W，也会更新输入数据
在这里插入图片描述

相关文章：

【Pytorch】学习记录分享8——PyTorch自然语言处理基础-词向量模型Word2Vec

【Pytorch】学习记录分享7——PyTorch自然语言处理基础-词向量模型Word2Vec 1. 词向量模型Word2Vec)1. 如何度量这个单词的？2.词向量是什么样子？3.词向量对应的热力图：4.词向量模型的输入与输出![在这里插入图片描述](https://img-blog.csdni…...

编程日记 2024/1/1 11:01:49

【Kotlin 】协程

Kotlin协程 背景定义实践GlobalScope.launchrunBlocking业务实践 背景 在项目实践过程中，笔者发现很多异步或者耗时的操作，都使用了Kotlin中的协程，所以特地研究了一番。 定义 关于协程（Coroutine），其实…...

编程日记 2024/1/1 11:00:48

用Xshell连接虚拟机的Ubuntu20.04系统记录。虚拟机Ubuntu无法上网。本机能ping通虚拟机，反之不能。互ping不通

先别急着操作，看完再试。 如果是：本机能ping通虚拟机，反之不能。慢慢看到第8条。 如果是：虚拟机不能上网（互ping不通），往下一直看。 系统是刚装的，安装步骤：VMware虚拟机…...

编程日记 2024/1/1 10:57:45

人机对话--关于意识机器

人机对话–关于意识机器 这段内容是我和《通义千问》的对话。这本身展示的是人工智能的效果，同时这里面的内容也有人工智能相关，与各位分享。 我：阿尼尔赛斯 《意识机器》这本书写的是什么？ 通义千问： 阿尼尔赛斯教…...

编程日记 2024/1/1 10:53:42

八股文打卡day16——计算机网络（16）

面试题：TCP连接是如何确保可靠性的？ 我的回答： 1.数据分块控制。应用数据被分成被认为最适合传输的数据块大小，再发送到传输层，数据块被称为数据报文段或数据段。 2.序列号和确认应答。TCP为每一个数据包分配了一个序…...

编程日记 2024/1/1 10:51:40

Java Object浅克隆深克隆

对象克隆 把A对象的属性值完全拷贝给B对象，也叫对象拷贝，对象复制。 实现Cloneable接口，表示当前类的对象就可以被克隆，反之，表示当前类的对象就不能克隆。 如果一个接口里面没有抽象方法，表示当前的接口…...

编程日记 2024/1/1 10:50:39

概率的 50 个具有挑战性的问题 [8/50]：完美的桥牌

一、说明 我最近对与概率有关的问题产生了兴趣。我偶然读到了弗雷德里克莫斯特勒（Frederick Mosteller）的《概率论中的五十个具有挑战性的问题与解决方案》）一书。我认为创建一个系列来讨论这些可能作为面试问题出现的迷人问题会很有趣。每篇…...

编程日记 2024/1/1 10:49:38

自动驾驶学习笔记（二十四）——车辆控制开发

#Apollo开发者# 学习课程的传送门如下，当您也准备学习自动驾驶时，可以和我一同前往： 《自动驾驶新人之旅》免费课程—> 传送门 《Apollo开放平台9.0专项技术公开课》免费报名—>传送门 文章目录 前言 控制算法 控制标定 控制协议…...

编程日记 2024/1/1 10:46:35

【起草】【第十二章】定制ChatGPT数字亲人

身为普普通通的我们，不知道亲人们在哪一天就要离开这个世界 ？ 作为普普通通的程序员，我们可以为我们的亲人做点什么 ？ 让他们以数字资产形式留在人世间 ? 对话｜6岁女孩病逝捐器官，妈妈：她去…...

编程日记 2024/1/1 10:45:34

MySQL数据库索引

索引的定义 索引是一个排序的列表，包含索引字段的值和其对应的行记录的数据所在的物理地址 索引的作用 加快表的查询速度，还可以对字段排序 索引的副作用 会额外占用磁盘空间；更新包含索引的表会花费更多的时间，效率会更慢 …...

编程日记 2024/1/1 10:41:30

【LLM 】7个基本的NLP模型，为ML应用程序赋能

在上一篇文章中，我们已经解释了什么是NLP及其在现实世界中的应用。在这篇文章中，我们将继续介绍NLP应用程序中使用的一些主要深度学习模型。 BERT 来自变压器的双向编码器表示（BERT）由Jacob Devlin在2018年的论文《BERT:用于语言…...

编程日记 2024/1/1 10:39:29

数字人私人定制

数字人是什么？ 在回答这个问题之前，我们先回答另一个问题，人如何与人工智能交流？目前可以通过文字、语音、电脑屏幕、手机屏幕、平板、虚拟现实设备等和人工智能交流，为了得到更好的交流体验，人工智能必然…...

编程日记 2024/1/1 10:38:28

CollectionUtils

使用 CollectionUtils 类的常用方法 在Java开发中，我们经常需要对集合进行各种操作，而Apache Commons Collections库提供了一个方便的工具类 CollectionUtils，其中包含了许多实用的方法。在这篇博客中，我们将深入了解一些常用的方…...

编程日记 2024/1/1 10:34:24

很想写一个框架，比如，spring

很想写一个框架，比如，spring。 原理很清楚，源码也很熟悉。 可惜力不从心，是不是可以找几个小弟一起做。...

编程日记 2024/1/1 10:33:23

Java集合/泛型篇----第五篇

系列文章目录 文章目录 系列文章目录前言一、说说LinkHashSet（ HashSet+LinkedHashMap）二、HashMap（数组+链表+红黑树）三、说说ConcurrentHashMap前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站，这篇文章男女通…...

编程日记 2024/1/1 10:31:22

ACES 增强版不丹水稻作物地图（2016-2022 年）

ACES 增强版不丹水稻作物地图（2016-2022 年） 用于改善粮食安全决策的 2016-2022 年年度作物类型稻米地图仍然是不丹的一项挑战。这些地图是与不丹农业部和 SERVIR 合作开发的。通过专注于发展不丹的科学、技术、工程和数学 (STEM)，我们共同开…...

编程日记 2024/1/1 10:30:20

【Spark精讲】一文讲透Spark宽窄依赖的区别

宽依赖窄依赖的区别 窄依赖：RDD 之间分区是一一对应的宽依赖：发生shuffle，多对多的关系 宽依赖是子RDD的一个分区依赖了父RDD的多个分区父RDD的一个分区的数据，分别流入到子RDD的不同分区特例：cartesian算子对应的Car…...

编程日记 2024/1/1 10:28:18

nacos2.3.0配置中心问题处理

问题&#xff1a;Error to process server push response: {"headers":{},"abilityTable":{"supportPersistentInstanceByGrpc":true},"module":"internal"} 处理办法&#xff1a; 将pom.xml中 <!-- nacos服务注册/发…...

编程日记 2024/1/1 10:26:16

Apollo自动驾驶系统：实现城市可持续交通的迈向

前言 「作者主页」&#xff1a;雪碧有白泡泡 「个人网站」&#xff1a;雪碧的个人网站 ChatGPT体验地址 文章目录 前言引言&#xff1a;1. 什么是微服务架构&#xff1f;2. 微服务架构的组成要素3. 微服务架构的挑战和解决方案4. 微服务架构的可扩展性和弹性 第二部分&#x…...

编程日记 2024/1/1 10:24:15

【WPF.NET开发】附加事件

本文内容 先决条件附加事件语法WPF 如何实现附加事件附加事件方案处理附加事件定义自定义附加事件引发 WPF 附加事件 Extensible Application Markup Language (XAML) 定义了一种语言组件和称为附加事件的事件类型。 附加事件可用于在非元素类中定义新的 路由事件&#xff0c…...

编程日记 2024/1/1 10:23:14

Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？

Golang 面试经典题&#xff1a;map 的 key 可以是什么类型&#xff1f;哪些不可以&#xff1f; 在 Golang 的面试中&#xff0c;map 类型的使用是一个常见的考点&#xff0c;其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...

编程新知 2025/9/23 20:53:38

MVC 数据库

MVC 数据库 引言 在软件开发领域，Model-View-Controller（MVC）是一种流行的软件架构模式，它将应用程序分为三个核心组件：模型（Model）、视图（View）和控制器（Controller）。这种模式有助于提高代码的可维护性和可扩展性。本文将深入探讨MVC架构与数据库之间的关系，以…...

编程新知 2025/8/16 14:02:21

页面渲染流程与性能优化

页面渲染流程与性能优化详解&#xff08;完整版&#xff09; 一、现代浏览器渲染流程&#xff08;详细说明&#xff09; 1. 构建DOM树 浏览器接收到HTML文档后&#xff0c;会逐步解析并构建DOM&#xff08;Document Object Model&#xff09;树。具体过程如下&#xff1a; (…...

编程新知 2025/10/21 14:18:33

Linux云原生安全：零信任架构与机密计算

Linux云原生安全&#xff1a;零信任架构与机密计算 构建坚不可摧的云原生防御体系 引言&#xff1a;云原生安全的范式革命 随着云原生技术的普及&#xff0c;安全边界正在从传统的网络边界向工作负载内部转移。Gartner预测&#xff0c;到2025年&#xff0c;零信任架构将成为超…...

编程新知 2025/8/17 17:11:47

ElasticSearch搜索引擎之倒排索引及其底层算法

文章目录 一、搜索引擎1、什么是搜索引擎？2、搜索引擎的分类3、常用的搜索引擎4、搜索引擎的特点二、倒排索引1、简介2、为什么倒排索引不用B+树1.创建时间长，文件大。2.其次，树深，IO次数可怕。3.索引可能会失效。4.精准度差。三. 倒排索引四、算法1、Term Index的算法2、 …...

编程新知 2025/10/23 10:12:56

AI，如何重构理解、匹配与决策？

AI 时代&#xff0c;我们如何理解消费&#xff1f; 作者&#xff5c;王彬 封面&#xff5c;Unplash 人们通过信息理解世界。 曾几何时&#xff0c;PC 与移动互联网重塑了人们的购物路径&#xff1a;信息变得唾手可得&#xff0c;商品决策变得高度依赖内容。 但 AI 时代的来…...

编程新知 2025/10/24 3:10:00

PAN/FPN

import torch import torch.nn as nn import torch.nn.functional as F import mathclass LowResQueryHighResKVAttention(nn.Module):"""方案 1: 低分辨率特征 (Query) 查询高分辨率特征 (Key, Value).输出分辨率与低分辨率输入相同。"""def __…...

编程新知 2025/10/20 4:39:36

免费PDF转图片工具

免费PDF转图片工具 一款简单易用的PDF转图片工具&#xff0c;可以将PDF文件快速转换为高质量PNG图片。无需安装复杂的软件&#xff0c;也不需要在线上传文件&#xff0c;保护您的隐私。 工具截图 主要特点 &#x1f680; 快速转换&#xff1a;本地转换&#xff0c;无需等待上…...

编程新知 2025/10/23 15:55:53

【C++特殊工具与技术】优化内存分配(一)：C++中的内存分配

目录 一、C 内存的基本概念​ 1.1 内存的物理与逻辑结构​ 1.2 C 程序的内存区域划分​ 二、栈内存分配​ 2.1 栈内存的特点​ 2.2 栈内存分配示例​ 三、堆内存分配​ 3.1 new和delete操作符​ 4.2 内存泄漏与悬空指针问题​ 4.3 new和delete的重载​ 四、智能指针…...

编程新知 2025/10/24 9:17:28

站群服务器的应用场景都有哪些？

站群服务器主要是为了多个网站的托管和管理所设计的&#xff0c;可以通过集中管理和高效资源的分配&#xff0c;来支持多个独立的网站同时运行&#xff0c;让每一个网站都可以分配到独立的IP地址&#xff0c;避免出现IP关联的风险&#xff0c;用户还可以通过控制面板进行管理功…...

编程新知 2025/9/1 19:01:24