当前位置： 首页 > news >正文

【Pytorch】学习记录分享8——PyTorch自然语言处理基础-词向量模型Word2Vec

news 2026/5/13 1:52:31

【Pytorch】学习记录分享7——PyTorch自然语言处理基础-词向量模型Word2Vec

      • 1. 词向量模型Word2Vec)
        • 1. 如何度量这个单词的？
        • 2.词向量是什么样子？
        • 3.词向量对应的热力图：
        • 4.词向量模型的输入与输出![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/5ab5dc810a724ae883574a8bc58aeff8.png)
      • 2.如何构建训练数据
        • 2.1 构建训练数据
        • 2.2 不同模型对比(传入中间词预测上下文，传入上下文，预测中间词汇)
      • 3.如何训练
        • 3.1 如何设计驯联网络
        • 3.2 改进方案：加入一些负样本（负采样模型）
        • 3.3 词向量训练过程

1. 词向量模型Word2Vec)

1. 如何度量这个单词的？

在这里插入图片描述

2.词向量是什么样子？

在这里插入图片描述

3.词向量对应的热力图：

在这里插入图片描述
在这里插入图片描述

4.词向量模型的输入与输出在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.如何构建训练数据

2.1 构建训练数据

类似wiki与合乎说话逻辑的文本均可以作为训练数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 不同模型对比(传入中间词预测上下文，传入上下文，预测中间词汇)

CBOW:

在这里插入图片描述
在这里插入图片描述
Skip-gram模型所需训练数据集 :
在这里插入图片描述
在这里插入图片描述

3.如何训练

3.1 如何设计驯联网络

如果一个语料库稍微大一些，可能的结果简直太多了，最后一层相当于softmax，计算起来十分耗时，有什么办法来解决嘛？
在这里插入图片描述
初始方案：输入两个单词，看他们是不是前后对应的输入和输出，也就相当于一个二分类任务，但是这样做之后

在这里插入图片描述
在这里插入图片描述
出发点非常好，但是此时训练集构建出来的标签全为1，无法进行较好的训练

3.2 改进方案：加入一些负样本（负采样模型）

在这里插入图片描述

3.3 词向量训练过程

1.初始化词向量矩阵
在这里插入图片描述
在这里插入图片描述
2.通过神经网络返向传播来计算更新，此时不光更新权重参数矩阵W，也会更新输入数据
在这里插入图片描述

相关文章：

【Pytorch】学习记录分享8——PyTorch自然语言处理基础-词向量模型Word2Vec

【Pytorch】学习记录分享7——PyTorch自然语言处理基础-词向量模型Word2Vec 1. 词向量模型Word2Vec)1. 如何度量这个单词的？2.词向量是什么样子？3.词向量对应的热力图：4.词向量模型的输入与输出![在这里插入图片描述](https://img-blog.csdni…...

编程日记 2024/1/1 11:01:49

【Kotlin 】协程

Kotlin协程 背景定义实践GlobalScope.launchrunBlocking业务实践 背景 在项目实践过程中，笔者发现很多异步或者耗时的操作，都使用了Kotlin中的协程，所以特地研究了一番。 定义 关于协程（Coroutine），其实…...

编程日记 2024/1/1 11:00:48

用Xshell连接虚拟机的Ubuntu20.04系统记录。虚拟机Ubuntu无法上网。本机能ping通虚拟机，反之不能。互ping不通

先别急着操作，看完再试。 如果是：本机能ping通虚拟机，反之不能。慢慢看到第8条。 如果是：虚拟机不能上网（互ping不通），往下一直看。 系统是刚装的，安装步骤：VMware虚拟机…...

编程日记 2024/1/1 10:57:45

人机对话--关于意识机器

人机对话–关于意识机器 这段内容是我和《通义千问》的对话。这本身展示的是人工智能的效果，同时这里面的内容也有人工智能相关，与各位分享。 我：阿尼尔赛斯 《意识机器》这本书写的是什么？ 通义千问： 阿尼尔赛斯教…...

编程日记 2024/1/1 10:53:42

八股文打卡day16——计算机网络（16）

面试题：TCP连接是如何确保可靠性的？ 我的回答： 1.数据分块控制。应用数据被分成被认为最适合传输的数据块大小，再发送到传输层，数据块被称为数据报文段或数据段。 2.序列号和确认应答。TCP为每一个数据包分配了一个序…...

编程日记 2024/1/1 10:51:40

Java Object浅克隆深克隆

对象克隆 把A对象的属性值完全拷贝给B对象，也叫对象拷贝，对象复制。 实现Cloneable接口，表示当前类的对象就可以被克隆，反之，表示当前类的对象就不能克隆。 如果一个接口里面没有抽象方法，表示当前的接口…...

编程日记 2024/1/1 10:50:39

概率的 50 个具有挑战性的问题 [8/50]：完美的桥牌

一、说明 我最近对与概率有关的问题产生了兴趣。我偶然读到了弗雷德里克莫斯特勒（Frederick Mosteller）的《概率论中的五十个具有挑战性的问题与解决方案》）一书。我认为创建一个系列来讨论这些可能作为面试问题出现的迷人问题会很有趣。每篇…...

编程日记 2024/1/1 10:49:38

自动驾驶学习笔记（二十四）——车辆控制开发

#Apollo开发者# 学习课程的传送门如下，当您也准备学习自动驾驶时，可以和我一同前往： 《自动驾驶新人之旅》免费课程—> 传送门 《Apollo开放平台9.0专项技术公开课》免费报名—>传送门 文章目录 前言 控制算法 控制标定 控制协议…...

编程日记 2024/1/1 10:46:35

【起草】【第十二章】定制ChatGPT数字亲人

身为普普通通的我们，不知道亲人们在哪一天就要离开这个世界 ？ 作为普普通通的程序员，我们可以为我们的亲人做点什么 ？ 让他们以数字资产形式留在人世间 ? 对话｜6岁女孩病逝捐器官，妈妈：她去…...

编程日记 2024/1/1 10:45:34

MySQL数据库索引

索引的定义 索引是一个排序的列表，包含索引字段的值和其对应的行记录的数据所在的物理地址 索引的作用 加快表的查询速度，还可以对字段排序 索引的副作用 会额外占用磁盘空间；更新包含索引的表会花费更多的时间，效率会更慢 …...

编程日记 2024/1/1 10:41:30

【LLM 】7个基本的NLP模型，为ML应用程序赋能

在上一篇文章中，我们已经解释了什么是NLP及其在现实世界中的应用。在这篇文章中，我们将继续介绍NLP应用程序中使用的一些主要深度学习模型。 BERT 来自变压器的双向编码器表示（BERT）由Jacob Devlin在2018年的论文《BERT:用于语言…...

编程日记 2024/1/1 10:39:29

数字人私人定制

数字人是什么？ 在回答这个问题之前，我们先回答另一个问题，人如何与人工智能交流？目前可以通过文字、语音、电脑屏幕、手机屏幕、平板、虚拟现实设备等和人工智能交流，为了得到更好的交流体验，人工智能必然…...

编程日记 2024/1/1 10:38:28

CollectionUtils

使用 CollectionUtils 类的常用方法 在Java开发中，我们经常需要对集合进行各种操作，而Apache Commons Collections库提供了一个方便的工具类 CollectionUtils，其中包含了许多实用的方法。在这篇博客中，我们将深入了解一些常用的方…...

编程日记 2024/1/1 10:34:24

很想写一个框架，比如，spring

很想写一个框架，比如，spring。 原理很清楚，源码也很熟悉。 可惜力不从心，是不是可以找几个小弟一起做。...

编程日记 2024/1/1 10:33:23

Java集合/泛型篇----第五篇

系列文章目录 文章目录 系列文章目录前言一、说说LinkHashSet（ HashSet+LinkedHashMap）二、HashMap（数组+链表+红黑树）三、说说ConcurrentHashMap前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站，这篇文章男女通…...

编程日记 2024/1/1 10:31:22

ACES 增强版不丹水稻作物地图（2016-2022 年）

ACES 增强版不丹水稻作物地图（2016-2022 年） 用于改善粮食安全决策的 2016-2022 年年度作物类型稻米地图仍然是不丹的一项挑战。这些地图是与不丹农业部和 SERVIR 合作开发的。通过专注于发展不丹的科学、技术、工程和数学 (STEM)，我们共同开…...

编程日记 2024/1/1 10:30:20

【Spark精讲】一文讲透Spark宽窄依赖的区别

宽依赖窄依赖的区别 窄依赖：RDD 之间分区是一一对应的宽依赖：发生shuffle，多对多的关系 宽依赖是子RDD的一个分区依赖了父RDD的多个分区父RDD的一个分区的数据，分别流入到子RDD的不同分区特例：cartesian算子对应的Car…...

编程日记 2024/1/1 10:28:18

nacos2.3.0配置中心问题处理

问题&#xff1a;Error to process server push response: {"headers":{},"abilityTable":{"supportPersistentInstanceByGrpc":true},"module":"internal"} 处理办法&#xff1a; 将pom.xml中 <!-- nacos服务注册/发…...

编程日记 2024/1/1 10:26:16

Apollo自动驾驶系统：实现城市可持续交通的迈向

前言 「作者主页」&#xff1a;雪碧有白泡泡 「个人网站」&#xff1a;雪碧的个人网站 ChatGPT体验地址 文章目录 前言引言&#xff1a;1. 什么是微服务架构&#xff1f;2. 微服务架构的组成要素3. 微服务架构的挑战和解决方案4. 微服务架构的可扩展性和弹性 第二部分&#x…...

编程日记 2024/1/1 10:24:15

【WPF.NET开发】附加事件

本文内容 先决条件附加事件语法WPF 如何实现附加事件附加事件方案处理附加事件定义自定义附加事件引发 WPF 附加事件 Extensible Application Markup Language (XAML) 定义了一种语言组件和称为附加事件的事件类型。 附加事件可用于在非元素类中定义新的 路由事件&#xff0c…...

编程日记 2024/1/1 10:23:14

大模型高效化实战：从量化剪枝到推理部署的完整指南

1. 大模型高效化&#xff1a;从“巨无霸”到“精悍战士”的必经之路如果你和我一样&#xff0c;在过去的几年里深度参与过大语言模型的部署和应用&#xff0c;那你一定对“模型太大”这个问题深有体会。动辄几十GB甚至上百GB的模型文件&#xff0c;对显存的贪婪吞噬&#xff0c…...

编程新知 2026/5/13 1:37:03

如何在3分钟内完成Windows与Office智能激活：KMS_VL_ALL_AIO完全指南

如何在3分钟内完成Windows与Office智能激活&#xff1a;KMS_VL_ALL_AIO完全指南 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 还在为Windows操作系统和Office办公软件的正版激活而烦恼吗&…...

编程新知 2026/5/13 1:05:10

Pega Helm Charts：Kubernetes上自动化部署Pega平台的完整指南

1. 项目概述与核心价值如果你正在或即将在Kubernetes上部署Pega Platform&#xff0c;那么pegasystems/pega-helm-charts这个项目绝对是你绕不开的“官方说明书”和“自动化工具箱”。简单来说&#xff0c;这是Pega官方维护的一套Helm Chart&#xff0c;专门用于将Pega Platfor…...

编程新知 2026/5/13 0:32:24

学术合规性危机预警：Perplexity生成内容如何精准适配Chicago第17版？，一文锁定98.7%高校期刊投稿要求

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;学术合规性危机预警&#xff1a;Perplexity生成内容如何精准适配Chicago第17版&#xff1f; 随着AI辅助写作工具在人文社科领域的深度渗透&#xff0c;Perplexity等生成式平台输出的引文、脚注与参考文…...

编程新知 2026/5/12 23:44:42

从“能用”到“愿用”：Lovable Serverless平台的6大心理学设计法则（基于87家头部企业DevOps调研数据）

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;从“能用”到“愿用”&#xff1a;Lovable Serverless平台的认知跃迁 Serverless 并非仅关于函数执行与自动扩缩——真正的分水岭在于开发者是否**主动选择、持续信任并乐于传播**该平台。当运维负担归…...

编程新知 2026/5/12 22:25:20

大模型评测实战指南：从基准测试到业务落地的科学评估体系

1. 项目概述&#xff1a;为什么我们需要一个“大模型评测”清单&#xff1f;如果你最近也在关注大语言模型&#xff08;LLM&#xff09;的发展&#xff0c;可能会和我有一样的感受&#xff1a;兴奋&#xff0c;但也伴随着巨大的信息过载。几乎每天都有新的模型发布&#xff0c;…...

编程新知 2026/5/12 22:07:05

Excel数据同步ERP/CRM太麻烦？一个Python脚本搞定多系统自动填充（基于GoBot）

Excel数据同步ERP/CRM太麻烦&#xff1f;一个Python脚本搞定多系统自动填充&#xff08;基于GoBot&#xff09; 每次月底看着财务同事在ERP系统里逐条录入Excel数据&#xff0c;市场部同事又在CRM里重复同样的操作&#xff0c;这种低效场景你一定不陌生。数据在不同系统间的孤岛…...

编程新知 2026/5/12 21:18:05

教培机构管理越忙越乱？用对工具，比多雇两个人更高效

不少培训机构校长都有同样的感受&#xff1a;明明团队很拼&#xff0c;每天从早忙到晚&#xff0c;可机构依旧问题不断。招生线索散落在微信、表格、登记本里&#xff0c;跟进不及时就白白流失&#xff1b;排课全靠人工核对&#xff0c;老师冲突、教室撞期、调课通知不到位是常…...

编程新知 2026/5/12 20:52:44

别再只会点F2了！Trace32调试实战：从连接脚本到高效单步的保姆级避坑指南

别再只会点F2了&#xff01;Trace32调试实战&#xff1a;从连接脚本到高效单步的保姆级避坑指南 当你面对一块新板卡&#xff0c;调试器连接时断时续&#xff0c;代码加载后莫名其妙跑飞&#xff0c;单步执行时总在循环里打转——这时候才明白&#xff0c;Trace32的F2键只是调试…...

编程新知 2026/5/12 18:24:14

从Packet Tracer到EVE-NG：网络小白进阶实战，手把手教你用VMware部署第一个思科拓扑

从Packet Tracer到EVE-NG&#xff1a;网络工程师的虚拟化进阶指南 当你已经能够熟练使用Cisco Packet Tracer完成CCNA级别的实验&#xff0c;却发现这个教学工具无法满足你对真实网络环境模拟的渴望时&#xff0c;是时候考虑升级你的网络实验平台了。EVE-NG作为当前最强大的网…...

编程新知 2026/5/12 18:20:10