当前位置： 首页 > news >正文

自然语言处理-词向量模型-Word2Vec

news 2026/3/29 2:18:18

通常数据的维度越高，能提供的信息也就越多，从而计算结果的可靠性就更值得信赖

如何来描述语言的特征呢，通常都在词的层面上构建特征，Word2Vec就是要把词转换成向量

假设现在已经拿到一份训练好的词向量，其中每一个词都表示为50维的向量

如果在热度图中显示，结果如下

在结果中可以发现，相似的词在特征表达中比较相似，也就是说词的特征是有意义的！

在词向量模型中，输入和输出分别是什么？

数据从哪来？

构建训练数据

不同模型对比

CBOW模型

Skip-gram模型

Skip-gram模型所需训练数据集

如何进行训练？

如果一个语料库稍微大一些，可能的结果简直太多了，最后一层相当于softmax，计算起来十分耗时，有什么别的方法吗？

初始方案：输入两个单词，看他们是不是前后对应的输入输出，也就相当于一个二分类任务

出发点非常好，但是此时训练集构建出来的标签全为1，无法进行较好的训练

改进方案。加入一些负样本（负采样模型）

词向量训练过程

初始化词向量矩阵

通过神经网络反向传播来计算更新，此时不光更新权重参数，还更新输入数据

相关文章：

自然语言处理-词向量模型-Word2Vec

通常数据的维度越高，能提供的信息也就越多，从而计算结果的可靠性就更值得信赖 如何来描述语言的特征呢，通常都在词的层面上构建特征，Word2Vec就是要把词转换成向量 假设现在已经拿到一份训练好的词向量，其中每一个词都…...

编程日记 2023/9/12 1:03:58

List知识总结

ArrayList: 1 ArrayList扩容底层用到的是&#xff1b;System.arraycopy. 2 扩容的长度计算&#xff1b;int newCapacity oldCapacity (oldCapacity >> 1);&#xff0c;旧容量 旧容量右移1位&#xff0c;这相当于扩容为原 来容量的(int)3/2. 3 ArrayList<String…...

编程日记 2023/9/12 1:02:57

代码随想录day32

122.买卖股票的最佳时机 II ● 力扣题目链接 ● 给定一个数组&#xff0c;它的第 i 个元素是一支给定股票第 i 天的价格。 ● 设计一个算法来计算你所能获取的最大利润。你可以尽可能地完成更多的交易&#xff08;多次买卖一支股票&#xff09;。 ● 注意&#xff1a;你不能同…...

编程日记 2023/9/12 1:01:55

2.8 PE结构：资源表详细解析

在Windows PE中&#xff0c;资源是指可执行文件中存放的一些固定不变的数据集合&#xff0c;例如图标、对话框、字符串、位图、版本信息等。PE文件中每个资源都会被分配对应的唯一资源ID&#xff0c;以便在运行时能够方便地查找和调用它们。PE文件中的资源都被组织成一个树形结…...

编程日记 2023/9/12 1:00:55

Python数据类型的相互转换

简单数据类型之间的转换 1.字符串如果是数字的&#xff0c;转换为int类型 a "10" a int(a) print(a) 2.数字类型转换成bool类型 a 10 a bool(a) print(a) 只有0才是false&#xff0c;其他值是True 复杂数据类型之间的转换 list&#xff1a;列表 tuple&…...

编程日记 2023/9/12 0:59:54

阿里云云主机免费试用三个月

试用链接如下&#xff1a; 阿里云云产品免费试用 云主机 费用试用三个月&#xff0c;每月750小时 实例规格 1核(vCPU) 2 GiB S6 系列机型 适用搭建网站等场景 网络带宽 1M 公网固定网络带宽 云盘40 GiB 真香&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&…...

编程日记 2023/9/12 0:58:52

OpenHarmony 使用 ArkUI Inspector 分析布局

● 摘要&#xff1a;视图的嵌套层次会影响应用的性能&#xff0c;开发者应该移除多余的嵌套层次&#xff0c;缩短组件刷新耗时。本文会介绍如何使用 ArkUI Inspector 工具分析布局&#xff0c;提示应用响应性能。 ● 关键字&#xff1a;列举本文相关的关键字&#xff1a;OpenH…...

编程日记 2023/9/12 0:57:51

Axes3D绘制3d图不出图解决办法【Python】

运行下面一段代码​&#xff1a; import numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3D#这里设函数为y3x2x_data [1.0,2.0,3.0]y_data [5.0,8.0,11.0]​def forward(x): return x * w b​def loss(x,y): y_pred forward(x) …...

编程日记 2023/9/12 0:56:51

Idea中 css 、js 压缩插件会自动生成xxx.min.css、xxx.min.js文件

第一步&#xff1a;下载yuicompressor-2.4.8.jar 下载路径&#xff1a;打开搜索 YUI compressor Maven Repository: Search/Browse/Explore (mvnrepository.com)https://mvnrepository.com/ 找到点击下载即用&#xff08;如下图&#xff09; 创建文件夹&#xff0c;放入idea文…...

编程日记 2023/9/12 0:55:50

win11无法加载文件，因为在此系统上禁止运行脚本

问题背景&#xff1a; 最近升级了windows11&#xff0c;文件右键打开终端&#xff0c;默认是使用的powershell。 后面安装npm包依赖的时候&#xff0c;遇到了无法加载文件&#xff0c;因为在此系统上禁止运行脚本。 提示中可以通过访问链接查看&#xff1a;https:\go.micros…...

编程日记 2023/9/12 0:54:49

Spring Boot将声明日志步骤抽离出来做一个复用类

上文Spring Boot日志基础使用 设置日志级别中我们写了个比较基本的日志操作 但也随之产生了一个问题 我们这行代码 能不能不写&#xff1f; 具体说 我们不希望每个需要日志的类都声明一个在这 看着太不美观了 我们最简单方法当然是继承 我们找个目录创建一个类 叫 BaseClass…...

编程日记 2023/9/12 0:53:47

RabbitMQ实现数据库与ElasticSearch的数据同步和分享文件过期处理

&#x1f388; 1 参考文档 RabbitMQ实现数据库与ElasticSearch的数据同步 | Hannya。-CSDN 企业级开发项目实战——基于RabbitMQ实现数据库、elasticsearch的数据同步 | 波总说先赚它一个小目标-CSDN SPringBoot集成RabbitMQ实现30秒过期删除功能 | 军大君-CSDN &#x1f50d; …...

编程日记 2023/9/12 0:52:46

PyCharm集成开发环境安装、启动与设置

作为非开发工程师职业,大家多多少少都会对编程有抵触,其实没有必要对Python有太大的“戒心" ,把Python当做你的一个工具就可以了。——扎克伯格 一、Python的定义&#xff1a; Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。Python的设计具有…...

编程日记 2023/9/12 0:51:45

算法与设计分析--实验一

蛮力算法的设计与分析&#xff08;暴力&#xff09; 这次是某不知名学院开学课程的第一次实验&#xff0c;一共5道题&#xff0c;来自力扣 第一题.216组合总和*力扣题目链接 第一道题是经典的树型回溯 class Solution { public:vector<vector<int>> combinatio…...

编程日记 2023/9/12 0:50:44

ElementUI浅尝辄止28：Dropdown 下拉菜单

将动作或菜单折叠到下拉菜单中。 1.如何使用&#xff1f; 移动到下拉菜单上&#xff0c;展开更多操作。 //通过组件slot来设置下拉触发的元素以及需要通过具名slot为dropdown 来设置下拉菜单。默认情况下&#xff0c;下拉按钮只要hover即可&#xff0c;无需点击也会显示下拉菜…...

编程日记 2023/9/12 0:49:43

jupyter 格式化与快捷键

1、标题&#xff1a; # 一级标题 ## 二级标题 ### 三级标题 2、 加粗文本&#xff1a; **加粗文本** 3、斜体文本&#xff1a; _斜体_ 4、删除线 ~删除线~ 5、高亮文本 高亮文本 6、区块引用 > 我是引用文字 >> 我是第二层 >&g…...

编程日记 2023/9/12 0:48:42

Spring以及SpringBoot/SpringCloud注解

一、SpringBoot/Spring 1、SpringBootApplication 包含Configuration、EnableAutoConfiguration、ComponentScan通常在主类上 其中ComponentScan让Spring Boot扫描到Configuration类并把它加入到程序上下文&#xff0c;如果扫描到有Component Controller Service等这些注解的…...

编程日记 2023/9/12 0:47:41

vim常用操作

一、Esc键 & 命令模式 1.撤销&#xff1a;u 恢复撤销&#xff1a;Ctrl r 2.定位 行首&#xff1a;0 行尾&#xff1a;$ 第7行&#xff1a;7G 3.编辑 下行开始插入&#xff1a; o 删除行&#xff1a;dd 复制3行并粘贴&#xff1a;3yy ---> p 复制单词并粘贴&#…...

编程日记 2023/9/12 0:46:40

Serverless Framework 亚马逊云(AWS)中国地区部署指南

Serverless Framework 亚马逊云(AWS)中国地区部署指南 Serverless Framework 亚马逊云(AWS)中国地区部署指南 前言前置准备 1. 账号的注册2. 全局安装 serverless3. 设置你的系统环境变量4. 设置部署凭证 快速部署一个 hello world 创建入口函数 index.js event 参数context 参…...

编程日记 2023/9/12 0:45:38

【Spring Cloud系统】- 轻量级高可用工具Keepalive详解

【Spring Cloud系统】- 轻量级高可用工具Keepalive详解 文章目录 【Spring Cloud系统】- 轻量级高可用工具Keepalive详解一、概述二、Keepalive分类2.1 TCP的keepalive2.2 HTTP的keep-alive2.3 TCP的 KeepAlive 和 HTTP的 Keep-Alive区别 三、nginx的keepalive配置3.1 nginx保持…...

编程日记 2023/9/12 0:44:36

基于SPI硬件外设的NeoPixel高精度驱动方案

1. 项目概述neopixels_spi是一个专为 ARM Cortex-M 平台设计的轻量级、高可靠性 NeoPixel&#xff08;WS2812B 类&#xff09;驱动库&#xff0c;其核心创新在于完全摒弃传统 GPIO 模拟时序方案&#xff0c;转而采用硬件 SPI 外设配合 DMA 和精确时序控制机制实现单线协议物理层…...

编程新知 2026/3/29 2:15:52

别再只用ChatGPT了！用JavaScript的Web Speech API给你的网页加个‘嘴’（附完整代码）

用Web Speech API给你的网页装个"智能语音助手"&#xff1a;从基础到实战 当我们在讨论网页交互创新时&#xff0c;大多数人会立刻想到复杂的AI对话系统。但你可能不知道&#xff0c;浏览器原生就内置了一个被严重低估的语音合成神器——Web Speech API。想象一下&am…...

编程新知 2026/3/29 2:03:48

颠覆式创新交互：桌面虚拟助手如何提升你的工作效率

颠覆式创新交互&#xff1a;桌面虚拟助手如何提升你的工作效率 【免费下载链接】BongoCat 让呆萌可爱的 Bongo Cat 陪伴你的键盘敲击与鼠标操作&#xff0c;每一次输入都充满趣味与活力&#xff01; 项目地址: https://gitcode.com/gh_mirrors/bong/BongoCat 桌面虚拟助…...

编程新知 2026/3/29 0:49:14

保姆级教程：用Clawdbot将私有化Qwen3-VL接入飞书，打造企业智能助手

保姆级教程&#xff1a;用Clawdbot将私有化Qwen3-VL接入飞书&#xff0c;打造企业智能助手 1. 准备工作与环境确认 1.1 硬件环境检查 在开始前&#xff0c;请确保您的星图云实例满足以下最低配置要求&#xff1a; 组件最低要求推荐配置GPU显存24GB48GBCPU核心8核20核系统内…...

编程新知 2026/3/29 0:13:03

ArcGIS Pro 3.0 气象数据处理实战：如何从365天的nc文件中提取单日降水数据

ArcGIS Pro 3.0 气象数据处理实战&#xff1a;从365天nc文件中精准提取单日降水数据 气象数据作为地理信息科学中的重要组成部分&#xff0c;其处理效率直接影响研究进度和成果质量。在众多气象数据格式中&#xff0c;NetCDF&#xff08;.nc&#xff09;因其结构化存储和多维数…...

编程新知 2026/3/28 23:12:34

三步搞定全网资源下载：手把手教你使用res-downloader网络资源嗅探工具

三步搞定全网资源下载&#xff1a;手把手教你使用res-downloader网络资源嗅探工具 【免费下载链接】res-downloader 资源下载器、网络资源嗅探&#xff0c;支持微信视频号下载、网页抖音无水印下载、网页快手无水印视频下载、酷狗音乐下载等网络资源拦截下载! 项目地址: http…...

编程新知 2026/3/28 22:44:15

OpenClaw技能扩展实战：基于nanobot开发自定义自动化模块

OpenClaw技能扩展实战&#xff1a;基于nanobot开发自定义自动化模块 1. 为什么需要自定义技能&#xff1f; 去年夏天&#xff0c;我经常需要在出门前手动查询天气情况&#xff0c;这个看似简单的动作却让我感到烦躁——打开浏览器、输入网址、输入城市、查看结果。作为一个技…...

编程新知 2026/3/28 22:18:05

FlashAttention 终极指南：如何实现4倍加速与20倍内存优化的革命性技术

FlashAttention 终极指南&#xff1a;如何实现4倍加速与20倍内存优化的革命性技术 【免费下载链接】flash-attention Fast and memory-efficient exact attention 项目地址: https://gitcode.com/GitHub_Trending/fl/flash-attention FlashAttention 是一种革命性的注意…...

编程新知 2026/3/28 22:12:03

2026年3月26隔夜暗盘挂单排行榜

推荐好文:每年节约五六千交易费不香吗如何获取龙虎榜是否有量化参与如何获取股东减持信息大A有5400多只股票, 这里面只有不到10%, 约500只由资金投票, 剩余的都是杂毛, 炒股看龙头找主线. 从隔夜挂单里选择, 再叠加我们之前分享的如何判断是否有大股东减持, 是否有融资融券参与…...

编程新知 2026/3/28 20:41:27

python numpy包的使用

文章目录比较常用的功能计算相似度计算矩阵有人问 求平均数还不简单&#xff0c;还用的着mean()方法吗?np.sum()方法计算矩阵的行和与列和keepdims求和后保持结果的维度不变示例np.sum()的内置参数非常强的一个包&#xff0c;在数组、矩阵、向量计算方面极具优势。比较常用的功…...

编程新知 2026/3/28 20:09:12