当前位置： 首页 > news >正文

自然语言处理基础——词表示

news 2026/4/13 20:51:03

词表示

把自然语言中最基本的语言单元——词转换为机器能够理解的
词表示能完成以下两个能力
在这里插入图片描述

词相似度计算
词与词之间语义的关系

近义词&上位词

在这里插入图片描述

使用近义词或上位词表示的问题

在这里插入图片描述
遗漏差异
遗漏新的释义
带有主观性
数据吸收
需要大量人工构建

One-Hot Representation

常用的，把每个词表示成一个独立的符号
在这里插入图片描述

One-Hot Representation的问题

假设词与词之间的向量是正交的，所以任意两个词进行相似的计算都等于零
在这里插入图片描述

represent word by context

为了解决上面的问题，所谓的contextual representation 上下文表示
利用这个词的上下文来表示这个词，例如：要表示下图中的star，从上下文中找出一些词shining\cold\night
在这里插入图片描述

Co-Occurrence Counts

使用向量，表示的是这个词的上下文到底出现了多少次
得到上下文（词）的稠密的向量，在这个空间里，利用稠密的向量计算词之间的相似度
在这里插入图片描述

Co-Occurrence Counts的问题

词表变得越来越大，存储的需求也就变得特别大
对于出现频度特别少的词，它的上下文或者语境的词变得很稀疏，影响对词的表示效果
在这里插入图片描述

Word Embedding

分布式表示
建立起一个低维的稠密的向量空间，把每个词都学到这个空间里面，用这个空间里面的某一个位置所对应的向量来表示词。在这个空间里，就可以自动得学习出来一些国家和首都存在一些相对稳定的关系（见下图）。这种低维向量，可以利用大规模的数据自动去学习的。
代表性工作：Word2Vec
在这里插入图片描述

NLP Basic Language Modeling

语言模型：能有能力根据前文去预测下一个词到底是什么
机器能够学习语言模型，就能更好理解词的意思，也能更好地做出回复
在这里插入图片描述
语言模型的能力：
1.去计算一个序列的词成为一句话的概率是多大（联合概率）
2.根据前面的句子，预测下面要说的话
在这里插入图片描述
如何达到上面的能力：
假设：未来的词只会受到前面词的影响
一个句子的联合概率等于前面已经出现的词的条件概率之积
在这里插入图片描述
如何进行语言模型的构建？

N-gram Model

对 language model一个具体的建模
统计前面出现了几个词之后，后面出现的那个词的频度
在这里插入图片描述
N-gram背后大致遵守markov的假设：
一个联合概率，只考虑前面有限的几个词
在这里插入图片描述

N-gram的问题

1.在实际使用中，一般只使用N等于1或2，没有考虑更长的上下文
2.没有办法误理解这些词之间的相似度
在这里插入图片描述

Neural Languge Model

分布式表示，来建构这种前文和当前词的预测条件概率
在这里插入图片描述

相关文章：

自然语言处理基础——词表示

词表示 把自然语言中最基本的语言单元——词转换为机器能够理解的 词表示能完成以下两个能力 词相似度计算 词与词之间语义的关系 近义词&上位词 使用近义词或上位词表示的问题 遗漏差异 遗漏新的释义 带有主观性 数据吸收 需要大量人工构建 One-Hot Representation …...

编程日记 2023/10/23 12:36:52

2023年9月青少年软件编程（C 语言） 等级考试试卷（七级）

青少年软件编程（C/C）7级等级考试真题试卷（2023年9月） 编程题第 1 题 红与黑（2023.9） 有一间长方形的房子，地上铺了红色、黑色两种颜色的正方形瓷砖。你站在其中一块黑色的瓷砖上&#xff0c…...

编程日记 2023/10/23 12:35:52

鸿鹄工程项目管理系统 Spring Cloud+Spring Boot+Mybatis+Vue+ElementUI+前后端分离构建工程项目管理系统项目背景

鸿鹄工程项目管理系统 Spring CloudSpring BootMybatisVueElementUI前后端分离构建工程项目管理系统 1. 项目背景 一、随着公司的快速发展，企业人员和经营规模不断壮大。为了提高工程管理效率、减轻劳动强度、提高信息处理速度和准确性，公司对内部工程管…...

编程日记 2023/10/23 12:34:50

apache httpd 换行解析漏洞

原理 Apache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞，在解析PHP时，1.php\x0A将被按照PHP后缀进行解析，导致绕过一些服务器的安全策略。 漏洞编号 cve-2017-15715 环境…...

编程日记 2023/10/23 12:33:49

【设计模式】工厂模式

工厂模式 1.什么是工厂模式 它提供了一种创建对象的最佳方式。在工厂模式中，我们在创建对象时不会对客户端暴露创建逻辑，并且是通过使用一个共同的接口来指向新创建的对象。实现了创建者和调用者分离，工厂模式分为简单工厂、工厂方法、抽象…...

编程日记 2023/10/23 12:32:48

C++二分算法的应用：寻找峰值原理、源码及测试用例

说明 此文是课程https://edu.csdn.net/course/detail/38771 的讲义。 源码下载：https://download.csdn.net/download/he_zhidan/88458478 题目 长度为n的数组nums，请返回任意一峰值的索引。符合以下条件之一i便是峰值的索引。 n等于1 i等于0 n>…...

编程日记 2023/10/23 12:31:47

外汇天眼：本周无牌裸奔平台名单出炉，你踩“坑”了么？！！

监管信息早知道！外汇天眼将每周定期公布监管牌照状态发生变化的交易商，以供投资者参考，规避投资风险。如果平台天眼评分过高，建议投资者谨慎选择，因为在外汇天眼评分高不代表平台没问题！ 以下是监管牌照发生…...

编程日记 2023/10/23 12:29:45

10 读写锁ReentrantReadWriteLock

1 介绍 为什么要使用读写锁？ 需要高并发读取和较低并发写入的应用程序，降低锁的粒度，提高系统性能 使用场景： 读多写少的共享资源 缓存管理：读 >> 写，控制多个线程同时读缓存，需要刷新o…...

编程日记 2023/10/23 12:28:44

laravel队列

laravel redis队列 1、创建job队列任务 php artisan make:job StoreUser执行上述命令后&#xff0c;会生成app/Jobs/StoreUser.php文件&#xff0c;编辑文件内容如下&#xff1a; <?phpnamespace App\Jobs;use Illuminate\Bus\Queueable; use Illuminate\Contracts\Queu…...

编程日记 2023/10/23 12:27:43

【计算机网络】TCP 协议的相关特性

TCP&#xff08;传输控制协议&#xff09;是一种面向连接的、可靠的、基于字节流的协议。以下是TCP协议的相关特性&#xff1a; 可靠性&#xff1a;TCP通过确认和重传机制保证数据的可靠传输。 面向连接&#xff1a;TCP在传输数据前需要先建立连接。连接的建立过程包括三次握手…...

编程日记 2023/10/23 12:26:42

[软件安装] tmux安装及相关事项

tmux安装及相关事项 tmux是一个终端复用工具&#xff0c;可以在单个终端窗口中同时运行多个终端会话。安装tmux可以提高工作效率&#xff0c;使命令行操作更加方便。 1. 安装tmux&#xff1a; 在Linux系统下&#xff0c;可以使用包管理器来安装tmux&#xff0c;比如在Ubuntu…...

编程日记 2023/10/23 12:25:39

leetcode 887 ——扔鸡蛋

题目大意&#xff1a; 你有k个鸡蛋&#xff0c;对n层楼的建筑&#xff0c;请确认在f层扔鸡蛋鸡蛋恰好不会破碎的最少次数&#xff08;f满足 0 < f < n&#xff09;。 方法一&#xff1a; 状态&#xff1a;即会发生变化的量&#xff0c;很明显有两个&#xff0c;当前拥有…...

编程日记 2023/10/23 12:21:30

自动化运维ansible(role)

一、role的介绍 1、Roles称为角色&#xff0c;本质上是为简化playbook配置文件而产生的一种特殊的方法。 2、简单来说&#xff0c;roles就是将原本在一个yaml中的文件进行规则化分散&#xff0c;封装到不同的目录下&#xff0c;从而简化playbook的yaml配置文件大小。从其实现方…...

编程日记 2023/10/23 12:20:29

linux命令笔记

创建文件夹 sudo mkdir 文件夹名vim笔记 vim的查找和退出查找 进入vim 按/ 输入内容即可查找 按enter结束查找vim创建文件并在里面写东西 比如创建文件为 hello.cpp vim hello.cpp查看所有文件 # 查看所有文件&#xff0c;并以列表的形式查看&#xff0c;显示出文件大小 …...

编程日记 2023/10/23 12:19:28

2.3.C++项目：网络版五子棋对战之实用工具类模块的设计

文章目录 一、实用工具类模块&#xff08;一&#xff09;功能 二、设计和封装&#xff08;一&#xff09;日志宏封装&#xff08;二&#xff09;mysql_util封装&#xff08;三&#xff09;Jsoncpp-API封装&#xff08;四&#xff09;file_util封装&#xff08;五&#xff09;st…...

编程日记 2023/10/23 12:17:25

跳跃游戏----题解报告

题目&#xff1a;力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 题解&#xff1a; 其实就直接挨着跳就行了&#xff0c;循环中不断更新k&#xff0c;不停比较k和当前位置跳跃的最大值即可 代码&#xff1a; public boolean canJump(int[] nums) …...

编程日记 2023/10/23 12:16:23

SpringBoot下的代理注解

EnableAspectJAutoProxy Target(ElementType.TYPE) Retention(RetentionPolicy.RUNTIME) Documented Import(AspectJAutoProxyRegistrar.class) public interface EnableAspectJAutoProxy {// 是否代理目标对象&#xff0c;ture:使用CGLIB代理 fasle:使用JDK代理boolean proxy…...

编程日记 2023/10/23 12:15:22

[C++随想录] 二叉搜索树

搜素二叉树 二叉搜索树的使用二叉搜索树的模拟实现(K)整体结构循环版本递归版本 二叉搜索树的应用源码(kv) 二叉搜索树的使用 二叉搜索树 相较于 普通的二叉树来说: 根节点的左子树的所有键值都 小于 根节点, 根节点的右子树的所有键值 大于 根节点根节点的 左右子树 都是 二…...

编程日记 2023/10/23 12:14:20

Windows Server 2019 搭建FTP站点

目录 1.添加IIS及FTP服务角色 2.创建FTP账户&#xff08;用户名和密码&#xff09;和组 3.设置共享文件夹的权限 4.添加及设置FTP站点 5.配置FTP防火墙支持 6.配置安全组策略 7.客户端测试 踩过的坑说明&#xff1a; 1.添加IIS及FTP服务角色 a.选择【开始】→【服务器…...

编程日记 2023/10/23 12:13:18

Ubuntu 22.04 中安装 fcitx5

Ubuntu 22.04 中安装 fcitx5 可以按照以下步骤进行&#xff1a; 添加 fcitx5 的 PPA 首先&#xff0c;添加 fcitx5 的官方 PPA&#xff1a; sudo add-apt-repository ppa:fcitx-team/fcitx5更新软件包列表 sudo apt update安装 fcitx5 sudo apt install fcitx5 fcitx5-conf…...

编程日记 2023/10/23 12:12:17

Java的MethodHandle与反射的性能对比

Java的MethodHandle与反射的性能对比 在Java开发中&#xff0c;动态调用方法是一个常见的需求&#xff0c;而传统的反射&#xff08;Reflection&#xff09;和Java 7引入的MethodHandle是两种主要实现方式。虽然反射功能强大&#xff0c;但因其性能开销较大&#xff0c;Method…...

编程新知 2026/4/13 20:17:41

从显卡到网卡：拆解PCIe硬件生态链，Vendor ID和Subsystem ID如何影响你的驱动安装与性能

从显卡到网卡&#xff1a;拆解PCIe硬件生态链&#xff0c;Vendor ID和Subsystem ID如何影响你的驱动安装与性能 当你拆开一台高性能电脑的主机箱&#xff0c;那些闪耀着金属光泽的扩展卡——无论是显卡、网卡还是存储控制器——都通过PCIe总线与主板相连。但你是否想过&#xf…...

编程新知 2026/4/13 18:36:27

不用装软件！这款MicroPython浏览器 IDE :让你在手机上也能调试树莓派 Pico酉

1、普通的insert into 如果&#xff08;主键/唯一建&#xff09;存在&#xff0c;则会报错 新需求&#xff1a;就算冲突也不报错&#xff0c;用其他处理逻辑 回到顶部 2、基本语法&#xff08;INSERT INTO ... ON CONFLICT (...) DO (UPDATE SET ...)/(NOTHING)&#xff09; 语…...

编程新知 2026/4/13 17:09:36

VOICEVOX完全指南：免费开源日语语音合成软件的5大核心功能详解

VOICEVOX完全指南&#xff1a;免费开源日语语音合成软件的5大核心功能详解 【免费下载链接】voicevox 無料で使える中品質なテキスト読み上げソフトウェア、VOICEVOXのエディター 项目地址: https://gitcode.com/gh_mirrors/vo/voicevox VOICEVOX是一款免费开源的中品质…...

编程新知 2026/4/13 17:07:35

NSudo完整指南：解锁Windows系统管理终极权限的5种方法

NSudo完整指南&#xff1a;解锁Windows系统管理终极权限的5种方法 【免费下载链接】NSudo [Deprecated, work in progress alternative: https://github.com/M2Team/NanaRun] Series of System Administration Tools 项目地址: https://gitcode.com/gh_mirrors/ns/NSudo …...

编程新知 2026/4/13 16:38:57

深入理解Go编译器：从源码到可执行文件的完整旅程

深入理解Go编译器&#xff1a;从源码到可执行文件的完整旅程 【免费下载链接】under-the-hood &#x1f4da; Go: Under The Hood | Go 语言原本 | https://golang.design/under-the-hood 项目地址: https://gitcode.com/gh_mirrors/un/under-the-hood Go语言以其高效的…...

编程新知 2026/4/13 15:39:25

gh_mirrors/code/code消息总线详解：构建松耦合的事件驱动系统

gh_mirrors/code/code消息总线详解&#xff1a;构建松耦合的事件驱动系统 【免费下载链接】code Example application code for the python architecture book 项目地址: https://gitcode.com/gh_mirrors/code/code 在现代软件开发中&#xff0c;构建灵活、可扩展的系统…...

编程新知 2026/4/13 15:35:17

LFM2.5-1.2B-Thinking-GGUF实战手册：GPU显存占用监控与llama.cpp内存调优

LFM2.5-1.2B-Thinking-GGUF实战手册&#xff1a;GPU显存占用监控与llama.cpp内存调优 1. 模型与平台介绍 LFM2.5-1.2B-Thinking-GGUF是Liquid AI推出的轻量级文本生成模型&#xff0c;专为低资源环境优化设计。该模型采用GGUF格式&#xff0c;配合llama.cpp运行时&#xff0c…...

编程新知 2026/4/13 15:25:13

企业安全生产知识竞赛活动组织与实施指南

&#x1f6e1;️ 企业安全生产知识竞赛活动组织与实施指南&#x1f3af; 一、活动目标与意义核心目标&#xff1a;以赛促学、以学促安。通过趣味性竞赛&#xff0c;普及安全知识&#xff0c;检验培训成果&#xff0c;强化“安全第一、预防为主、综合治理”意识&#xff0c;营造…...

编程新知 2026/4/13 14:54:14

MediaCMS权限管理实战指南：从零搭建安全媒体访问控制

MediaCMS权限管理实战指南&#xff1a;从零搭建安全媒体访问控制 【免费下载链接】mediacms MediaCMS is a modern, fully featured open source video and media CMS, written in Python/Django and React, featuring a REST API. 项目地址: https://gitcode.com/gh_mirrors…...

编程新知 2026/4/13 13:48:56