NLP-词向量、Word2vec
Word2vec
Skip-gram算法的核心部分
我们做什么来计算一个词在中心词的上下文中出现的概率？
似然函数
词已知，它的上下文单词的概率 相乘。
然后所有中心词的这个相乘数 再全部相乘，希望得到最大。
目标函数（代价函数，损失函数）
平均对数似然 + 转化为极小化问题
最小化目标函数 J(θ) <==> 最大化预测的准确性
- 为了简化数学和优化，每个单词都用两个向量表示：
预测函数
模型训练目的：具有相似上下文的单词，具有相似的向量。
所有上下文之间的向量最相似，这样似然函数最大，损失函数最小！
取幂 用于使得所有数都为正
点乘 用于计算向量相似程度。向量之间越相似，点乘结果越大。
目的：找到与中心词向量 点乘最大的词向量，得到最相似的向量。
分母 用于归一化，最终得到概率分布 => 所有词跟中心词的相似程度所构成的概率#
预测函数使用的softmax函数
最小化损失函数来调整词向量 -> 最大化 在中心词的上下文实际看到的词的概率
θ表示模型所有的参数，向量长度为2dV。调整θ来最大化上下文词的预测！
词库一共有V个词，每个词向量都是d维。
每个词都有上下文词向量和中心词向量。
梯度下降法
总结：
- 为上下文词和中心词随机初始化一个向量
- 使用迭代算法逐步更新这些词向量 （梯度下降法）
- 可以更好的预测哪些词会出现在其他词的上下文中
相关文章：
NLP-词向量、Word2vec
Word2vec Skip-gram算法的核心部分 我们做什么来计算一个词在中心词的上下文中出现的概率？ 似然函数 词已知，它的上下文单词的概率 相乘。 然后所有中心词的这个相乘数 再全部相乘，希望得到最大。 目标函数（代价函数࿰…...
Java学习--学生管理系统(残破版)
代码 Main.java import java.util.ArrayList; import java.util.Scanner;public class Main {public static void main(String[] args) {ArrayList<Student> list new ArrayList<>();loop:while (true) {System.out.println("-----欢迎来到阿宝院校学生管理系…...
柯西矩阵介绍
经典定义 柯西矩阵（Cauchy Matrix），是一种特殊类型的矩阵，它在数学中的多个领域，包括线性代数、数值分析和插值理论中都有重要应用。柯西矩阵以19世纪法国数学家奥古斯丁-路易柯西的名字命名。 柯西矩阵是一个方阵&am…...
PureFlash v1.9.1特性介绍
PureFlashv1.9.1版本特性主要有4个： 1. 支持RDMA网络 使用RDMA协议可以大大减少对CPU的消耗，性能提升30%以上。 PureFlash的网络配置分为存储节点间网络（存储后端网）和客户端网络（前端网）。都支持使用RD…...
XXE 漏洞简单研究
近期在做个基础的 web 常见漏洞的 ppt，主要参考 OWASP TOP 10 2017RC2，此版本中增加了 XXE 攻击，所以自己简单的研究下 XXE 攻击。XXE（XML External Entity）XML 外部实体，当前端和后端通信数据采用 xml&…...
web漏洞与规避
文章目录 一、XSS 跨站脚本攻击1.1 XSS攻击的主要类型反射型XSS存储型XSSDOM型XSS 1.2 前端开发如何应对XSS 二、CSRF 跨站请求伪造2.1 CSRF例子2.2 前端开发如何应对CSRF 三、SQL 注入3.1 前端如何防御SQL注入 四、前端如何使用CSP 一、XSS 跨站脚本攻击 攻击者通过在受害者的…...
#FPGA（基础知识）
1.IDE:Quartus II 2.设备：Cyclone II EP2C8Q208C8N 3.实验：正点原子-verilog基础知识 4.时序图： 5.步骤 6.代码：...
LockBit病毒入侵揭秘：如何防范与应对
在数字时代，随着科技的飞速发展，网络安全问题愈发凸显。恶意软件和勒索软件等网络威胁正不断演变，其中一款备受关注的勒索软件就是LockBit。本文将深入介绍LockBit的特征、攻击手段、演进历程以及对网络安全的威胁。 01 主要特征 LockBit是…...
vue-router4 (六) 路由嵌套
应用场景： ①比如京东页面的首页、购物车、我的按钮，可以点击切换到对应的页面； ② 比如 Ant Design左侧这些按钮点击就会切到对应的页面，此时可以把左侧按钮放在父路由中，右侧的子路由 1.路由配置，子路由…...
【NR 定位】3GPP NR Positioning 5G定位标准解读（一）
目录 前言 1. 3GPP规划下的5G技术演进 2. 5G NR定位技术的发展 2.1 Rel-16首次对基于5G的定位技术进行标准化 2.2 Rel-17进一步提升5G定位技术的性能 3. Rel-18 关于5G定位技术的新方向、新进展 3.1 Sidelink高精度定位功能 3.2 针对上述不同用例，3GPP考虑按…...
【AI绘画】免费GPU Tesla A100 32G算力部署Stable Diffusion
免责声明 在阅读和实践本文提供的内容之前，请注意以下免责声明： 侵权问题: 本文提供的信息仅供学习参考，不用做任何商业用途，如造成侵权，请私信我，我会立即删除，作者不对读者因使用本文所述方法…...
JVM(2)
JVM类加载 指的是java进程运行时,需要把.class文件从硬盘加载到内存,并进行一系列校验解析的过程. 核心: .class文件>类对象; 硬盘>内存. 类加载过程 在整个JVM的执行流程中,和程序员关系最密切的就是类加载的过程了,所以我们来看一下类加载的执行流程. 对于一个类…...
青少年CTF擂台挑战赛 2024 #Round 1 Web方向题解 WP 全
EasyMD5 题目描述：php没有难题 考点总结：脑洞题目，不如我出（狗头 只允许两个都上传pdf文件。 文件还不能太大了。burp多次发包发现要求两个pdf内容不一样 不一样时候，提示我们MD5碰撞。 科学计数法绕过 PHP的后门 …...
一文认识蓝牙（验证基于Aduino IDE的ESP32）
1、简介 蓝牙技术是一种无线通信的方式，利用特定频率的波段（2.4GHz-2.485GHz左右），进行电磁波传输，总共有83.5MHz的带宽资源。 1.1、背景 蓝牙（Bluetooth）一词取自于十世纪丹麦国王哈拉尔Haral…...
2W字-35页PDF谈谈自己对QT某些知识点的理解
2W字-35页PDF谈谈自己对QT某些知识点的理解 前言与总结总体知识点的概况一些笔记的概况笔记阅读清单 前言与总结 最近，也在对自己以前做的项目做一个知识点的梳理，发现可能自己以前更多的是用某个控件，以及看官方手册，但是没有更…...
Docker知识点总结
二、Docker基本命令： Docker支持CentOs 6 及以后的版本; CentOs7系统可以直接通过yum进行安装，安装前可以 1、查看一下系统是否已经安装了Docker: yum list installed | grep docker 2、安装docker： yum install docker -y -y 表示自动确认…...
Redis 消息队列：构建消息代理的 4 个简单步骤
消息代理是一种使系统、应用程序和服务能够通信和交换信息的软件。它在正式消息传递协议之间转换消息，并允许相互依赖的服务直接“对话”，即使是用不同语言编写或在不同平台上实现也是如此。在微服务中使用异步通信时，通常会使用消息代理。 消息代理可确保可靠且稳定的通信，…...
kafka三节点集群平滑升级过程指导
一、前言 Apache Kafka作为常用的开源分布式流媒体平台，可以实时发布、订阅、存储和处理数据流,多用于作为消息队列获取实时数据，构建对数据流的变化进行实时反应的应用程序，已被数千家公司用于高性能数据管道、流分析、数据集成和任务关键型…...
Golang 简介与基本语法学习
Go，也被称为 Golang，是一门由 Google 设计的开源编程语言。它旨在提供高效的开发体验，同时具备并发性、内存安全和简洁性。本篇博客将介绍 Golang 的基本语法和一些示例，帮助读者快速入门这门令人着迷的语言。 简介 Go 语言的设…...
深入理解网络通信基本原理和tcp/ip协议
深入理解网络通信基本原理和tcp/ip协议 一、计算机网络体系1，计算机网络体系结构2，网络中数据传输2.1，浏览器中输入一个url的执行流程2.2，数据在网络中是的传输流程 3，三次握手和四次挥手3.1，三次握手3.1.1…...
业务系统对接大模型的基础方案：架构设计与关键步骤
业务系统对接大模型：架构设计与关键步骤 在当今数字化转型的浪潮中，大语言模型（LLM）已成为企业提升业务效率和创新能力的关键技术之一。将大模型集成到业务系统中，不仅可以优化用户体验，还能为业务决策提供…...
springboot 百货中心供应链管理系统小程序
一、前言 随着我国经济迅速发展，人们对手机的需求越来越大，各种手机软件也都在被广泛应用，但是对于手机进行数据信息管理，对于手机的各种软件也是备受用户的喜爱，百货中心供应链管理系统被用户普遍使用，为方…...
工程地质软件市场：发展现状、趋势与策略建议
一、引言 在工程建设领域，准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具，正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...
相机Camera日志分析之三十一：高通Camx HAL十种流程基础分析关键字汇总（后续持续更新中）
【关注我，后续持续新增专题博文，谢谢！！！】 上一篇我们讲了：有对最普通的场景进行各个日志注释讲解，但相机场景太多，日志差异也巨大。后面将展示各种场景下的日志。 通过notepad++打开场景下的日志，通过下列分类关键字搜索，即可清晰的分析不同场景的相机运行流程差异…...
在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案
这个问题我看其他博主也写了，要么要会员、要么写的乱七八糟。这里我整理一下，把问题说清楚并且给出代码，拿去用就行，照着葫芦画瓢。 问题 在继承QWebEngineView后，重写mousePressEvent或event函数无法捕获鼠标按下事…...
CSS | transition 和 transform的用处和区别
省流总结： transform用于变换/变形，transition是动画控制器 transform 用来对元素进行变形，常见的操作如下，它是立即生效的样式变形属性。 旋转 rotate(角度deg)、平移 translateX(像素px)、缩放 scale(倍数)、倾斜 skewX(角度…...
 ——通用对象池总结(核心))
怎么开发一个网络协议模块（C语言框架）之(六) ——通用对象池总结(核心)
+---------------------------+ | operEntryTbl[] | ← 操作对象池 (对象数组) +---------------------------+ | 0 | 1 | 2 | ... | N-1 | +---------------------------+↓ 初始化时全部加入 +------------------------+ +-------------------------+ | …...
uniapp获取当前位置和经纬度信息
1.1. 获取当前位置和经纬度信息（需要配置高的SDK） 调用uni-app官方API中的uni.chooseLocation()，即打开地图选择位置。 <button click"getAddress">获取定位</button> const getAddress () > {uni.chooseLocatio…...
uni-app学习笔记二十三--交互反馈showToast用法
showToast部分文档位于uniapp官网-->API-->界面：uni.showToast(OBJECT) | uni-app官网 uni.showToast(OBJECT) 用于显示消息提示框 OBJECT参数说明 参数类型必填说明平台差异说明titleString是提示的内容，长度与 icon 取值有关。iconString否图…...
论文笔记：Large Language Models for Next Point-of-Interest Recommendation
SIGIR 2024 1 intro 传统的基于数值的POI推荐方法在处理上下文信息时存在两个主要限制 需要将异构的LBSN数据转换为数字，这可能导致上下文信息的固有含义丢失仅依赖于统计和人为设计来理解上下文信息，缺乏对上下文信息提供的语义概念的理解 ——>使用…...