LLM - 词向量 Word2vec
1. 词向量是一个词的低维表示，词向量可以反应语言的一些规律，词意相近的词向量之间近乎于平行。
2. 词向量的实现：
（1）首先使用滑动窗口来构造数据，一个滑动窗口是指在一段文本中连续出现的几个单词，这样的单词构成一个窗口。在这个窗口中最中间的词叫做目标词(Target), 其他的词称为上下文词(Context)。
（2）根据上下文词（Context）预测目标词（Target）的神经网络模型叫做CBOW模型。
（3）根据目标词（Target）预测上下文词（Context）的神经网络模型叫做Skip-Gram模型。
3. CBOW模型示意：用never和late预测中间词too的过程。
（1）首先将never，late表示成onehot向量.
（2）其次用这两个onehot向量在最终要训练的词向量矩阵中，找到never，late对应的词向量。然后把它们加起来做平均，这样可以得到一个临时的词向量，维度和前面两个相同。
（3）用上面得到的临时词向量对词表中每个词做点乘，得到n个输出，n是词表大小。
（4）对n个输出做softmax，得到每个词分类概率分布。
4. Skip-Gram模型示意：例子目标词是Never，要预测出too，late，to， learn。过程是先让模型去预测P(too/Never), 然后再预测P(late/Never)...
https://arxiv.org/abs/1301.3781
相关文章：
LLM - 词向量 Word2vec
1. 词向量是一个词的低维表示，词向量可以反应语言的一些规律，词意相近的词向量之间近乎于平行。 2. 词向量的实现： （1）首先使用滑动窗口来构造数据，一个滑动窗口是指在一段文本中连续出现的几个单词&#x…...
Tileserver GL中glyphs的使用
在Tileserver GL中，glyphs（字形）是用来渲染矢量切片地图中的文本标签的重要组件。它们定义了在地图上显示的字体和文字的具体形状。详细了解glyphs在Tileserver GL中的工作原理，可以帮助我们更好地配置和使用该服务。以下是关于Ti…...
uniapp自动升级
一、创建云服务空间（https://unicloud.dcloud.net.cn） 云空间用于关联需要版本控制升级的项目，如果已拥有云空间则省略此步骤。 二、搭建 uni升级中心 - 后台管理系统（升级中心 uni-upgrade-center - Admin） uni-adm…...
java Pair怎么使用
文章目录 1. 简介2. Pair类的来源3. 如何使用Pair类4. Pair类的实际应用5. Pair类的优点和缺点 1. 简介 什么是Pair Pair是一个通用的数据结构，用于存储一对关联的对象，也就是两个元素。这两个元素可以是任何类型，并且它们之间没有特定的层次…...
数据库doris中的tablet底层解析
在Doris中，tablet（数据片）是数据存储和管理的最小单元。理解tablet的底层原理有助于更好地理解Doris的高可用性、负载均衡和查询优化等特性。 Tablet 的概念 Tablet：Tablet是Doris中用于存储数据的最小物理单元。每个tablet通常对应于一个数据分区和一个分桶组合的子集。…...
江苏高防服务器都有哪些优势？
江苏高防服务器所针对的应用群体是不同的，高防服务器与普通服务器的应用效果和功能上是有着很大的差别，所以企业与用户在进行挑选高防服务器时，会更加看重服务器的质量与服务效果，本文就来聊一下江苏高防服务器的优势有哪些吧&…...
Pytest单元测试系列[v1.0.0][Pytest基础]
Pytest安装与配置 和Unittest一样，Pytest是另一个Python语言的单元测试框架，与Unittest相比它的测试用例更加容易编写、运行方式更加灵活、报错信息更加清晰、断言写法更简洁并且它可以运行有unittest和nose编写的测试用例。 Pytest 安装 启动命令行&…...
C/C++服务器基础（网络、协议、数据库）
Socket Socket是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。它可以看成是两个网络应用程序进行通信时，各自通信连接中的端点。Socket上联应用进程，下联网络协议栈，是应用程序通过网络协议进行通信的接口，是应用…...
Mysql系列-Binlog主从同步
原文链接：https://zhuanlan.zhihu.com/p/669450627 一、主从同步概述 mysql主从同步，即MySQL Replication,可以实现将数据从一台数据库服务器同步到多台数据库服务器。MySQL数据库自带主 从同步功能，经过配置，可以实现基于库、表…...
java设计模式（六）——原型模式
一、模式介绍 原型模式： 创建型模式之一，就是基于原型创建对象，也就是一个对象的产生可以不由零起步， 直接从一个已经具备一定雏形的对象克隆，然后再修改为所需要的对象。节约创建对象时间。 使用场景 如果对象创建成本比较大，例如某个对象里面的数据需要访问数据库才能…...
)
arm (exti中断)
src/key_it.c 1 #include "key_it.h"2 3 //按键1中断配置4 void key1_config()5 {6 //RCC章节7 //1：使能gpio f8 RCC->MP_AHB4ENSETR | (0x1<<5);9 //因为exti和gic属于芯片内部 所以无需使能10 11 //GPIO章节12 //1:将…...
触摸屏虚拟键盘组件 jQuery Virtual Keyboard使用 自定义键盘
如何在触摸设备上为输入域添加虚拟键盘？ 一个插件可以解决这个问题，关键还支持高度自定义（git地址）： GitHub - Mottie/Keyboard: Virtual Keyboard using jQuery ~ 官网地址：Virtual Keyboard 使用步骤&…...
面试题07-09
知道了 InnoDB 的索引实现后，就很容易明白为什么不建议使用过长的字段作为主键，因为所有辅助索引都引用主索引，过长的主索引会令辅助索引变得过大。再例如，用非单调的字段作为主键在 InnoDB 中不是个好主意，因为 InnoD…...
MySQL之binlog日志
原文链接：https://zhuanlan.zhihu.com/p/697078870 目录： binlog 是什么binlog 配置和查看binlog 的类型binlog 如何恢复数据binlog 是逻辑日志还是物理日志binlog 作用 注意：以下所有的操作都在 MySQL 8.0 版本实现。 1、binlog 是什么 …...
【大数据】什么是数据湖？一文揭示数据湖的本质
很多人跟我一样，对于数据湖充满好奇，也许还读了不少数据湖文章，但无论别人怎么说，你还是会觉得难以把握数据湖的本质。 有些人会望文生义说，数据湖嘛，就是什么东西都可以往里面扔，特别是对非结构…...
CSS【详解】文本相关样式（含 font 系列，文本排版，文本装饰，分散对齐，渐变色文本等）
文本风格 font-style font-style:italic 值描述normal默认值。浏览器显示一个标准的字体样式。italic加载对应字体的斜体字体文件，若找不到斜体字体文件，则进行物理上的倾斜。 标签默认font-style:italicoblique浏览器会显示一个倾斜的字体样式。 文本粗…...
加油卡APP系统开发，优惠加油收益
目前，汽车已经成为了不可或缺的出行工具，汽车加油更是成为了家家户户要做的事。不过随着油价的波动，车主急需能够进行优惠加油的渠道，因此，加油卡APP成为了大众汽车加油新的选择方式，用户在下载APP后即可享…...
el-scrollbar实现自动滚动到底部（AI聊天）
目录 项目背景 实现步骤 实现代码 完整示例代码 项目背景 chatGPT聊天消息展示滚动面板，每次用户输入提问内容或者ai进行流式回答时需要不断的滚动到底部确保展示最新的消息。 实现步骤 采用element ui 的el-scrollbar作为聊天消息展示组件。 通过操作dom来实…...
开源去除背景的项目：rembg 安装和部署
下载colne项目代码 git clone https://github.com/danielgatis/rembg.git安装依赖 pip install rembg pip install click pip install filetype pip install watchdog pip install aiohttp pip install gradio pip install asyncer测试使用 rembg i 照片.jpg zhaopian.jpg照…...
Docker 使用基础（1）—镜像仓库
🎬慕斯主页：修仙—别有洞天 ♈️今日夜电波：秒針を噛む—ずっと真夜中でいいのに。 0:34━━━━━━️💟──────── 4:20 🔄 ◀️ ⏸ …...
论文解读：交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（二）
HoST框架核心实现方法详解 - 论文深度解读（第二部分） 《Learning Humanoid Standing-up Control across Diverse Postures》 系列文章： 论文深度解读 + 算法与代码分析（二） 作者机构： 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学 论文主题： 人形机器人…...
java_网络服务相关_gateway_nacos_feign区别联系
1. spring-cloud-starter-gateway 作用：作为微服务架构的网关，统一入口，处理所有外部请求。 核心能力： 路由转发（基于路径、服务名等）过滤器（鉴权、限流、日志、Header 处理）支持负…...
循环冗余码校验CRC码 算法步骤+详细实例计算
通信过程：（白话解释） 我们将原始待发送的消息称为 M M M，依据发送接收消息双方约定的生成多项式 G ( x ) G(x) G(x)（意思就是 G （ x ) G（x) G（x) 是已知的）࿰…...
基于服务器使用 apt 安装、配置 Nginx
🧾 一、查看可安装的 Nginx 版本 首先，你可以运行以下命令查看可用版本： apt-cache madison nginx-core输出示例： nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...
DAY 47
三、通道注意力 3.1 通道注意力的定义 # 新增：通道注意力模块（SE模块） class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...
Nginx server_name 配置说明
Nginx 是一个高性能的反向代理和负载均衡服务器，其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机（Virtual Host）。 1. 简介 Nginx 使用 server_name 指令来确定…...
Module Federation 和 Native Federation 的比较
前言 Module Federation 是 Webpack 5 引入的微前端架构方案，允许不同独立构建的应用在运行时动态共享模块。 Native Federation 是 Angular 官方基于 Module Federation 理念实现的专为 Angular 优化的微前端方案。 概念解析 Module Federation (模块联邦) Modul…...
3403. 从盒子中找出字典序最大的字符串 I
3403. 从盒子中找出字典序最大的字符串 I 题目链接：3403. 从盒子中找出字典序最大的字符串 I 代码如下： class Solution { public:string answerString(string word, int numFriends) {if (numFriends 1) {return word;}string res;for (int i 0;i &…...
C++八股 —— 单例模式
文章目录 1. 基本概念2. 设计要点3. 实现方式4. 详解懒汉模式 1. 基本概念 线程安全（Thread Safety） 线程安全是指在多线程环境下，某个函数、类或代码片段能够被多个线程同时调用时，仍能保证数据的一致性和逻辑的正确性…...
项目部署到Linux上时遇到的错误（Redis，MySQL，无法正确连接，地址占用问题）
Redis无法正确连接 在运行jar包时出现了这样的错误 查询得知问题核心在于Redis连接失败，具体原因是客户端发送了密码认证请求，但Redis服务器未设置密码 1.为Redis设置密码（匹配客户端配置） 步骤： 1）.修…...