LLM - 词向量 Word2vec
1. 词向量是一个词的低维表示，词向量可以反应语言的一些规律，词意相近的词向量之间近乎于平行。
2. 词向量的实现：
（1）首先使用滑动窗口来构造数据，一个滑动窗口是指在一段文本中连续出现的几个单词，这样的单词构成一个窗口。在这个窗口中最中间的词叫做目标词(Target), 其他的词称为上下文词(Context)。
（2）根据上下文词（Context）预测目标词（Target）的神经网络模型叫做CBOW模型。
（3）根据目标词（Target）预测上下文词（Context）的神经网络模型叫做Skip-Gram模型。
3. CBOW模型示意：用never和late预测中间词too的过程。
（1）首先将never，late表示成onehot向量.
（2）其次用这两个onehot向量在最终要训练的词向量矩阵中，找到never，late对应的词向量。然后把它们加起来做平均，这样可以得到一个临时的词向量，维度和前面两个相同。
（3）用上面得到的临时词向量对词表中每个词做点乘，得到n个输出，n是词表大小。
（4）对n个输出做softmax，得到每个词分类概率分布。
4. Skip-Gram模型示意：例子目标词是Never，要预测出too，late，to， learn。过程是先让模型去预测P(too/Never), 然后再预测P(late/Never)...
https://arxiv.org/abs/1301.3781
相关文章：
LLM - 词向量 Word2vec
1. 词向量是一个词的低维表示，词向量可以反应语言的一些规律，词意相近的词向量之间近乎于平行。 2. 词向量的实现： （1）首先使用滑动窗口来构造数据，一个滑动窗口是指在一段文本中连续出现的几个单词&#x…...
Tileserver GL中glyphs的使用
在Tileserver GL中，glyphs（字形）是用来渲染矢量切片地图中的文本标签的重要组件。它们定义了在地图上显示的字体和文字的具体形状。详细了解glyphs在Tileserver GL中的工作原理，可以帮助我们更好地配置和使用该服务。以下是关于Ti…...
uniapp自动升级
一、创建云服务空间（https://unicloud.dcloud.net.cn） 云空间用于关联需要版本控制升级的项目，如果已拥有云空间则省略此步骤。 二、搭建 uni升级中心 - 后台管理系统（升级中心 uni-upgrade-center - Admin） uni-adm…...
java Pair怎么使用
文章目录 1. 简介2. Pair类的来源3. 如何使用Pair类4. Pair类的实际应用5. Pair类的优点和缺点 1. 简介 什么是Pair Pair是一个通用的数据结构，用于存储一对关联的对象，也就是两个元素。这两个元素可以是任何类型，并且它们之间没有特定的层次…...
数据库doris中的tablet底层解析
在Doris中，tablet（数据片）是数据存储和管理的最小单元。理解tablet的底层原理有助于更好地理解Doris的高可用性、负载均衡和查询优化等特性。 Tablet 的概念 Tablet：Tablet是Doris中用于存储数据的最小物理单元。每个tablet通常对应于一个数据分区和一个分桶组合的子集。…...
江苏高防服务器都有哪些优势？
江苏高防服务器所针对的应用群体是不同的，高防服务器与普通服务器的应用效果和功能上是有着很大的差别，所以企业与用户在进行挑选高防服务器时，会更加看重服务器的质量与服务效果，本文就来聊一下江苏高防服务器的优势有哪些吧&…...
Pytest单元测试系列[v1.0.0][Pytest基础]
Pytest安装与配置 和Unittest一样，Pytest是另一个Python语言的单元测试框架，与Unittest相比它的测试用例更加容易编写、运行方式更加灵活、报错信息更加清晰、断言写法更简洁并且它可以运行有unittest和nose编写的测试用例。 Pytest 安装 启动命令行&…...
C/C++服务器基础（网络、协议、数据库）
Socket Socket是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。它可以看成是两个网络应用程序进行通信时，各自通信连接中的端点。Socket上联应用进程，下联网络协议栈，是应用程序通过网络协议进行通信的接口，是应用…...
Mysql系列-Binlog主从同步
原文链接：https://zhuanlan.zhihu.com/p/669450627 一、主从同步概述 mysql主从同步，即MySQL Replication,可以实现将数据从一台数据库服务器同步到多台数据库服务器。MySQL数据库自带主 从同步功能，经过配置，可以实现基于库、表…...
java设计模式（六）——原型模式
一、模式介绍 原型模式： 创建型模式之一，就是基于原型创建对象，也就是一个对象的产生可以不由零起步， 直接从一个已经具备一定雏形的对象克隆，然后再修改为所需要的对象。节约创建对象时间。 使用场景 如果对象创建成本比较大，例如某个对象里面的数据需要访问数据库才能…...
)
arm (exti中断)
src/key_it.c 1 #include "key_it.h"2 3 //按键1中断配置4 void key1_config()5 {6 //RCC章节7 //1：使能gpio f8 RCC->MP_AHB4ENSETR | (0x1<<5);9 //因为exti和gic属于芯片内部 所以无需使能10 11 //GPIO章节12 //1:将…...
触摸屏虚拟键盘组件 jQuery Virtual Keyboard使用 自定义键盘
如何在触摸设备上为输入域添加虚拟键盘？ 一个插件可以解决这个问题，关键还支持高度自定义（git地址）： GitHub - Mottie/Keyboard: Virtual Keyboard using jQuery ~ 官网地址：Virtual Keyboard 使用步骤&…...
面试题07-09
知道了 InnoDB 的索引实现后，就很容易明白为什么不建议使用过长的字段作为主键，因为所有辅助索引都引用主索引，过长的主索引会令辅助索引变得过大。再例如，用非单调的字段作为主键在 InnoDB 中不是个好主意，因为 InnoD…...
MySQL之binlog日志
原文链接：https://zhuanlan.zhihu.com/p/697078870 目录： binlog 是什么binlog 配置和查看binlog 的类型binlog 如何恢复数据binlog 是逻辑日志还是物理日志binlog 作用 注意：以下所有的操作都在 MySQL 8.0 版本实现。 1、binlog 是什么 …...
【大数据】什么是数据湖？一文揭示数据湖的本质
很多人跟我一样，对于数据湖充满好奇，也许还读了不少数据湖文章，但无论别人怎么说，你还是会觉得难以把握数据湖的本质。 有些人会望文生义说，数据湖嘛，就是什么东西都可以往里面扔，特别是对非结构…...
CSS【详解】文本相关样式（含 font 系列，文本排版，文本装饰，分散对齐，渐变色文本等）
文本风格 font-style font-style:italic 值描述normal默认值。浏览器显示一个标准的字体样式。italic加载对应字体的斜体字体文件，若找不到斜体字体文件，则进行物理上的倾斜。 标签默认font-style:italicoblique浏览器会显示一个倾斜的字体样式。 文本粗…...
加油卡APP系统开发，优惠加油收益
目前，汽车已经成为了不可或缺的出行工具，汽车加油更是成为了家家户户要做的事。不过随着油价的波动，车主急需能够进行优惠加油的渠道，因此，加油卡APP成为了大众汽车加油新的选择方式，用户在下载APP后即可享…...
el-scrollbar实现自动滚动到底部（AI聊天）
目录 项目背景 实现步骤 实现代码 完整示例代码 项目背景 chatGPT聊天消息展示滚动面板，每次用户输入提问内容或者ai进行流式回答时需要不断的滚动到底部确保展示最新的消息。 实现步骤 采用element ui 的el-scrollbar作为聊天消息展示组件。 通过操作dom来实…...
开源去除背景的项目：rembg 安装和部署
下载colne项目代码 git clone https://github.com/danielgatis/rembg.git安装依赖 pip install rembg pip install click pip install filetype pip install watchdog pip install aiohttp pip install gradio pip install asyncer测试使用 rembg i 照片.jpg zhaopian.jpg照…...
Docker 使用基础（1）—镜像仓库
🎬慕斯主页：修仙—别有洞天 ♈️今日夜电波：秒針を噛む—ずっと真夜中でいいのに。 0:34━━━━━━️💟──────── 4:20 🔄 ◀️ ⏸ …...
浏览器访问 AWS ECS 上部署的 Docker 容器（监听 80 端口）
✅ 一、ECS 服务配置 Dockerfile 确保监听 80 端口 EXPOSE 80 CMD ["nginx", "-g", "daemon off;"]或 EXPOSE 80 CMD ["python3", "-m", "http.server", "80"]任务定义（Task Definition&…...
变量 varablie 声明- Rust 变量 let mut 声明与 C/C++ 变量声明对比分析
一、变量声明设计：let 与 mut 的哲学解析 Rust 采用 let 声明变量并通过 mut 显式标记可变性，这种设计体现了语言的核心哲学。以下是深度解析： 1.1 设计理念剖析 安全优先原则：默认不可变强制开发者明确声明意图 let x 5; …...
。】2022-5-15)
【根据当天日期输出明天的日期(需对闰年做判定)。】2022-5-15
缘由根据当天日期输出明天的日期(需对闰年做判定)。日期类型结构体如下： struct data{ int year; int month; int day;};-编程语言-CSDN问答 struct mdata{ int year; int month; int day; }mdata; int 天数(int year, int month) {switch (month){case 1: case 3:…...
大话软工笔记—需求分析概述
需求分析，就是要对需求调研收集到的资料信息逐个地进行拆分、研究，从大量的不确定“需求”中确定出哪些需求最终要转换为确定的“功能需求”。 需求分析的作用非常重要，后续设计的依据主要来自于需求分析的成果，包括: 项目的目的…...
【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现（服务端执行命令请求的过程 - 初始化服务器）
服务端执行命令请求的过程 【专栏简介】【技术大纲】【专栏目标】【目标人群】1. Redis爱好者与社区成员2. 后端开发和系统架构师3. 计算机专业的本科生及研究生 初始化服务器1. 初始化服务器状态结构初始化RedisServer变量 2. 加载相关系统配置和用户配置参数定制化配置参数案…...
2024年赣州旅游投资集团社会招聘笔试真
2024年赣州旅游投资集团社会招聘笔试真 题 ( 满 分 1 0 0 分 时 间 1 2 0 分 钟 ) 一、单选题(每题只有一个正确答案，答错、不答或多答均不得分) 1.纪要的特点不包括()。 A.概括重点 B.指导传达 C. 客观纪实 D.有言必录 【答案】: D 2.1864年，()预言了电磁波的存在，并指出…...
376. Wiggle Subsequence
376. Wiggle Subsequence 代码 class Solution { public:int wiggleMaxLength(vector<int>& nums) {int n nums.size();int res 1;int prediff 0;int curdiff 0;for(int i 0;i < n-1;i){curdiff nums[i1] - nums[i];if( (prediff > 0 && curdif…...
将对透视变换后的图像使用Otsu进行阈值化，来分离黑色和白色像素。这句话中的Otsu是什么意思？
Otsu 是一种自动阈值化方法，用于将图像分割为前景和背景。它通过最小化图像的类内方差或等价地最大化类间方差来选择最佳阈值。这种方法特别适用于图像的二值化处理，能够自动确定一个阈值，将图像中的像素分为黑色和白色两类。 Otsu 方法的原…...
Frozen-Flask ：将 Flask 应用“冻结”为静态文件
Frozen-Flask 是一个用于将 Flask 应用“冻结”为静态文件的 Python 扩展。它的核心用途是：将一个 Flask Web 应用生成成纯静态 HTML 文件，从而可以部署到静态网站托管服务上，如 GitHub Pages、Netlify 或任何支持静态文件的网站服务器。 &am…...
linux 错误码总结
1，错误码的概念与作用 在Linux系统中，错误码是系统调用或库函数在执行失败时返回的特定数值，用于指示具体的错误类型。这些错误码通过全局变量errno来存储和传递，errno由操作系统维护，保存最近一次发生的错误信息。值得注意的是，errno的值在每次系统调用或函数调用失败时…...