当前位置： 首页 > news >正文

[论文笔记]DSSM

news 2025/12/21 12:55:54

引言

这是DSSM论文的阅读笔记，后续会有一篇文章来复现它并在中文数据集上验证效果。

本文的标题翻译过来就是利用点击数据学习网页搜索中深层结构化语义模型，这篇论文被归类为信息检索，但也可以用来做文本匹配。

这是一篇经典的工作，在DSSM之前，通常使用传统机器学习的方法，比如LSA、LDA来解决。本篇工作使文本匹配进入了深度学习时代。

摘要

在信息检索中要研究的问题是，给定一个查询(query)和一组文档(documents)，返回一个基于匹配度的排序(ranking)文档结果。

作者通过使用DNN将查询和文档映射到一个通用的低维(稠密向量)空间，通过计算该空间中的距离来表示它们的相关性。同时利用词哈希技术解决词表过大问题。

模型的优化策略是，最大化正确标签出现的条件概率，即最小化softmax交叉熵损失。通过不断迭代，希望给定一组query和文档的时候，能最大化地匹配到被点击过的文档的概率。

下面我们直接来看模型的结构。

模型结构

计算语义特征的DNN

image-20230831200632208

如论文中的图1所示，网络的输入是高维稀疏的文本词袋特征词向量(可以理解为ont-hot向量)，比如查询或文档中单词的计数，输出是低维语义空间中的稠密向量。

相关文章：

[论文笔记]DSSM

引言 这是DSSM论文的阅读笔记，后续会有一篇文章来复现它并在中文数据集上验证效果。 本文的标题翻译过来就是利用点击数据学习网页搜索中深层结构化语义模型，这篇论文被归类为信息检索，但也可以用来做文本匹配。 这是一篇经典的工作，在DSSM之前，通常使用传统机器学习的…...

编程日记 2023/9/1 5:44:25

Skip Connection——提高深度神经网络性能的利器

可以参考一下这篇知乎所讲 https://zhuanlan.zhihu.com/p/457590578 长跳跃连接用于将信息从编码器传播到解码器，以恢复在下采样期间丢失的信息...

编程日记 2023/9/1 5:43:25

EXCEL中点击单元格，所在行和列都改变颜色

在日常工作中，尤其是办公室工作人群，尝尝需要处理大量的数据，在对数据进行修改时，时长发生看错行的事情，导致数据越改越乱，因此，我常用的一种方法就是选中单元格时，所在行、列标记为…...

编程日记 2023/9/1 5:42:24

HAProxy（一）

四层负载均衡与七层负载均衡区别 四层负载均衡和七层负载均衡是两种不同的负载均衡方式，主要区别在于负载均衡的层级及其所支持的协议不同。 四层负载均衡，也称为传输层负载均衡，工作在 OSI 模型的传输层（第四层）&am…...

编程日记 2023/9/1 5:41:22

LeetCode--HOT100题（46）

目录 题目描述：114. 二叉树展开为链表（中等）题目接口解题思路代码 PS: 题目描述：114. 二叉树展开为链表（中等） 给你二叉树的根结点 root ，请你将它展开为一个单链表： 展开后的单链…...

编程日记 2023/9/1 5:40:21

深度探索JavaScript中的原型链机制

🏆作者简介，黑夜开发者，全栈领域新星创作者✌，CSDN博客专家，阿里云社区专家博主，2023年6月csdn上海赛道top4。 🏆数年电商行业从业经验，历任核心研发工程师，项目技术负责…...

编程日记 2023/9/1 5:39:21

一种基于WinDump自动抓包实现方法

本发明的技术方案包括以下步骤和组件： 配置抓包参数：设置抓包的IP、端口以及过滤包大小等参数，以控制抓取的数据范围。循环自动抓包：利用WinDump工具实现循环自动抓包功能，类似于记录日志的方式保留抓包数据。当抓包数…...

编程日记 2023/9/1 5:38:19

taro 支付宝/微信小程序/h5 上传 - base64的那些事儿

支付宝小程序临时path转base64 - 基础库2.0以下 function getImageInfo(path) {return new Promise(resolve > {my.getImageInfo({src: path,success: res > {resolve(res)}})}) } export async function getBase64InAlipay({ id, path }) {const { width, height } awa…...

编程日记 2023/9/1 5:37:17

java之SpringBoot基础、前后端项目、MyBatisPlus、MySQL、vue、elementUi

文章目录 前言JC-1.快速上手SpringBootJC-1-1.SpringBoot入门程序制作（一）JC-1-2.SpringBoot入门程序制作（二）JC-1-3.SpringBoot入门程序制作（三）JC-1-4.SpringBoot入门程序制作（四）…...

编程日记 2023/9/1 5:36:16

Vue-Router 一篇搞定 Vue3

前言 在 Web 前端开发中，路由是非常重要的一环，但是路由到底是什么呢？ 从路由的用途上讲 路由是指随着浏览器地址栏的变化，展示给用户不同的页面。 从路由的实现原理上讲 路由是URL到函数的映射。它将 URL 和应用程序的不同部分…...

编程日记 2023/9/1 5:35:14

深度解读智能媒体服务的重组和进化

统一“顶设”的智能媒体服务。 邹娟｜演讲者 大家好，首先欢迎各位来到LVS的阿里云专场，我是来自阿里云视频云的邹娟。我本次分享的主题为《从规模化到全智能：智能媒体服务的重组与进化》。 本次分享分为以上四部分，一是…...

编程日记 2023/9/1 5:34:12

亲测有效！Win7中如何安装高版本的NodeJS

正常情况下，Win7支持的Node.js最高版本是V13.14，但在开发过程中，有不少Vue项目或其他需要依赖Node环境的项目，对Node版本要求都比较高。对此，我们要么重装操作系统到Win8以上，要么就得想办法在Win7中安装高…...

编程日记 2023/9/1 5:33:11

Python基础__with open()用法

1、open与with open区别 open（）完成后必须调用close()方法关闭文件，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的，由于文件读写时都有可能产生IOError，一旦出错&…...

编程日记 2023/9/1 5:32:10

深入理解 JavaScript 对象、属性、解构和增强语法

ECMA-262将对象定义为一组属性的无序集合。 1 内部属性描述 1.1 数据属性 [[Configurable]]：可配置性，直接定义在对象的属性该特性默认为true，表示可以对属性进行删除、修改等操作。[[Enumerable]]：可枚举性，直接定…...

编程日记 2023/9/1 5:31:09

2023年IT服务行业研究报告

第一章 行业概况 1.1 定义 IT服务行业是一个广泛的术语，涵盖了所有提供技术支持和服务的公司。这些服务包括系统集成，云计算服务，软件和硬件支持，网络服务，咨询服务，以及一系列其他类型的技术服务。此外&…...

编程日记 2023/9/1 5:30:08

腾讯云服务器镜像TencentOS Server有用过的吗？

腾讯云服务器镜像TencentOS Server操作系统有用过的吗？踩过坑吗？TencentOS性能和稳定性如何？TencentOS Server与CentOS保持兼容，在稳定性、性能、容器基础设施等核心能力方面做了全面的增强和优化，能为企业提供稳定高可…...

编程日记 2023/9/1 5:29:07

小区村庄集中生活废水处理设备厂家直销价格

小区村庄集中生活废水处理设备厂家直销价格 设备的构造 1、填料 该填料选用特制塑料和树脂组成，结构科学、新颖、填料比表面积达1000m2/m3，比重轻0.97g/cm3，不堵塞、易挂膜。 该填料是由纤细球体，网络外壳和通心多孔柱体组成的球形…...

编程日记 2023/9/1 5:28:06

Redisson实现分布式锁案例

Redisson实现分布式锁案例 引入依赖 <dependency><groupId>org.redisson</groupId><artifactId>redisson-spring-boot-starter</artifactId><version>3.23.2</version> </dependency>创建Redisson配置类 Configuration pub…...

编程日记 2023/9/1 5:27:04

Generated Knowledge Prompting for Commonsense Reasoning

本文是知识图谱系列相关的文章&#xff0c;针对《Generated Knowledge Prompting for Commonsense Reasoning》的翻译。 常识推理的生成知识提示 摘要1 引言2 生成知识提示3 实验设置4 实验结果5 相关工作6 结论 摘要 结合外部知识是否有利于常识推理&#xff0c;同时保持预训…...

编程日记 2023/9/1 5:26:02

mybatisPlus多数据源方案

背景 在微服务李娜一般一个服务只有一个数据源&#xff0c;但是在有的老项目或者一些特定场景需要多数据源链接不同的数据库&#xff0c;本文以mybatisPlus为基础给出解决方案 多数据源场景分类 情形一&#xff1a;项目启动就确定了情形一&#xff1a;一些sass系统里面动态确…...

编程日记 2023/9/1 5:25:01

linux 下常用变更-8

1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行&#xff0c;YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID&#xff1a; YW3…...

编程新知 2025/10/7 15:08:22

从零实现STL哈希容器：unordered_map/unordered_set封装详解

本篇文章是对C学习的STL哈希容器自主实现部分的学习分享 希望也能为你带来些帮助~ 那咱们废话不多说&#xff0c;直接开始吧&#xff01; 一、源码结构分析 1. SGISTL30实现剖析 // hash_set核心结构 template <class Value, class HashFcn, ...> class hash_set {ty…...

编程新知 2025/12/18 4:40:10

unix/linux，sudo，其发展历程详细时间线、由来、历史背景

sudo 的诞生和演化，本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来，让我们拨开时间的迷雾，一同探寻 sudo 那波澜壮阔（也颇为实用主义）的发展历程。 历史背景：su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前，Unix 系统管理员和需要特权操作的…...

编程新知 2025/11/18 21:31:41

LLM基础1_语言模型如何处理文本

基于GitHub项目&#xff1a;https://github.com/datawhalechina/llms-from-scratch-cn 工具介绍 tiktoken&#xff1a;OpenAI开发的专业"分词器" torch&#xff1a;Facebook开发的强力计算引擎&#xff0c;相当于超级计算器 理解词嵌入&#xff1a;给词语画"…...

编程新知 2025/9/25 5:16:24

【C++从零实现Json-Rpc框架】第六弹 —— 服务端模块划分

一、项目背景回顾 前五弹完成了Json-Rpc协议解析、请求处理、客户端调用等基础模块搭建。 本弹重点聚焦于服务端的模块划分与架构设计&#xff0c;提升代码结构的可维护性与扩展性。 二、服务端模块设计目标 高内聚低耦合&#xff1a;各模块职责清晰&#xff0c;便于独立开发…...

编程新知 2025/10/13 4:15:41

智能AI电话机器人系统的识别能力现状与发展水平

一、引言 随着人工智能技术的飞速发展&#xff0c;AI电话机器人系统已经从简单的自动应答工具演变为具备复杂交互能力的智能助手。这类系统结合了语音识别、自然语言处理、情感计算和机器学习等多项前沿技术&#xff0c;在客户服务、营销推广、信息查询等领域发挥着越来越重要…...

编程新知 2025/6/11 3:05:02

Yolov8 目标检测蒸馏学习记录

yolov8系列模型蒸馏基本流程&#xff0c;代码下载&#xff1a;这里本人提交了一个demo:djdll/Yolov8_Distillation: Yolov8轻量化_蒸馏代码实现 在轻量化模型设计中&#xff0c;**知识蒸馏&#xff08;Knowledge Distillation&#xff09;**被广泛应用&#xff0c;作为提升模型…...

编程新知 2025/12/14 3:26:26

Xela矩阵三轴触觉传感器的工作原理解析与应用场景

Xela矩阵三轴触觉传感器通过先进技术模拟人类触觉感知&#xff0c;帮助设备实现精确的力测量与位移监测。其核心功能基于磁性三维力测量与空间位移测量&#xff0c;能够捕捉多维触觉信息。该传感器的设计不仅提升了触觉感知的精度&#xff0c;还为机器人、医疗设备和制造业的智…...

编程新知 2025/12/20 23:19:45

ubuntu22.04有线网络无法连接，图标也没了

今天突然无法有线网络无法连接任何设备&#xff0c;并且图标都没了 错误案例 往上一顿搜索&#xff0c;试了很多博客都不行&#xff0c;比如 Ubuntu22.04右上角网络图标消失 最后解决的办法 下载网卡驱动&#xff0c;重新安装 操作步骤 查看自己网卡的型号 lspci | gre…...

编程新知 2025/12/21 1:00:01

k8s从入门到放弃之HPA控制器

k8s从入门到放弃之HPA控制器 Kubernetes中的Horizontal Pod Autoscaler (HPA)控制器是一种用于自动扩展部署、副本集或复制控制器中Pod数量的机制。它可以根据观察到的CPU利用率&#xff08;或其他自定义指标&#xff09;来调整这些对象的规模&#xff0c;从而帮助应用程序在负…...

编程新知 2025/10/30 1:59:28