当前位置： 首页 > news >正文

[论文笔记]DSSM

news 2026/2/7 10:15:17

引言

这是DSSM论文的阅读笔记，后续会有一篇文章来复现它并在中文数据集上验证效果。

本文的标题翻译过来就是利用点击数据学习网页搜索中深层结构化语义模型，这篇论文被归类为信息检索，但也可以用来做文本匹配。

这是一篇经典的工作，在DSSM之前，通常使用传统机器学习的方法，比如LSA、LDA来解决。本篇工作使文本匹配进入了深度学习时代。

摘要

在信息检索中要研究的问题是，给定一个查询(query)和一组文档(documents)，返回一个基于匹配度的排序(ranking)文档结果。

作者通过使用DNN将查询和文档映射到一个通用的低维(稠密向量)空间，通过计算该空间中的距离来表示它们的相关性。同时利用词哈希技术解决词表过大问题。

模型的优化策略是，最大化正确标签出现的条件概率，即最小化softmax交叉熵损失。通过不断迭代，希望给定一组query和文档的时候，能最大化地匹配到被点击过的文档的概率。

下面我们直接来看模型的结构。

模型结构

计算语义特征的DNN

image-20230831200632208

如论文中的图1所示，网络的输入是高维稀疏的文本词袋特征词向量(可以理解为ont-hot向量)，比如查询或文档中单词的计数，输出是低维语义空间中的稠密向量。

相关文章：

[论文笔记]DSSM

引言 这是DSSM论文的阅读笔记，后续会有一篇文章来复现它并在中文数据集上验证效果。 本文的标题翻译过来就是利用点击数据学习网页搜索中深层结构化语义模型，这篇论文被归类为信息检索，但也可以用来做文本匹配。 这是一篇经典的工作，在DSSM之前，通常使用传统机器学习的…...

编程日记 2023/9/1 5:44:25

Skip Connection——提高深度神经网络性能的利器

可以参考一下这篇知乎所讲 https://zhuanlan.zhihu.com/p/457590578 长跳跃连接用于将信息从编码器传播到解码器，以恢复在下采样期间丢失的信息...

编程日记 2023/9/1 5:43:25

EXCEL中点击单元格，所在行和列都改变颜色

在日常工作中，尤其是办公室工作人群，尝尝需要处理大量的数据，在对数据进行修改时，时长发生看错行的事情，导致数据越改越乱，因此，我常用的一种方法就是选中单元格时，所在行、列标记为…...

编程日记 2023/9/1 5:42:24

HAProxy（一）

四层负载均衡与七层负载均衡区别 四层负载均衡和七层负载均衡是两种不同的负载均衡方式，主要区别在于负载均衡的层级及其所支持的协议不同。 四层负载均衡，也称为传输层负载均衡，工作在 OSI 模型的传输层（第四层）&am…...

编程日记 2023/9/1 5:41:22

LeetCode--HOT100题（46）

目录 题目描述：114. 二叉树展开为链表（中等）题目接口解题思路代码 PS: 题目描述：114. 二叉树展开为链表（中等） 给你二叉树的根结点 root ，请你将它展开为一个单链表： 展开后的单链…...

编程日记 2023/9/1 5:40:21

深度探索JavaScript中的原型链机制

🏆作者简介，黑夜开发者，全栈领域新星创作者✌，CSDN博客专家，阿里云社区专家博主，2023年6月csdn上海赛道top4。 🏆数年电商行业从业经验，历任核心研发工程师，项目技术负责…...

编程日记 2023/9/1 5:39:21

一种基于WinDump自动抓包实现方法

本发明的技术方案包括以下步骤和组件： 配置抓包参数：设置抓包的IP、端口以及过滤包大小等参数，以控制抓取的数据范围。循环自动抓包：利用WinDump工具实现循环自动抓包功能，类似于记录日志的方式保留抓包数据。当抓包数…...

编程日记 2023/9/1 5:38:19

taro 支付宝/微信小程序/h5 上传 - base64的那些事儿

支付宝小程序临时path转base64 - 基础库2.0以下 function getImageInfo(path) {return new Promise(resolve > {my.getImageInfo({src: path,success: res > {resolve(res)}})}) } export async function getBase64InAlipay({ id, path }) {const { width, height } awa…...

编程日记 2023/9/1 5:37:17

java之SpringBoot基础、前后端项目、MyBatisPlus、MySQL、vue、elementUi

文章目录 前言JC-1.快速上手SpringBootJC-1-1.SpringBoot入门程序制作（一）JC-1-2.SpringBoot入门程序制作（二）JC-1-3.SpringBoot入门程序制作（三）JC-1-4.SpringBoot入门程序制作（四）…...

编程日记 2023/9/1 5:36:16

Vue-Router 一篇搞定 Vue3

前言 在 Web 前端开发中，路由是非常重要的一环，但是路由到底是什么呢？ 从路由的用途上讲 路由是指随着浏览器地址栏的变化，展示给用户不同的页面。 从路由的实现原理上讲 路由是URL到函数的映射。它将 URL 和应用程序的不同部分…...

编程日记 2023/9/1 5:35:14

深度解读智能媒体服务的重组和进化

统一“顶设”的智能媒体服务。 邹娟｜演讲者 大家好，首先欢迎各位来到LVS的阿里云专场，我是来自阿里云视频云的邹娟。我本次分享的主题为《从规模化到全智能：智能媒体服务的重组与进化》。 本次分享分为以上四部分，一是…...

编程日记 2023/9/1 5:34:12

亲测有效！Win7中如何安装高版本的NodeJS

正常情况下，Win7支持的Node.js最高版本是V13.14，但在开发过程中，有不少Vue项目或其他需要依赖Node环境的项目，对Node版本要求都比较高。对此，我们要么重装操作系统到Win8以上，要么就得想办法在Win7中安装高…...

编程日记 2023/9/1 5:33:11

Python基础__with open()用法

1、open与with open区别 open（）完成后必须调用close()方法关闭文件，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的，由于文件读写时都有可能产生IOError，一旦出错&…...

编程日记 2023/9/1 5:32:10

深入理解 JavaScript 对象、属性、解构和增强语法

ECMA-262将对象定义为一组属性的无序集合。 1 内部属性描述 1.1 数据属性 [[Configurable]]：可配置性，直接定义在对象的属性该特性默认为true，表示可以对属性进行删除、修改等操作。[[Enumerable]]：可枚举性，直接定…...

编程日记 2023/9/1 5:31:09

2023年IT服务行业研究报告

第一章 行业概况 1.1 定义 IT服务行业是一个广泛的术语，涵盖了所有提供技术支持和服务的公司。这些服务包括系统集成，云计算服务，软件和硬件支持，网络服务，咨询服务，以及一系列其他类型的技术服务。此外&…...

编程日记 2023/9/1 5:30:08

腾讯云服务器镜像TencentOS Server有用过的吗？

腾讯云服务器镜像TencentOS Server操作系统有用过的吗？踩过坑吗？TencentOS性能和稳定性如何？TencentOS Server与CentOS保持兼容，在稳定性、性能、容器基础设施等核心能力方面做了全面的增强和优化，能为企业提供稳定高可…...

编程日记 2023/9/1 5:29:07

小区村庄集中生活废水处理设备厂家直销价格

小区村庄集中生活废水处理设备厂家直销价格 设备的构造 1、填料 该填料选用特制塑料和树脂组成，结构科学、新颖、填料比表面积达1000m2/m3，比重轻0.97g/cm3，不堵塞、易挂膜。 该填料是由纤细球体，网络外壳和通心多孔柱体组成的球形…...

编程日记 2023/9/1 5:28:06

Redisson实现分布式锁案例

Redisson实现分布式锁案例 引入依赖 <dependency><groupId>org.redisson</groupId><artifactId>redisson-spring-boot-starter</artifactId><version>3.23.2</version> </dependency>创建Redisson配置类 Configuration pub…...

编程日记 2023/9/1 5:27:04

Generated Knowledge Prompting for Commonsense Reasoning

本文是知识图谱系列相关的文章&#xff0c;针对《Generated Knowledge Prompting for Commonsense Reasoning》的翻译。 常识推理的生成知识提示 摘要1 引言2 生成知识提示3 实验设置4 实验结果5 相关工作6 结论 摘要 结合外部知识是否有利于常识推理&#xff0c;同时保持预训…...

编程日记 2023/9/1 5:26:02

mybatisPlus多数据源方案

背景 在微服务李娜一般一个服务只有一个数据源&#xff0c;但是在有的老项目或者一些特定场景需要多数据源链接不同的数据库&#xff0c;本文以mybatisPlus为基础给出解决方案 多数据源场景分类 情形一&#xff1a;项目启动就确定了情形一&#xff1a;一些sass系统里面动态确…...

编程日记 2023/9/1 5:25:01

遍历 Map 类型集合的方法汇总

1 方法一 先用方法 keySet() 获取集合中的所有键。再通过 gey(key) 方法用对应键获取值 import java.util.HashMap; import java.util.Set;public class Test {public static void main(String[] args) {HashMap hashMap new HashMap();hashMap.put("语文",99);has…...

编程新知 2026/1/24 15:08:45

OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别

OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别 直接训练提示词嵌入向量的核心区别 您提到的代码： prompt_embedding = initial_embedding.clone().requires_grad_(True) optimizer = torch.optim.Adam([prompt_embedding...

编程新知 2025/7/4 0:50:01

dify打造数据可视化图表

一、概述 在日常工作和学习中&#xff0c;我们经常需要和数据打交道。无论是分析报告、项目展示&#xff0c;还是简单的数据洞察&#xff0c;一个清晰直观的图表&#xff0c;往往能胜过千言万语。 一款能让数据可视化变得超级简单的 MCP Server&#xff0c;由蚂蚁集团 AntV 团队…...

编程新知 2026/1/20 20:10:03

【JVM】Java虚拟机（二）——垃圾回收

目录 一、如何判断对象可以回收 &#xff08;一&#xff09;引用计数法 &#xff08;二&#xff09;可达性分析算法 二、垃圾回收算法 &#xff08;一&#xff09;标记清除 &#xff08;二&#xff09;标记整理 &#xff08;三&#xff09;复制 &#xff08;四&#xff…...

编程新知 2026/1/31 9:49:23

打手机检测算法AI智能分析网关V4守护公共/工业/医疗等多场景安全应用

一、方案背景​ 在现代生产与生活场景中&#xff0c;如工厂高危作业区、医院手术室、公共场景等&#xff0c;人员违规打手机的行为潜藏着巨大风险。传统依靠人工巡查的监管方式&#xff0c;存在效率低、覆盖面不足、判断主观性强等问题&#xff0c;难以满足对人员打手机行为精…...

编程新知 2026/1/28 8:48:34

c++第七天 继承与派生2

这一篇文章主要内容是 派生类构造函数与析构函数 在派生类中重写基类成员 以及多继承 第一部分&#xff1a;派生类构造函数与析构函数 当创建一个派生类对象时&#xff0c;基类成员是如何初始化的&#xff1f; 1.当派生类对象创建的时候&#xff0c;基类成员的初始化顺序 …...

编程新知 2026/2/2 21:55:02

DeepSeek源码深度解析 × 华为仓颉语言编程精粹——从MoE架构到全场景开发生态

前言 在人工智能技术飞速发展的今天&#xff0c;深度学习与大模型技术已成为推动行业变革的核心驱动力&#xff0c;而高效、灵活的开发工具与编程语言则为技术创新提供了重要支撑。本书以两大前沿技术领域为核心&#xff0c;系统性地呈现了两部深度技术著作的精华&#xff1a;…...

编程新知 2026/2/5 4:33:51

算术操作符与类型转换：从基础到精通

目录 前言&#xff1a;从基础到实践——探索运算符与类型转换的奥秘 算术操作符超级详解 算术操作符&#xff1a;、-、*、/、% 赋值操作符&#xff1a;和复合赋值 单⽬操作符&#xff1a;、--、、- 前言&#xff1a;从基础到实践——探索运算符与类型转换的奥秘 在先前的文…...

编程新知 2026/2/5 4:00:38

React核心概念：State是什么？如何用useState管理组件自己的数据？

系列回顾&#xff1a; 在上一篇《React入门第一步》中&#xff0c;我们已经成功创建并运行了第一个React项目。我们学会了用Vite初始化项目&#xff0c;并修改了App.jsx组件&#xff0c;让页面显示出我们想要的文字。但是&#xff0c;那个页面是“死”的&#xff0c;它只是静态…...

编程新知 2025/11/3 8:29:51

break 语句和 continue 语句

break语句和continue语句都具有跳转作用&#xff0c;可以让代码不按既有的顺序执行 break break语句用于跳出代码块或循环 1 2 3 4 5 6 for (var i 0; i < 5; i) { if (i 3){ break; } console.log(i); } continue continue语句用于立即终…...

编程新知 2026/1/24 18:24:35