当前位置： 首页 > news >正文

算法 # SimHash 算法：文本相似度、文本去重、海量文本快速查询

news 2026/5/12 15:12:08

SimHash

SimHash 是 Google 发明的海量网页去重的高效算法，将原始的文本映射为 64 位的二进制串，然后通过比较二进制的差异进而表示原始文本内容的差异。
传统的 Hash 算法只负责将原始内容尽量均匀随机地映射为一个 hash 值，原理上相当于伪随机数产生算法。SimHash 本身属于一种局部敏感哈希算法，产生的 hash 签名在一定程度上可以表征原内容的相似度。

SimHash算法分为5个步骤：分词、hash、加权、合并、降维。


100101 =》 加权（4）=》4 -4 -4 4 -4 4 （对于0这里是当-1用，不是传统意义上的0）
合并就是所有词求和，降维就是 >0 记1，<0 记0。

【关于权重：暴力的权重策略就是对所有的词编号即可，但这个编号顺序用一些策略优化或许可以起到更好的效果。】

文本相似度

海明距离： 两个码字的对应比特取值不同的比特数称为这两个码字的海明距离。一个有效编码集中, 任意两个码字的海明距离的最小值称为该编码集的海明距离。

对每篇文档根据 SimHash 算出签名后，再计算两个签名的海明距离（两个二进制异或

相关文章：

算法 # SimHash 算法：文本相似度、文本去重、海量文本快速查询

SimHash SimHash 是 Google 发明的海量网页去重的高效算法，将原始的文本映射为 64 位的二进制串，然后通过比较二进制的差异进而表示原始文本内容的差异。 传统的 Hash 算法只负责将原始内容尽量均匀随机地映射为一个 hash 值，原理上相当于伪随机数产生算法。SimHash 本身属…...

编程日记 2023/5/7 12:04:33

Java程序设计-JSP程序设计-SSM校园二手交易系统

摘 要 网络的广泛应用给生活带来了十分的便利。所以把二手物品交易管理与现在网络相结合&#xff0c;利用java技术建设二手物品交易系统&#xff0c;实现二手物品交易的信息化。则对于进一步提高二手物品交易管理发展&#xff0c;丰富二手物品交易管理经验能起到不少的促进作用…...

编程日记 2023/5/9 20:50:25

springBoot 消息转换器和自定义消息转换器

public interface HttpMessageConverter<T> {/*** 能否以指定的类读取*/boolean canRead(Class<?> clazz, Nullable MediaType mediaType);/*** 能否以指定的类写*/boolean canWrite(Class<?> clazz, Nullable MediaType mediaType);/*** 返回支持是消息转…...

编程日记 2023/5/7 21:46:02

机器学习笔记之流形模型——标准流模型基本介绍

机器学习笔记之流形模型——标准流模型基本介绍引言回顾&#xff1a;隐变量模型的缺陷标准流(Normalizing Flow\text{Normalizing Flow}Normalizing Flow)思想分布变换的推导过程引言 本节将介绍概率生成模型——标准流模型(Normalizing Flow\text{Normalizing Flow}Normalizi…...

编程日记 2023/4/24 0:30:24

MIT：只需一层RF传感器，就能为AR头显赋予“X光”穿透视力

近年来&#xff0c;AR在仓库、工厂等场景得到应用&#xff0c;比如GlobalFoundries、亚马逊、菜鸟裹裹就使用摄像头扫描定位货品&#xff0c;并使用AR来导航和标记。目前&#xff0c;这种方案主要基于视觉算法&#xff0c;因此仅能定位视线范围内的目标。然而&#xff0c;在一些…...

编程日记 2023/5/8 9:56:19

对 Dom 树的理解

什么是 DOM 从网络传给渲染引擎的 HTML 文件字节流是无法直接被渲染引擎理解的&#xff0c;所以要将其转化为渲染引擎能够理解的内部结构&#xff0c;这个结构就是 DOM。 DOM 提供了对 HTML 文档结构化的表述。 在渲染引擎中&#xff0c;DOM 有三个层面的作用&#xff1a; …...

编程日记 2023/4/29 7:48:06

电商搜索入门

一、搜索用途通常一个电商平台里面的商品&#xff0c;少则几十万多则上千万甚至上亿的sku&#xff0c;在这么多的商品中&#xff0c;如何让用户可以快速查找到自己想要的商品&#xff0c;那么就需要用到搜索功能来实现。通过分析数据发现&#xff0c;接近40%的点击率是直接通过…...

编程日记 2023/5/9 11:46:36

4.3.1初阶数据结构(C语言)(无头不循环单链表)

1.完整的单链表注释&#xff1a; #pragma once #define _CRT_SECURE_NO_WARNINGS 1 #include<stdio.h> #include<stdlib.h>typedef int SLTDateType; // 重定义数据类型typedef struct SListNode // 定义结构体类型的节点 {SLTDateType data;str…...

编程日记 2023/4/22 19:42:24

一文深度解读音视频行业技术发展历程

从1948年的香农定律&#xff0c;到音视频的今天。IMMENSE、36氪&#xff5c;作者 北京时间2月28日凌晨&#xff0c;FIFA年度颁奖典礼在巴黎举行。梅西荣膺年度最佳球员&#xff0c;斯卡洛尼当选年度最佳男足主帅&#xff0c;马丁内斯荣获年度最佳男足门将&#xff01;阿根廷因…...

编程日记 2023/5/6 0:25:29

面向对象拓展贴

1. 类和对象的内存分配机制 1.1 分配机制  Java 内存的结构分析 栈&#xff1a; 一般存放基本数据类型(局部变量)堆&#xff1a; 存放对象(Cat cat , 数组等)方法区&#xff1a;常量池(常量&#xff0c;比如字符串)&#xff0c; 类加载信息示意图 [Cat (name, age, price)]…...

编程日记 2023/5/4 3:02:47

Android仿QQ未读消息拖拽粘性效果

效果图原理分析首先是在指定某个位置画一个圆出来&#xff0c;手指按到这个圆的时候再绘制一个可以根据手指位置移动的圆&#xff0c;随着手指的移动两个圆逐渐分离&#xff0c;分离的过程中两圆中间出现连接带&#xff0c;随着两圆圆心距的增大&#xff0c;半径也是根据某一比…...

编程日记 2023/4/29 22:50:27

Linux 打包压缩解压指令 gzip bzip2 tar

总结自鸟哥Linux私房菜 Linux压缩文件的扩展名大多是&#xff1a;“.tar, .tar.gz, .tgz, .gz, .Z, .bz2, *.xz”&#xff0c; 不同压缩文件使用了不同的算法&#xff0c;不能通用压缩或解压 常见扩展名&#xff1a; *.Z compress 程序压缩的文件&#xff1b; *.zip zip 程序…...

编程日记 2023/5/7 14:19:48

系统升级丨分享返佣，助力商企实现低成本高转化营销

秉承助力传统经济数字化转型的长远理念 酷雷曼VR再次在VR全景营销中发力 创新研发“分享返佣”功能 进一步拓宽商企VR全景营销渠道 助力商企搭建低成本、高传播、高转化 的VR营销体系 01、什么是“分享返佣”&#xff1f; ●“分享返佣”即“推广”返佣&#xff0c;是酷…...

编程日记 2023/4/26 6:12:55

机试代码模板

文章目录进制转换高精度加/乘法搜索BFSDFS树二叉树遍历图Dijkstra算法Kruskal算法动态规划最长公共子序列(LCS)最长上升子序列(LIS)KMP算法进制转换 #include <iostream> #include <string> #include <cmath> #include <iomanip> #include <algori…...

编程日记 2023/4/29 22:52:27

Java性能优化-垃圾回收算法-理解CMS回收器

垃圾回收算法 理解 CMS回收器 三个基本操作 1.回收新生代&#xff08;同时暂停所有的应用线程&#xff09; 2.运行并发周期来清理老年代数据 3.如果有必要则FULL GC压缩老年代 当发生新生代回收 &#xff0c; 如果老年代没有足够的空间容纳晋升的对象则执行FULL GC,所有线程停…...

编程日记 2023/5/6 11:06:37

Oracle11G的表空间数据文件大小限制问题处理

1.表空间数据文件容量 oracle11g的表空间数据文件容量与DB_BLOCK_SIZE有关&#xff0c;在初始建库时&#xff0c;DB_BLOCK_SIZE要根据实际需要&#xff0c;设置为 4K,8K、16K、32K、64K等几种大小&#xff0c;ORACLE的物理文件最大只允许4194304个数据块&#xff08;由操作系统…...

编程日记 2023/5/5 10:01:28

计算机三级｜网络技术｜备考指南｜网络系统结构与设计的基本原则｜1

一、网络系统结构与设计的基本原则宽带城域网的关键技术p1 p2 p3设计一个宽带城域网涉及“三个平台一个出口”&#xff0c;即网络平台、业务平台、管理平台和城市宽带出口。宽带城域网&#xff1a;宽带城域网划分为三个层次&#xff1a;核心层、汇聚层、接入层。核心层承担高速…...

编程日记 2023/5/7 16:00:46

基于 TI Sitara系列 AM64x核心板——程序自启动说明

前 言 本文主要介绍AM64x的Cortex-A53、Cortex-M4F和Cortex-R5F核心程序自启动使用说明。默认使用AM6442进行测试演示，AM6412测试步骤与之类似。 本说明文档适用开发环境如下： Windows开发环境：Windows 7 64bit、Windows 10 64bit 虚拟机：VMware15.5.5 Linux开发环境：Ubun…...

编程日记 2023/4/29 22:55:22

自学5个月Java找到了9K的工作，我的方式值得大家借鉴 第一部分

我是去年9月22日才正式学习Java的&#xff0c;因为在国营单位工作了4年&#xff0c;在天津一个月工资只有5000块&#xff0c;而且看不到任何晋升的希望&#xff0c;如果想要往上走&#xff0c;那背后就一定要有关系才行。而且国营单位的气氛是你干的多了&#xff0c;领导觉得你…...

编程日记 2023/5/7 14:41:41

微电影广告的内容突破方案

微电影作为新媒体时代背景的产物&#xff0c;深受大众的欢迎&#xff0c;同时&#xff0c;微电影广告在微电影模式环境下应运而生&#xff0c;以自己独特的传播优势&#xff0c;俘获了大量企业主的青睐&#xff0c;也获得了广大青年群体的喜爱。微电影广告欲确保可持续发展&…...

编程日记 2023/4/29 22:58:02

自建链接管理服务OtterLink：从部署到实战的完整指南

1. 项目概述&#xff1a;一个链接管理的“瑞士军刀” 最近在折腾个人知识库和内容分发&#xff0c;发现一个痛点&#xff1a;手头攒了太多链接。技术文章、工具网站、项目仓库、临时笔记链接……散落在浏览器书签、聊天记录、备忘录里&#xff0c;时间一长要么找不到&#xff…...

编程新知 2026/5/12 14:44:24

ncmdumpGUI：解锁网易云音乐NCM文件格式的终极解决方案

ncmdumpGUI&#xff1a;解锁网易云音乐NCM文件格式的终极解决方案 【免费下载链接】ncmdumpGUI C#版本网易云音乐ncm文件格式转换&#xff0c;Windows图形界面版本 项目地址: https://gitcode.com/gh_mirrors/nc/ncmdumpGUI 还在为网易云音乐下载的NCM格式文件无法在其…...

编程新知 2026/5/12 13:11:57

AI编程助手色彩科学技能库：从OKLCH到APCA的现代色彩实践

1. 项目概述&#xff1a;一个为AI编程助手打造的“色彩科学专家”技能库如果你和我一样&#xff0c;经常在开发与色彩相关的工具、设计系统&#xff0c;或者需要向团队解释为什么某个颜色方案行不通时&#xff0c;总得反复查阅同一堆资料——那个讲解OKLAB色彩空间的视频、那篇…...

编程新知 2026/5/12 12:50:05

如何通过 Pretty TypeScript Errors 提升开发效率：下载量激增背后的成功秘诀 [特殊字符]

如何通过 Pretty TypeScript Errors 提升开发效率&#xff1a;下载量激增背后的成功秘诀 &#x1f525; 【免费下载链接】pretty-ts-errors &#x1f535; Make TypeScript errors prettier and human-readable in VSCode &#x1f380; 项目地址: https://gitcode.com/gh_mi…...

编程新知 2026/5/12 11:29:26

ZCU102开发板新手避坑：从官网下载MIG例程到LED闪烁的完整流程（Vivado 2023.1）

ZCU102开发板新手避坑&#xff1a;从官网下载MIG例程到LED闪烁的完整流程&#xff08;Vivado 2023.1&#xff09; 刚拿到ZCU102开发板时&#xff0c;那种既兴奋又忐忑的心情我至今记忆犹新。作为Xilinx旗下的高端FPGA开发平台&#xff0c;ZCU102强大的性能和丰富的接口让它成为…...

编程新知 2026/5/12 10:26:39

5G FR1与FR2频段下，SSB的Kssb子载波偏移配置实战与避坑指南

5G FR1与FR2频段下SSB的Kssb子载波偏移配置实战与避坑指南 在5G网络部署中&#xff0c;同步信号块&#xff08;SSB&#xff09;的配置直接关系到终端设备能否成功接入网络。其中&#xff0c;Kssb子载波偏移参数在不同频段&#xff08;FR1与FR2&#xff09;下的取值范围和单位存…...

编程新知 2026/5/12 8:52:17

从零封装Cesium测量工具：我踩过的3个坑和性能优化心得（鼠标事件、坐标拾取、内存泄漏）

从零封装Cesium测量工具&#xff1a;我踩过的3个坑和性能优化心得 第一次在项目中集成Cesium测量工具时&#xff0c;我天真地以为这不过是调用几个API的简单工作。直到用户反馈地图越来越卡、测量结果偶尔出现诡异偏差时&#xff0c;我才意识到自己掉进了多少陷阱。本文将分享三…...

编程新知 2026/5/12 8:33:53

基于MCP协议连接AI与CDP：BlueConic-MCP项目实战解析

1. 项目概述&#xff1a;当营销技术遇上AI代理最近在折腾AI应用开发&#xff0c;特别是围绕OpenAI的Assistant API和各类AI Agent框架时&#xff0c;有一个痛点越来越明显&#xff1a;这些智能体能力再强&#xff0c;如果它们对业务的核心数据一无所知&#xff0c;那也只是一个…...

编程新知 2026/5/12 8:13:23

深入解析Arm架构TLB维护机制与A64指令集

1. TLB维护机制基础解析在处理器架构中&#xff0c;TLB&#xff08;Translation Lookaside Buffer&#xff09;是内存管理单元&#xff08;MMU&#xff09;的核心组件&#xff0c;负责缓存虚拟地址到物理地址的转换结果。当CPU需要访问内存时&#xff0c;首先会查询TLB获取地址…...

编程新知 2026/5/12 5:35:34

Vexip UI暗黑主题实现：CSS变量与主题切换完全指南 [特殊字符]

Vexip UI暗黑主题实现&#xff1a;CSS变量与主题切换完全指南 &#x1f3a8; 【免费下载链接】vexip-ui A Vue 3 UI library, highly customizability, full TypeScript, performance pretty good. 项目地址: https://gitcode.com/gh_mirrors/ve/vexip-ui 想要为你的Vue…...

编程新知 2026/5/12 5:06:03