当前位置： 首页 > news >正文

40亿个QQ号，限制1G内存，如何去重？【已通过代码实现】

news 2026/2/7 12:29:40

前几天发现一个有趣的文章 “40亿个QQ号，限制1G内存，如何去重？”，发现很有意思，就想着用代码实现一下，下面是分析和实现过程

一、审题分析

  • 一个 QQ 号现在最长有 11 位，因为 int 是四字节，数值范围是2的31次方，因此得使用 long 存储，但考虑到实现，使用 int 存储（10位QQ）；
  • 40亿 QQ 文件存储至少在 4000000000 * 4(字节) / 1024 / 1024 / 1024 ~= 14.9G, 所以不可能将文件全部加载到内存中；
  • 在进行去重时需要将之前的记录存储在内存中，上面分析到如果将QQ全部存储是不可能的，通过将 40亿QQ 分到不同文件中，但实际也是绕不过存储到内存中，分成多个文件只能加快读取（多线程读取），怎么办呢？
  • 仔细探究了一番，之前我们做项目的时候，为了去除百万级的数据重复问题，我们用了布隆过滤器；这次这个问题的话，需要从它下手。想了想它的原理“存在，可能存在；不存在，一定不存在”。得从“位”下手。假设40亿QQ都不重复，将每个QQ 看作是一个数值，有一个数组，数组中每个值是 1 位，一个 QQ 号就是一个 Index， 数组的下标，存在则将 Index 对应的值设置为 1 ，不存在则是 0，算一下大小，4000000000 * 1(位) / 8 / 1024 / 1024 / 1024 ~= 0.48G ，算完这个队列可以呀，不到 1g&#x

相关文章：

40亿个QQ号，限制1G内存，如何去重？【已通过代码实现】

前几天发现一个有趣的文章 “40亿个QQ号，限制1G内存，如何去重？”，发现很有意思，就想着用代码实现一下，下面是分析和实现过程 一、审题分析 一个 QQ 号现在最长有 11 位，因为 int 是四字节，数值范围是2的31次方，因此得使用 long 存储，但考虑到实现，使用 int 存储（1…...

编程日记 2023/6/2 22:56:12

Talk预告 | 新加坡国立大学张傲：10%成本定制类 GPT-4 多模态大模型

本期为TechBeat人工智能社区第502期线上Talk！ 北京时间06月01日(周四)20:00，新加坡国立大学在读博士生 — 张傲的Talk将准时在TechBeat人工智能社区开播！ 他与大家分享的主题是: “10%成本定制类 GPT-4 多模态大模型 ”，届时将介…...

编程日记 2023/6/2 22:51:11

从C语言到C++_13(string的模拟实现)深浅拷贝+传统/现代写法

前面已经对 string 类进行了简单的介绍和应用，大家只要能够正常使用即可。 在面试中，面试官总喜欢让学生自己 来模拟实现string类， 最主要是实现string类的构造、拷贝构造、赋值运算符重载以及析构函数。 为了更深入学习STL，下面我…...

编程日记 2023/6/2 22:46:10

reduce()方法详解

一、 定义和用法 reduce() 方法将数组缩减为单个值。 reduce() 方法为数组的每个值（从左到右）执行提供的函数。 函数的返回值存储在累加器中（结果/总计）。 注释：对没有值的数组元素，不执行 reduce() 方法。…...

编程日记 2023/6/2 22:41:09

C++虚假唤醒

概念： 虚假唤醒是指在使用条件变量时，线程被唤醒但条件并没有满足，导致线程执行错误的情况，这个过程就是虚假唤醒。 虚假唤醒弊端： 虚假唤醒会导致程序的正确性受到影响，因为唤醒的线程并没有满足条件&…...

编程日记 2023/6/2 22:36:08

【AI】dragonGPT - 单机部署、极速便捷

dragonGPT 从数据私有化，到prompt向量库匹配，再到查询，一条龙服务，单机部署，极简操作 pre a.需要下载gpt4all model到本地. ggml Model Download Link 然后将存放model的地址写入.env MODEL_PATH your pathb.…...

编程日记 2023/6/2 22:31:07

Uuiapp使用生命周期，路由跳转传参

Uniapp生命周期： 1. beforeCreate：在实例初始化之后，数据观测和事件配置之前被调用。 2. created：在实例创建完成后被立即调用。 3. beforeMount：在挂载开始之前被调用：相关的 render 函数首次被调用。 …...

编程日记 2023/6/2 22:26:06

定积分的计算（牛顿-莱布尼茨公式）习题

前置知识：定积分的计算（牛顿-莱布尼茨公式） 习题1 计算 ∫ 0 2 ( x 2 − 2 x 3 ) d x \int_0^2(x^2-2x3)dx ∫02​(x2−2x3)dx 解： \qquad 原式 ( 1 3 x 3 − x 2 3 x ) ∣ 0 2 ( 8 3 − 4 6 ) − 0 14 3 (\dfrac 13x^3-…...

编程日记 2023/6/2 22:21:05

leak 记录今天的一个小题

先看题, add没有大小限制,这里edit可以溢出8字节,也就是可以改后边的size,可以调用4次free没有调用函数只是把指针置0,show可以用一次. void __fastcall __noreturn main(__int64 a1, char **a2, char **a3) {init_0(a1, a2, a3);while ( 1 ){menu();switch ( read_n() ){cas…...

编程日记 2023/6/2 22:16:04

软考A计划-试题模拟含答案解析-卷二

点击跳转专栏>Unity3D特效百例点击跳转专栏>案例项目实战源码点击跳转专栏>游戏脚本-辅助自动化点击跳转专栏>Android控件全解手册点击跳转专栏>Scratch编程案例 👉关于作者 专注于Android/Unity和各种游戏开发技巧，以及各种资源分享&am…...

编程日记 2023/6/2 22:11:02

【C++】pthread

一、pthread简介 pthread是C98接口且只支持Linux&#xff0c;使用时需要包含头文件#include <pthread.h>&#xff0c;编译时需要链接pthread库&#xff0c;其中p是POSIX的缩写&#xff0c;而POSIX是Portable Operating System Interface的缩写&#xff0c;是IEEE为要在各…...

编程日记 2023/6/2 22:06:01

2023年前端面试题汇总-浏览器原理

1. 浏览器安全 1.1. 什么是 XSS 攻击&#xff1f; 1.1. 1. 概念 XSS 攻击指的是跨站脚本攻击&#xff0c;是一种代码注入攻击。攻击者通过在网站注入恶意脚本&#xff0c;使之在用户的浏览器上运行&#xff0c;从而盗取用户的信息如 cookie 等。 XSS 的本质是因为网站没有对…...

编程日记 2023/6/2 22:01:01

react介绍，react语法，react高级特性，react编程技巧

React是一个用于构建用户界面的JavaScript库。它由Facebook开发&#xff0c;于2013年首次发布。React的主要目标是提高应用程序的性能和可维护性。React采用了一种称为“组件”的模式&#xff0c;使开发人员可以将应用程序拆分为小而独立的部分&#xff0c;从而更容易编写和维护…...

编程日记 2023/6/2 21:55:59

Locust接口性能测试

谈到性能测试工具&#xff0c;我们首先想到的是LoadRunner或JMeter。LoadRunner是非常有名的商业性能测试工具&#xff0c;功能非常强大。但现在一般不推荐使用该工具来进行性能测试&#xff0c;主要是使用也较为复杂&#xff0c;而且该工具体积比较大&#xff0c;需要付费且价…...

编程日记 2023/6/2 21:50:58

Python类的特殊方法（通过故事来学习）

在一座森林里&#xff0c;住着三只动物&#xff1a;狼、兔和熊。这三只动物都有不同的特点和能力&#xff0c;但是它们所有的行为都可以被抽象成一个“动物”类。现在&#xff0c;让我们来看看Python中的类和特殊方法如何帮助我们实现这个故事。 首先&#xff0c;我们可以定义…...

编程日记 2023/6/2 21:45:57

Vue.js 中的父子组件通信方式

Vue.js 中的父子组件通信方式 在 Vue.js 中&#xff0c;组件是构建应用程序的基本单元。当我们在应用程序中使用组件时&#xff0c;组件之间的通信是非常重要的。在 Vue.js 中&#xff0c;父子组件通信是最常见的组件通信方式之一。在本文中&#xff0c;我们将讨论 Vue.js 中的…...

编程日记 2023/6/2 21:40:57

Python之并发编程二多进程理论

一、什么是进程 进程&#xff1a;正在进行的一个过程或者说一个任务。而负责执行任务则是cpu。 二、进程与程序的区别 程序仅仅只是一堆代码而已&#xff0c;而进程指的是程序的运行过程。 三、并发与并行 无论是并行还是并发&#xff0c;在用户看来都是’同时’运行的&am…...

编程日记 2023/6/2 21:35:55

纯干货:数据库连接耗时慢原因排查

背景 最近公司的社区相关的服务需要优化&#xff0c;由于对业务不熟悉&#xff0c;只能借助监控从一些慢接口开始尝试探索慢的原因。由于社区相关的功能务是公司小程序流量入口&#xff0c;所以相应的服务访问量还是比较高的。针对这类高访问的项目&#xff0c;任何不留神的地…...

编程日记 2023/6/2 21:30:54

【OneNet】| stm32+esp8266-01s—— OneNet初体验 | 平台注册及设备创建 | demo使用

系列文章目录 失败了也挺可爱&#xff0c;成功了就超帅。 文章目录 前言1. OneNet平台注册2. 创建多协议接入设备3. 硬件连接4. 下载并运行Demo4.1 Demo下载4.2 运行Demo本小节结束 前言 最近准备耍下 Onenet平台 。下载了官方demo 遇到几个问题 1、创建接入设备 因为平台网页…...

编程日记 2023/6/2 21:25:53

解决win无法删除多层嵌套文件夹

起因&#xff1a;昨天研究jpackage工具&#xff0c;不小心搞得一个文件夹里嵌套了好几百个文件夹&#xff0c;用win自己的删除删不掉&#xff0c;shiftdel直接删除也不行&#xff0c;直接弹窗删除错误&#xff1b; 后来用电脑管家下载了个“文件粉碎”&#xff0c;添加目录&am…...

编程日记 2023/6/2 21:20:51

网络六边形受到攻击

大家读完觉得有帮助记得关注和点赞&#xff01;&#xff01;&#xff01; 抽象 现代智能交通系统 &#xff08;ITS&#xff09; 的一个关键要求是能够以安全、可靠和匿名的方式从互联车辆和移动设备收集地理参考数据。Nexagon 协议建立在 IETF 定位器/ID 分离协议 &#xff08;…...

编程新知 2026/2/7 4:36:23

day52 ResNet18 CBAM

在深度学习的旅程中&#xff0c;我们不断探索如何提升模型的性能。今天&#xff0c;我将分享我在 ResNet18 模型中插入 CBAM&#xff08;Convolutional Block Attention Module&#xff09;模块&#xff0c;并采用分阶段微调策略的实践过程。通过这个过程&#xff0c;我不仅提升…...

编程新知 2025/11/9 1:27:18

关于nvm与node.js

1 安装nvm 安装过程中手动修改 nvm的安装路径&#xff0c; 以及修改 通过nvm安装node后正在使用的node的存放目录【这句话可能难以理解&#xff0c;但接着往下看你就了然了】 2 修改nvm中settings.txt文件配置 nvm安装成功后&#xff0c;通常在该文件中会出现以下配置&…...

编程新知 2026/1/28 15:17:32

【2025年】解决Burpsuite抓不到https包的问题

环境&#xff1a;windows11 burpsuite:2025.5 在抓取https网站时&#xff0c;burpsuite抓取不到https数据包&#xff0c;只显示&#xff1a; 解决该问题只需如下三个步骤&#xff1a; 1、浏览器中访问 http://burp 2、下载 CA certificate 证书 3、在设置--隐私与安全--…...

编程新知 2026/1/28 3:43:20

从零实现STL哈希容器：unordered_map/unordered_set封装详解

本篇文章是对C学习的STL哈希容器自主实现部分的学习分享 希望也能为你带来些帮助~ 那咱们废话不多说&#xff0c;直接开始吧&#xff01; 一、源码结构分析 1. SGISTL30实现剖析 // hash_set核心结构 template <class Value, class HashFcn, ...> class hash_set {ty…...

编程新知 2026/1/31 12:47:25

Java多线程实现之Thread类深度解析

Java多线程实现之Thread类深度解析 一、多线程基础概念1.1 什么是线程1.2 多线程的优势1.3 Java多线程模型 二、Thread类的基本结构与构造函数2.1 Thread类的继承关系2.2 构造函数 三、创建和启动线程3.1 继承Thread类创建线程3.2 实现Runnable接口创建线程 四、Thread类的核心…...

编程新知 2025/8/28 21:52:02

Redis的发布订阅模式与专业的 MQ（如 Kafka, RabbitMQ）相比，优缺点是什么？适用于哪些场景？

Redis 的发布订阅&#xff08;Pub/Sub&#xff09;模式与专业的 MQ&#xff08;Message Queue&#xff09;如 Kafka、RabbitMQ 进行比较&#xff0c;核心的权衡点在于&#xff1a;简单与速度 vs. 可靠与功能。 下面我们详细展开对比。 Redis Pub/Sub 的核心特点 它是一个发后…...

编程新知 2025/12/4 2:32:37

STM32HAL库USART源代码解析及应用

STM32HAL库USART源代码解析 前言STM32CubeIDE配置串口USART和UART的选择使用模式参数设置GPIO配置DMA配置中断配置硬件流控制使能生成代码解析和使用方法串口初始化__UART_HandleTypeDef结构体浅析HAL库代码实际使用方法使用轮询方式发送使用轮询方式接收使用中断方式发送使用中…...

编程新知 2026/1/31 13:18:46

多模态图像修复系统：基于深度学习的图片修复实现

多模态图像修复系统：基于深度学习的图片修复实现 1. 系统概述 本系统使用多模态大模型（Stable Diffusion Inpainting）实现图像修复功能，结合文本描述和图片输入，对指定区域进行内容修复。系统包含完整的数据处理、模型训练、推理部署流程。 import torch import numpy …...

编程新知 2025/9/9 21:28:16

[ACTF2020 新生赛]Include 1(php://filter伪协议)

题目 做法 启动靶机&#xff0c;点进去 点进去 查看URL&#xff0c;有 ?fileflag.php说明存在文件包含&#xff0c;原理是php://filter 协议 当它与包含函数结合时&#xff0c;php://filter流会被当作php文件执行。 用php://filter加编码&#xff0c;能让PHP把文件内容…...

编程新知 2026/1/30 2:28:32