当前位置： 首页 > news >正文

40亿个QQ号，限制1G内存，如何去重？【已通过代码实现】

news 2026/2/6 13:10:17

前几天发现一个有趣的文章 “40亿个QQ号，限制1G内存，如何去重？”，发现很有意思，就想着用代码实现一下，下面是分析和实现过程

一、审题分析

  • 一个 QQ 号现在最长有 11 位，因为 int 是四字节，数值范围是2的31次方，因此得使用 long 存储，但考虑到实现，使用 int 存储（10位QQ）；
  • 40亿 QQ 文件存储至少在 4000000000 * 4(字节) / 1024 / 1024 / 1024 ~= 14.9G, 所以不可能将文件全部加载到内存中；
  • 在进行去重时需要将之前的记录存储在内存中，上面分析到如果将QQ全部存储是不可能的，通过将 40亿QQ 分到不同文件中，但实际也是绕不过存储到内存中，分成多个文件只能加快读取（多线程读取），怎么办呢？
  • 仔细探究了一番，之前我们做项目的时候，为了去除百万级的数据重复问题，我们用了布隆过滤器；这次这个问题的话，需要从它下手。想了想它的原理“存在，可能存在；不存在，一定不存在”。得从“位”下手。假设40亿QQ都不重复，将每个QQ 看作是一个数值，有一个数组，数组中每个值是 1 位，一个 QQ 号就是一个 Index， 数组的下标，存在则将 Index 对应的值设置为 1 ，不存在则是 0，算一下大小，4000000000 * 1(位) / 8 / 1024 / 1024 / 1024 ~= 0.48G ，算完这个队列可以呀，不到 1g&#x

相关文章：

40亿个QQ号，限制1G内存，如何去重？【已通过代码实现】

前几天发现一个有趣的文章 “40亿个QQ号，限制1G内存，如何去重？”，发现很有意思，就想着用代码实现一下，下面是分析和实现过程 一、审题分析 一个 QQ 号现在最长有 11 位，因为 int 是四字节，数值范围是2的31次方，因此得使用 long 存储，但考虑到实现，使用 int 存储（1…...

编程日记 2023/6/2 22:56:12

Talk预告 | 新加坡国立大学张傲：10%成本定制类 GPT-4 多模态大模型

本期为TechBeat人工智能社区第502期线上Talk！ 北京时间06月01日(周四)20:00，新加坡国立大学在读博士生 — 张傲的Talk将准时在TechBeat人工智能社区开播！ 他与大家分享的主题是: “10%成本定制类 GPT-4 多模态大模型 ”，届时将介…...

编程日记 2023/6/2 22:51:11

从C语言到C++_13(string的模拟实现)深浅拷贝+传统/现代写法

前面已经对 string 类进行了简单的介绍和应用，大家只要能够正常使用即可。 在面试中，面试官总喜欢让学生自己 来模拟实现string类， 最主要是实现string类的构造、拷贝构造、赋值运算符重载以及析构函数。 为了更深入学习STL，下面我…...

编程日记 2023/6/2 22:46:10

reduce()方法详解

一、 定义和用法 reduce() 方法将数组缩减为单个值。 reduce() 方法为数组的每个值（从左到右）执行提供的函数。 函数的返回值存储在累加器中（结果/总计）。 注释：对没有值的数组元素，不执行 reduce() 方法。…...

编程日记 2023/6/2 22:41:09

C++虚假唤醒

概念： 虚假唤醒是指在使用条件变量时，线程被唤醒但条件并没有满足，导致线程执行错误的情况，这个过程就是虚假唤醒。 虚假唤醒弊端： 虚假唤醒会导致程序的正确性受到影响，因为唤醒的线程并没有满足条件&…...

编程日记 2023/6/2 22:36:08

【AI】dragonGPT - 单机部署、极速便捷

dragonGPT 从数据私有化，到prompt向量库匹配，再到查询，一条龙服务，单机部署，极简操作 pre a.需要下载gpt4all model到本地. ggml Model Download Link 然后将存放model的地址写入.env MODEL_PATH your pathb.…...

编程日记 2023/6/2 22:31:07

Uuiapp使用生命周期，路由跳转传参

Uniapp生命周期： 1. beforeCreate：在实例初始化之后，数据观测和事件配置之前被调用。 2. created：在实例创建完成后被立即调用。 3. beforeMount：在挂载开始之前被调用：相关的 render 函数首次被调用。 …...

编程日记 2023/6/2 22:26:06

定积分的计算（牛顿-莱布尼茨公式）习题

前置知识：定积分的计算（牛顿-莱布尼茨公式） 习题1 计算 ∫ 0 2 ( x 2 − 2 x 3 ) d x \int_0^2(x^2-2x3)dx ∫02​(x2−2x3)dx 解： \qquad 原式 ( 1 3 x 3 − x 2 3 x ) ∣ 0 2 ( 8 3 − 4 6 ) − 0 14 3 (\dfrac 13x^3-…...

编程日记 2023/6/2 22:21:05

leak 记录今天的一个小题

先看题, add没有大小限制,这里edit可以溢出8字节,也就是可以改后边的size,可以调用4次free没有调用函数只是把指针置0,show可以用一次. void __fastcall __noreturn main(__int64 a1, char **a2, char **a3) {init_0(a1, a2, a3);while ( 1 ){menu();switch ( read_n() ){cas…...

编程日记 2023/6/2 22:16:04

软考A计划-试题模拟含答案解析-卷二

点击跳转专栏>Unity3D特效百例点击跳转专栏>案例项目实战源码点击跳转专栏>游戏脚本-辅助自动化点击跳转专栏>Android控件全解手册点击跳转专栏>Scratch编程案例 👉关于作者 专注于Android/Unity和各种游戏开发技巧，以及各种资源分享&am…...

编程日记 2023/6/2 22:11:02

【C++】pthread

一、pthread简介 pthread是C98接口且只支持Linux&#xff0c;使用时需要包含头文件#include <pthread.h>&#xff0c;编译时需要链接pthread库&#xff0c;其中p是POSIX的缩写&#xff0c;而POSIX是Portable Operating System Interface的缩写&#xff0c;是IEEE为要在各…...

编程日记 2023/6/2 22:06:01

2023年前端面试题汇总-浏览器原理

1. 浏览器安全 1.1. 什么是 XSS 攻击&#xff1f; 1.1. 1. 概念 XSS 攻击指的是跨站脚本攻击&#xff0c;是一种代码注入攻击。攻击者通过在网站注入恶意脚本&#xff0c;使之在用户的浏览器上运行&#xff0c;从而盗取用户的信息如 cookie 等。 XSS 的本质是因为网站没有对…...

编程日记 2023/6/2 22:01:01

react介绍，react语法，react高级特性，react编程技巧

React是一个用于构建用户界面的JavaScript库。它由Facebook开发&#xff0c;于2013年首次发布。React的主要目标是提高应用程序的性能和可维护性。React采用了一种称为“组件”的模式&#xff0c;使开发人员可以将应用程序拆分为小而独立的部分&#xff0c;从而更容易编写和维护…...

编程日记 2023/6/2 21:55:59

Locust接口性能测试

谈到性能测试工具&#xff0c;我们首先想到的是LoadRunner或JMeter。LoadRunner是非常有名的商业性能测试工具&#xff0c;功能非常强大。但现在一般不推荐使用该工具来进行性能测试&#xff0c;主要是使用也较为复杂&#xff0c;而且该工具体积比较大&#xff0c;需要付费且价…...

编程日记 2023/6/2 21:50:58

Python类的特殊方法（通过故事来学习）

在一座森林里&#xff0c;住着三只动物&#xff1a;狼、兔和熊。这三只动物都有不同的特点和能力&#xff0c;但是它们所有的行为都可以被抽象成一个“动物”类。现在&#xff0c;让我们来看看Python中的类和特殊方法如何帮助我们实现这个故事。 首先&#xff0c;我们可以定义…...

编程日记 2023/6/2 21:45:57

Vue.js 中的父子组件通信方式

Vue.js 中的父子组件通信方式 在 Vue.js 中&#xff0c;组件是构建应用程序的基本单元。当我们在应用程序中使用组件时&#xff0c;组件之间的通信是非常重要的。在 Vue.js 中&#xff0c;父子组件通信是最常见的组件通信方式之一。在本文中&#xff0c;我们将讨论 Vue.js 中的…...

编程日记 2023/6/2 21:40:57

Python之并发编程二多进程理论

一、什么是进程 进程&#xff1a;正在进行的一个过程或者说一个任务。而负责执行任务则是cpu。 二、进程与程序的区别 程序仅仅只是一堆代码而已&#xff0c;而进程指的是程序的运行过程。 三、并发与并行 无论是并行还是并发&#xff0c;在用户看来都是’同时’运行的&am…...

编程日记 2023/6/2 21:35:55

纯干货:数据库连接耗时慢原因排查

背景 最近公司的社区相关的服务需要优化&#xff0c;由于对业务不熟悉&#xff0c;只能借助监控从一些慢接口开始尝试探索慢的原因。由于社区相关的功能务是公司小程序流量入口&#xff0c;所以相应的服务访问量还是比较高的。针对这类高访问的项目&#xff0c;任何不留神的地…...

编程日记 2023/6/2 21:30:54

【OneNet】| stm32+esp8266-01s—— OneNet初体验 | 平台注册及设备创建 | demo使用

系列文章目录 失败了也挺可爱&#xff0c;成功了就超帅。 文章目录 前言1. OneNet平台注册2. 创建多协议接入设备3. 硬件连接4. 下载并运行Demo4.1 Demo下载4.2 运行Demo本小节结束 前言 最近准备耍下 Onenet平台 。下载了官方demo 遇到几个问题 1、创建接入设备 因为平台网页…...

编程日记 2023/6/2 21:25:53

解决win无法删除多层嵌套文件夹

起因&#xff1a;昨天研究jpackage工具&#xff0c;不小心搞得一个文件夹里嵌套了好几百个文件夹&#xff0c;用win自己的删除删不掉&#xff0c;shiftdel直接删除也不行&#xff0c;直接弹窗删除错误&#xff1b; 后来用电脑管家下载了个“文件粉碎”&#xff0c;添加目录&am…...

编程日记 2023/6/2 21:20:51

Java 语言特性(面试系列1)

一、面向对象编程 1. 封装&#xff08;Encapsulation&#xff09; 定义&#xff1a;将数据&#xff08;属性&#xff09;和操作数据的方法绑定在一起&#xff0c;通过访问控制符&#xff08;private、protected、public&#xff09;隐藏内部实现细节。示例&#xff1a; public …...

编程新知 2025/10/6 4:03:40

React Native 开发环境搭建（全平台详解）

React Native 开发环境搭建&#xff08;全平台详解&#xff09; 在开始使用 React Native 开发移动应用之前&#xff0c;正确设置开发环境是至关重要的一步。本文将为你提供一份全面的指南&#xff0c;涵盖 macOS 和 Windows 平台的配置步骤&#xff0c;如何在 Android 和 iOS…...

编程新知 2025/10/7 2:47:54

模型参数、模型存储精度、参数与显存

模型参数量衡量单位 M&#xff1a;百万&#xff08;Million&#xff09; B&#xff1a;十亿&#xff08;Billion&#xff09; 1 B 1000 M 1B 1000M 1B1000M 参数存储精度 模型参数是固定的&#xff0c;但是一个参数所表示多少字节不一定&#xff0c;需要看这个参数以什么…...

编程新知 2025/12/20 12:32:08

（二）TensorRT-LLM | 模型导出（v0.20.0rc3）

0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述&#xff0c;后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作&#xff0c;其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...

编程新知 2026/1/24 6:44:11

页面渲染流程与性能优化

页面渲染流程与性能优化详解&#xff08;完整版&#xff09; 一、现代浏览器渲染流程&#xff08;详细说明&#xff09; 1. 构建DOM树 浏览器接收到HTML文档后&#xff0c;会逐步解析并构建DOM&#xff08;Document Object Model&#xff09;树。具体过程如下&#xff1a; (…...

编程新知 2026/1/31 11:58:35

微服务商城-商品微服务

数据表 CREATE TABLE product (id bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 商品id,cateid smallint(6) UNSIGNED NOT NULL DEFAULT 0 COMMENT 类别Id,name varchar(100) NOT NULL DEFAULT COMMENT 商品名称,subtitle varchar(200) NOT NULL DEFAULT COMMENT 商…...

编程新知 2026/1/29 18:30:30

数据库分批入库

今天在工作中&#xff0c;遇到一个问题&#xff0c;就是分批查询的时候&#xff0c;由于批次过大导致出现了一些问题&#xff0c;一下是问题描述和解决方案&#xff1a; 示例&#xff1a; // 假设已有数据列表 dataList 和 PreparedStatement pstmt int batchSize 1000; // …...

编程新知 2026/1/8 11:38:36

【HarmonyOS 5 开发速记】如何获取用户信息（头像/昵称/手机号）

1.获取 authorizationCode&#xff1a; 2.利用 authorizationCode 获取 accessToken&#xff1a;文档中心 3.获取手机&#xff1a;文档中心 4.获取昵称头像&#xff1a;文档中心 首先创建 request 若要获取手机号&#xff0c;scope必填 phone&#xff0c;permissions 必填 …...

编程新知 2025/9/17 2:39:21

安卓基础（aar）

重新设置java21的环境&#xff0c;临时设置 $env:JAVA_HOME "D:\Android Studio\jbr" 查看当前环境变量 JAVA_HOME 的值 echo $env:JAVA_HOME 构建ARR文件 ./gradlew :private-lib:assembleRelease 目录是这样的&#xff1a; MyApp/ ├── app/ …...

编程新知 2026/1/25 8:10:56

【Java学习笔记】BigInteger 和 BigDecimal 类

BigInteger 和 BigDecimal 类 二者共有的常见方法 方法功能add加subtract减multiply乘divide除 注意点&#xff1a;传参类型必须是类对象 一、BigInteger 1. 作用&#xff1a;适合保存比较大的整型数 2. 使用说明 创建BigInteger对象 传入字符串 3. 代码示例 import j…...

编程新知 2025/11/8 15:39:00