当前位置： 首页 > news >正文

C语言解决TopK问题

news 2025/8/12 0:30:40

前言：

本文TopK问题是在数据量很大的前提下进行解决，当数据量足够大时，内存中存不下，只能存到文件硬盘中。当存到硬盘中，我们无法用建堆，一个一个pop取出最值的方式解决，因为我们没法在硬盘中去访问数组下标。那怎么解决呢？

问题背景：

假设有10亿个数据，内存存不下，数据在文件中，找出最大的前K个 K == 100

解题思路：

  1. 读取文件中前K个数据，在内存数组中建立一个小堆
  2. 再依次读取剩下数据，跟堆顶数据比较，大于堆顶，就替换他进堆，接着进行向下调整算法
  3. 所有数据读完，堆里面的数据就是最大的前100个

解析：

为什么不能用大堆？

假设最大的数据在前面已经进堆，那么堆顶元素就是最大的，此时堆顶元素就挡住了剩余其他前TopK的元素进堆。

建立小堆的妙处：

只要大于堆顶，就会进堆，较大的数据就会往后面靠，小的数据在前面，不会影响剩下较大的数据进堆。

时间复杂度：O(N*logK)

空间复杂度：O(K)

相关文章：

C语言解决TopK问题

前言： 本文TopK问题是在数据量很大的前提下进行解决，当数据量足够大时，内存中存不下，只能存到文件硬盘中。当存到硬盘中，我们无法用建堆，一个一个pop取出最值的方式解决，因为我们没法在硬盘中去…...

编程日记 2024/10/14 0:45:51

磁盘存储链式结构——B树与B+树

红黑树处理数据都是在内存中，考虑的都是内存中的运算时间复杂度。如果我们要操作的数据集非常大，大到内存已经没办法处理了该怎么办呢？ 试想一下，为了要在一个拥有几十万个文件的磁盘中查找一个文本文件，设计的…...

编程日记 2024/10/14 0:44:50

如何批量从sql语句中提取表名

简介 使用的卢易表 的提取表名功能，可以从sql语句中批量提取表名。采用纯文本sql语法分析，无需连接数据库，支持从含非sql语句的文件文件中提取，支持各类数据库sql语法。 特点 快：从成百个文件中提取上千个表名只需1…...

编程日记 2024/10/14 0:43:49

怎么把音频的速度调慢？6个方法调节音频速度

怎么把音频的速度调慢？调慢音频速度不仅可以帮助我们更好地捕捉细节，还能让我们在分析和学习时更加从容。这对于音乐爱好者来说，尤其有助于理解复杂的旋律和和声，使学习过程变得更加高效。而在语言学习中，放慢语速则能…...

编程日记 2024/10/14 0:42:46

K8s-services+pod详解1

一、Service 我们能够利用Deployment创建一组Pod来提供具有高可用性的服务。 虽然每个Pod都会分配一个单独的Pod IP，然而却存在如下两问题： Pod IP 会随着Pod的重建产生变化Pod IP 仅仅是集群内可见的虚拟IP，外部无法访问 这样对于访问这…...

编程日记 2024/10/14 0:41:45

从RNN讲起(RNN、LSTM、GRU、BiGRU)——序列数据处理网络

文章目录 RNN（Recurrent Neural Network，循环神经网络）1. 什么是RNN？2. 经典RNN的结构3. RNN的主要特点4. RNN存在问题——长期依赖（Long-TermDependencies）问题 LSTM（Long Short-Term Memory&a…...

编程日记 2024/10/14 0:37:42

python：假的身份信息生成模块faker

前言 发现一个有趣的python模块（faker），他支持生成多个国家语言下的假身份信息，包含人名、地址、邮箱、公司名、电话号码、甚至是个人简历！ 你可以拿它做一些自动化测试，或一些跟假数据有关的填充工作。 代…...

编程日记 2024/10/14 0:36:41

spring task的使用场景

spring task 简介 spring task 是spring自带的任务调度框架按照约定的时间执行某个方法的工具，类似于闹钟 应用场景 cron表达式 周和日两者必定有一个是问号 简单案例...

编程日记 2024/10/14 0:35:39

美畅物联丨剖析 GB/T 28181 与 GB 35114：视频汇聚领域的关键协议

我们在使用畅联云平台进行视频汇聚时，经常会用的GB/T 28181协议，前面我们写了关于GB/T 28181的相关介绍，​ 详见《畅联云平台｜关于GB28181你了解多少？》。 ​最近也有朋友向我们咨询GB 35114协议与GB/T 28181有什么不同…...

编程日记 2024/10/14 0:34:38

uni-app 开发的应用快速构建成鸿蒙原生应用

uni-app 是一个使用 Vue.js 开发所有前端应用的框架，它支持编译到 iOS、Android、小程序等多个平台。对于 HarmonyOS（鸿蒙系统），uni-app 提供了特定的支持，允许开发者构建鸿蒙原生应用。 一、uni-app 对 HarmonyOS 的支…...

编程日记 2024/10/14 0:33:37

代码随想录算法训练营| 669. 修剪二叉搜索树 、 108.将有序数组转换为二叉搜索树 、 538.把二叉搜索树转换为累加树

669. 修剪二叉搜索树 题目 参考文章 思路：这题其实就是删除不符合上下边界的节点。注意：这里删除不符合上下边界节点时，这个不符合上下边界的节点的左或右子树可能存在符合上下边界的节点，所i有每次比较完之后，要继…...

编程日记 2024/10/14 0:32:36

Django模型实现外键自关联

Django模型实现外键自关联 1、场景 省市区、评论 2、模型models.py from django.db import models 资讯评论：资讯，用户，是否取消，时间class CommentInfomation(models.Model):info = models...

编程日记 2024/10/14 0:31:35

Android ViewModel

一问：ViewModel如何保证应用配置变化后能够自动继续存在，其原理是什么，ViewModel的生命周期和谁绑定的? ViewModel 的确能够在应用配置发生变化（例如屏幕旋转）后继续存在，这得益于 Android 系统的 ViewMod…...

编程日记 2024/10/14 0:30:34

优先算法1--双指针

“一念既出，万山无阻。”加油陌生人！ 目录 1.双指针--移动零 2.双指针-复写零 ok，首先在学习之前，为了方便大家后面的学习，我们这里需要补充一个知识点，我这里所谓的指针，不是之前学习的带有…...

编程日记 2024/10/14 0:29:33

利用弹性盒子完成移动端布局（第二次实验作业）

需要实现的效果如下&#xff1a; 下面是首先是这个项目的框架&#xff1a; 然后是html页面的代码&#xff1a; <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"wid…...

编程日记 2024/10/14 0:28:32

C# 字符串（string）三个不同的处理方法：IsNullOrEmpty、IsInterned 、IsNullOrWhiteSpace

在C#中&#xff0c;string.IsNullOrEmpty、string.IsInterned 和 string.IsNullOrWhiteSpace 是三个不同的字符串处理方法&#xff0c;它们各自有不同的用途&#xff1a; 1.string.IsNullOrEmpty&#xff1a; 这个方法用来检查字符串是否为null或者空字符串&#xff08;"…...

编程日记 2024/10/14 0:27:31

读书笔记 - 虚拟化技术 - 0 QEMU/KVM概述与历史

《QEMU/KVM源码解析与应用》 - 王强 概述 虚拟化简介 虚拟化思想 David Wheeler&#xff1a;计算机科学中任何问题都可以通过增加一个中间层来解决。 虚拟化思想存在与计算机科学的各个领域。 主要思想&#xff1a;通过分层将底层的复杂&#xff0c;难用的资源虚拟抽象为简…...

编程日记 2024/10/14 0:26:30

常见的负载均衡

1.常见的负载均衡服务 负载均衡服务是分布式系统中用于分配网络流量和请求的关键组件&#xff0c;它可以帮助提高应用程序的可用性、可扩展性和响应速度。以下是一些常用的负载均衡服务&#xff1a; Nginx&#xff1a;一个高性能的Web服务器和反向代理&#xff0c;广泛用于实现…...

编程日记 2024/10/14 0:25:28

利用sessionStorage收集用户访问信息，然后传递给后端

这里只是简单的收集用户的停留时间、页面加载时间、当前页面URL及来源页面&#xff0c;以做示例 <html><head><meta http-equiv"content-type" content"text/html; charsetUTF-8"/><title>测试sessionStorage存储用户访问信息<…...

编程日记 2024/10/14 0:24:27

什么是Qseven？模块电脑（核心板）规范标准简介二

1.概念 Qseven是一种通用的、小尺寸计算机模块标准&#xff0c;适用于需要低功耗、低成本和高性能的应用。 Qseven模块电脑&#xff08;核心板&#xff09;采用230Pin金手指连接器 2.Qseven的起源 Qseven最初是由Congatec、SECO、MSC三家欧洲公司于2008年发起&#xff0c;旨在…...

编程日记 2024/10/14 0:23:26

【JavaEE】-- HTTP

1. HTTP是什么&#xff1f; HTTP&#xff08;全称为"超文本传输协议"&#xff09;是一种应用非常广泛的应用层协议&#xff0c;HTTP是基于TCP协议的一种应用层协议。 应用层协议&#xff1a;是计算机网络协议栈中最高层的协议&#xff0c;它定义了运行在不同主机上…...

编程新知 2025/8/9 13:42:42

PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建

制造业采购供应链管理是企业运营的核心环节&#xff0c;供应链协同管理在供应链上下游企业之间建立紧密的合作关系&#xff0c;通过信息共享、资源整合、业务协同等方式&#xff0c;实现供应链的全面管理和优化&#xff0c;提高供应链的效率和透明度&#xff0c;降低供应链的成…...

编程新知 2025/8/3 0:08:16

cf2117E

原题链接&#xff1a;https://codeforces.com/contest/2117/problem/E 题目背景&#xff1a; 给定两个数组a,b&#xff0c;可以执行多次以下操作&#xff1a;选择 i (1 < i < n - 1)&#xff0c;并设置 或&#xff0c;也可以在执行上述操作前执行一次删除任意 和 。求…...

编程新知 2025/8/11 13:22:36

ESP32 I2S音频总线学习笔记（四）： INMP441采集音频并实时播放

简介 前面两期文章我们介绍了I2S的读取和写入&#xff0c;一个是通过INMP441麦克风模块采集音频&#xff0c;一个是通过PCM5102A模块播放音频&#xff0c;那如果我们将两者结合起来&#xff0c;将麦克风采集到的音频通过PCM5102A播放&#xff0c;是不是就可以做一个扩音器了呢…...

编程新知 2025/8/10 15:55:31

第 86 场周赛：矩阵中的幻方、钥匙和房间、将数组拆分成斐波那契序列、猜猜这个单词

Q1、[中等] 矩阵中的幻方 1、题目描述 3 x 3 的幻方是一个填充有 从 1 到 9 的不同数字的 3 x 3 矩阵&#xff0c;其中每行&#xff0c;每列以及两条对角线上的各数之和都相等。 给定一个由整数组成的row x col 的 grid&#xff0c;其中有多少个 3 3 的 “幻方” 子矩阵&am…...

编程新知 2025/8/5 6:58:57

优选算法第十二讲：队列 + 宽搜 优先级队列

优选算法第十二讲&#xff1a;队列 宽搜 && 优先级队列 1.N叉树的层序遍历2.二叉树的锯齿型层序遍历3.二叉树最大宽度4.在每个树行中找最大值5.优先级队列 -- 最后一块石头的重量6.数据流中的第K大元素7.前K个高频单词8.数据流的中位数 1.N叉树的层序遍历 2.二叉树的锯…...

编程新知 2025/8/11 13:42:21

【Java学习笔记】BigInteger 和 BigDecimal 类

BigInteger 和 BigDecimal 类 二者共有的常见方法 方法功能add加subtract减multiply乘divide除 注意点&#xff1a;传参类型必须是类对象 一、BigInteger 1. 作用&#xff1a;适合保存比较大的整型数 2. 使用说明 创建BigInteger对象 传入字符串 3. 代码示例 import j…...

编程新知 2025/6/21 16:56:20

九天毕昇深度学习平台 | 如何安装库？

pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子&#xff1a; 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...

编程新知 2025/8/8 8:34:48

Spring是如何解决Bean的循环依赖：三级缓存机制

1、什么是 Bean 的循环依赖 在 Spring框架中，Bean 的循环依赖是指多个 Bean 之间‌互相持有对方引用‌，形成闭环依赖关系的现象。 多个 Bean 的依赖关系构成环形链路，例如： 双向依赖：Bean A 依赖 Bean B，同时 Bean B 也依赖 Bean A（A↔B）。链条循环： Bean A → Bean…...

编程新知 2025/7/25 1:21:53

JVM虚拟机：内存结构、垃圾回收、性能优化

1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...

编程新知 2025/8/6 12:50:22