当前位置： 首页 > news >正文

C语言解决TopK问题

news 2026/2/9 14:58:34

前言：

本文TopK问题是在数据量很大的前提下进行解决，当数据量足够大时，内存中存不下，只能存到文件硬盘中。当存到硬盘中，我们无法用建堆，一个一个pop取出最值的方式解决，因为我们没法在硬盘中去访问数组下标。那怎么解决呢？

问题背景：

假设有10亿个数据，内存存不下，数据在文件中，找出最大的前K个 K == 100

解题思路：

  1. 读取文件中前K个数据，在内存数组中建立一个小堆
  2. 再依次读取剩下数据，跟堆顶数据比较，大于堆顶，就替换他进堆，接着进行向下调整算法
  3. 所有数据读完，堆里面的数据就是最大的前100个

解析：

为什么不能用大堆？

假设最大的数据在前面已经进堆，那么堆顶元素就是最大的，此时堆顶元素就挡住了剩余其他前TopK的元素进堆。

建立小堆的妙处：

只要大于堆顶，就会进堆，较大的数据就会往后面靠，小的数据在前面，不会影响剩下较大的数据进堆。

时间复杂度：O(N*logK)

空间复杂度：O(K)

相关文章：

C语言解决TopK问题

前言： 本文TopK问题是在数据量很大的前提下进行解决，当数据量足够大时，内存中存不下，只能存到文件硬盘中。当存到硬盘中，我们无法用建堆，一个一个pop取出最值的方式解决，因为我们没法在硬盘中去…...

编程日记 2024/10/14 0:45:51

磁盘存储链式结构——B树与B+树

红黑树处理数据都是在内存中，考虑的都是内存中的运算时间复杂度。如果我们要操作的数据集非常大，大到内存已经没办法处理了该怎么办呢？ 试想一下，为了要在一个拥有几十万个文件的磁盘中查找一个文本文件，设计的…...

编程日记 2024/10/14 0:44:50

如何批量从sql语句中提取表名

简介 使用的卢易表 的提取表名功能，可以从sql语句中批量提取表名。采用纯文本sql语法分析，无需连接数据库，支持从含非sql语句的文件文件中提取，支持各类数据库sql语法。 特点 快：从成百个文件中提取上千个表名只需1…...

编程日记 2024/10/14 0:43:49

怎么把音频的速度调慢？6个方法调节音频速度

怎么把音频的速度调慢？调慢音频速度不仅可以帮助我们更好地捕捉细节，还能让我们在分析和学习时更加从容。这对于音乐爱好者来说，尤其有助于理解复杂的旋律和和声，使学习过程变得更加高效。而在语言学习中，放慢语速则能…...

编程日记 2024/10/14 0:42:46

K8s-services+pod详解1

一、Service 我们能够利用Deployment创建一组Pod来提供具有高可用性的服务。 虽然每个Pod都会分配一个单独的Pod IP，然而却存在如下两问题： Pod IP 会随着Pod的重建产生变化Pod IP 仅仅是集群内可见的虚拟IP，外部无法访问 这样对于访问这…...

编程日记 2024/10/14 0:41:45

从RNN讲起(RNN、LSTM、GRU、BiGRU)——序列数据处理网络

文章目录 RNN（Recurrent Neural Network，循环神经网络）1. 什么是RNN？2. 经典RNN的结构3. RNN的主要特点4. RNN存在问题——长期依赖（Long-TermDependencies）问题 LSTM（Long Short-Term Memory&a…...

编程日记 2024/10/14 0:37:42

python：假的身份信息生成模块faker

前言 发现一个有趣的python模块（faker），他支持生成多个国家语言下的假身份信息，包含人名、地址、邮箱、公司名、电话号码、甚至是个人简历！ 你可以拿它做一些自动化测试，或一些跟假数据有关的填充工作。 代…...

编程日记 2024/10/14 0:36:41

spring task的使用场景

spring task 简介 spring task 是spring自带的任务调度框架按照约定的时间执行某个方法的工具，类似于闹钟 应用场景 cron表达式 周和日两者必定有一个是问号 简单案例...

编程日记 2024/10/14 0:35:39

美畅物联丨剖析 GB/T 28181 与 GB 35114：视频汇聚领域的关键协议

我们在使用畅联云平台进行视频汇聚时，经常会用的GB/T 28181协议，前面我们写了关于GB/T 28181的相关介绍，​ 详见《畅联云平台｜关于GB28181你了解多少？》。 ​最近也有朋友向我们咨询GB 35114协议与GB/T 28181有什么不同…...

编程日记 2024/10/14 0:34:38

uni-app 开发的应用快速构建成鸿蒙原生应用

uni-app 是一个使用 Vue.js 开发所有前端应用的框架，它支持编译到 iOS、Android、小程序等多个平台。对于 HarmonyOS（鸿蒙系统），uni-app 提供了特定的支持，允许开发者构建鸿蒙原生应用。 一、uni-app 对 HarmonyOS 的支…...

编程日记 2024/10/14 0:33:37

代码随想录算法训练营| 669. 修剪二叉搜索树 、 108.将有序数组转换为二叉搜索树 、 538.把二叉搜索树转换为累加树

669. 修剪二叉搜索树 题目 参考文章 思路：这题其实就是删除不符合上下边界的节点。注意：这里删除不符合上下边界节点时，这个不符合上下边界的节点的左或右子树可能存在符合上下边界的节点，所i有每次比较完之后，要继…...

编程日记 2024/10/14 0:32:36

Django模型实现外键自关联

Django模型实现外键自关联 1、场景 省市区、评论 2、模型models.py from django.db import models 资讯评论：资讯，用户，是否取消，时间class CommentInfomation(models.Model):info = models...

编程日记 2024/10/14 0:31:35

Android ViewModel

一问：ViewModel如何保证应用配置变化后能够自动继续存在，其原理是什么，ViewModel的生命周期和谁绑定的? ViewModel 的确能够在应用配置发生变化（例如屏幕旋转）后继续存在，这得益于 Android 系统的 ViewMod…...

编程日记 2024/10/14 0:30:34

优先算法1--双指针

“一念既出，万山无阻。”加油陌生人！ 目录 1.双指针--移动零 2.双指针-复写零 ok，首先在学习之前，为了方便大家后面的学习，我们这里需要补充一个知识点，我这里所谓的指针，不是之前学习的带有…...

编程日记 2024/10/14 0:29:33

利用弹性盒子完成移动端布局（第二次实验作业）

需要实现的效果如下&#xff1a; 下面是首先是这个项目的框架&#xff1a; 然后是html页面的代码&#xff1a; <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"wid…...

编程日记 2024/10/14 0:28:32

C# 字符串（string）三个不同的处理方法：IsNullOrEmpty、IsInterned 、IsNullOrWhiteSpace

在C#中&#xff0c;string.IsNullOrEmpty、string.IsInterned 和 string.IsNullOrWhiteSpace 是三个不同的字符串处理方法&#xff0c;它们各自有不同的用途&#xff1a; 1.string.IsNullOrEmpty&#xff1a; 这个方法用来检查字符串是否为null或者空字符串&#xff08;"…...

编程日记 2024/10/14 0:27:31

读书笔记 - 虚拟化技术 - 0 QEMU/KVM概述与历史

《QEMU/KVM源码解析与应用》 - 王强 概述 虚拟化简介 虚拟化思想 David Wheeler&#xff1a;计算机科学中任何问题都可以通过增加一个中间层来解决。 虚拟化思想存在与计算机科学的各个领域。 主要思想&#xff1a;通过分层将底层的复杂&#xff0c;难用的资源虚拟抽象为简…...

编程日记 2024/10/14 0:26:30

常见的负载均衡

1.常见的负载均衡服务 负载均衡服务是分布式系统中用于分配网络流量和请求的关键组件&#xff0c;它可以帮助提高应用程序的可用性、可扩展性和响应速度。以下是一些常用的负载均衡服务&#xff1a; Nginx&#xff1a;一个高性能的Web服务器和反向代理&#xff0c;广泛用于实现…...

编程日记 2024/10/14 0:25:28

利用sessionStorage收集用户访问信息，然后传递给后端

这里只是简单的收集用户的停留时间、页面加载时间、当前页面URL及来源页面&#xff0c;以做示例 <html><head><meta http-equiv"content-type" content"text/html; charsetUTF-8"/><title>测试sessionStorage存储用户访问信息<…...

编程日记 2024/10/14 0:24:27

什么是Qseven？模块电脑（核心板）规范标准简介二

1.概念 Qseven是一种通用的、小尺寸计算机模块标准&#xff0c;适用于需要低功耗、低成本和高性能的应用。 Qseven模块电脑&#xff08;核心板&#xff09;采用230Pin金手指连接器 2.Qseven的起源 Qseven最初是由Congatec、SECO、MSC三家欧洲公司于2008年发起&#xff0c;旨在…...

编程日记 2024/10/14 0:23:26

Java 语言特性(面试系列2)

一、SQL 基础 1. 复杂查询 &#xff08;1&#xff09;连接查询&#xff08;JOIN&#xff09; 内连接&#xff08;INNER JOIN&#xff09;&#xff1a;返回两表匹配的记录。 SELECT e.name, d.dept_name FROM employees e INNER JOIN departments d ON e.dept_id d.dept_id; 左…...

编程新知 2025/10/24 14:20:29

Leetcode 3576. Transform Array to All Equal Elements

Leetcode 3576. Transform Array to All Equal Elements 1. 解题思路2. 代码实现 题目链接&#xff1a;3576. Transform Array to All Equal Elements 1. 解题思路 这一题思路上就是分别考察一下是否能将其转化为全1或者全-1数组即可。 至于每一种情况是否可以达到&#xf…...

编程新知 2025/9/17 7:25:07

椭圆曲线密码学(ECC)

一、ECC算法概述 椭圆曲线密码学&#xff08;Elliptic Curve Cryptography&#xff09;是基于椭圆曲线数学理论的公钥密码系统&#xff0c;由Neal Koblitz和Victor Miller在1985年独立提出。相比RSA&#xff0c;ECC在相同安全强度下密钥更短&#xff08;256位ECC ≈ 3072位RSA…...

编程新知 2025/10/1 22:26:06

工业安全零事故的智能守护者：一体化AI智能安防平台

前言&#xff1a; 通过AI视觉技术&#xff0c;为船厂提供全面的安全监控解决方案&#xff0c;涵盖交通违规检测、起重机轨道安全、非法入侵检测、盗窃防范、安全规范执行监控等多个方面&#xff0c;能够实现对应负责人反馈机制&#xff0c;并最终实现数据的统计报表。提升船厂…...

编程新知 2026/1/21 9:20:07

【入坑系列】TiDB 强制索引在不同库下不生效问题

文章目录 背景SQL 优化情况线上SQL运行情况分析怀疑1：执行计划绑定问题？尝试：SHOW WARNINGS 查看警告探索 TiDB 的 USE_INDEX 写法Hint 不生效问题排查解决参考背景 项目中使用 TiDB 数据库，并对 SQL 进行优化了，添加了强制索引。 UAT 环境已经生效，但 PROD 环境强制索…...

编程新知 2026/1/31 21:56:58

【Linux】C语言执行shell指令

在C语言中执行Shell指令 在C语言中&#xff0c;有几种方法可以执行Shell指令&#xff1a; 1. 使用system()函数 这是最简单的方法&#xff0c;包含在stdlib.h头文件中&#xff1a; #include <stdlib.h>int main() {system("ls -l"); // 执行ls -l命令retu…...

编程新知 2025/11/20 18:42:48

使用分级同态加密防御梯度泄漏

抽象 联邦学习 &#xff08;FL&#xff09; 支持跨分布式客户端进行协作模型训练&#xff0c;而无需共享原始数据&#xff0c;这使其成为在互联和自动驾驶汽车 &#xff08;CAV&#xff09; 等领域保护隐私的机器学习的一种很有前途的方法。然而&#xff0c;最近的研究表明&…...

编程新知 2026/1/24 6:22:43

抖音增长新引擎：品融电商，一站式全案代运营领跑者

抖音增长新引擎&#xff1a;品融电商&#xff0c;一站式全案代运营领跑者 在抖音这个日活超7亿的流量汪洋中&#xff0c;品牌如何破浪前行&#xff1f;自建团队成本高、效果难控&#xff1b;碎片化运营又难成合力——这正是许多企业面临的增长困局。品融电商以「抖音全案代运营…...

编程新知 2026/2/1 5:45:17

linux arm系统烧录

1、打开瑞芯微程序 2、按住linux arm 的 recover按键 插入电源 3、当瑞芯微检测到有设备 4、松开recover按键 5、选择升级固件 6、点击固件选择本地刷机的linux arm 镜像 7、点击升级 &#xff08;忘了有没有这步了 估计有&#xff09; 刷机程序 和 镜像 就不提供了。要刷的时…...

编程新知 2026/2/6 20:07:35

leetcodeSQL解题：3564. 季节性销售分析

leetcodeSQL解题&#xff1a;3564. 季节性销售分析 题目&#xff1a; 表&#xff1a;sales ---------------------- | Column Name | Type | ---------------------- | sale_id | int | | product_id | int | | sale_date | date | | quantity | int | | price | decimal | -…...

编程新知 2025/10/5 19:58:27