当前位置： 首页 > news >正文

C语言解决TopK问题

news 2025/6/26 20:50:34

前言：

本文TopK问题是在数据量很大的前提下进行解决，当数据量足够大时，内存中存不下，只能存到文件硬盘中。当存到硬盘中，我们无法用建堆，一个一个pop取出最值的方式解决，因为我们没法在硬盘中去访问数组下标。那怎么解决呢？

问题背景：

假设有10亿个数据，内存存不下，数据在文件中，找出最大的前K个 K == 100

解题思路：

  1. 读取文件中前K个数据，在内存数组中建立一个小堆
  2. 再依次读取剩下数据，跟堆顶数据比较，大于堆顶，就替换他进堆，接着进行向下调整算法
  3. 所有数据读完，堆里面的数据就是最大的前100个

解析：

为什么不能用大堆？

假设最大的数据在前面已经进堆，那么堆顶元素就是最大的，此时堆顶元素就挡住了剩余其他前TopK的元素进堆。

建立小堆的妙处：

只要大于堆顶，就会进堆，较大的数据就会往后面靠，小的数据在前面，不会影响剩下较大的数据进堆。

时间复杂度：O(N*logK)

空间复杂度：O(K)

相关文章：

C语言解决TopK问题

前言： 本文TopK问题是在数据量很大的前提下进行解决，当数据量足够大时，内存中存不下，只能存到文件硬盘中。当存到硬盘中，我们无法用建堆，一个一个pop取出最值的方式解决，因为我们没法在硬盘中去…...

编程日记 2024/10/14 0:45:51

磁盘存储链式结构——B树与B+树

红黑树处理数据都是在内存中，考虑的都是内存中的运算时间复杂度。如果我们要操作的数据集非常大，大到内存已经没办法处理了该怎么办呢？ 试想一下，为了要在一个拥有几十万个文件的磁盘中查找一个文本文件，设计的…...

编程日记 2024/10/14 0:44:50

如何批量从sql语句中提取表名

简介 使用的卢易表 的提取表名功能，可以从sql语句中批量提取表名。采用纯文本sql语法分析，无需连接数据库，支持从含非sql语句的文件文件中提取，支持各类数据库sql语法。 特点 快：从成百个文件中提取上千个表名只需1…...

编程日记 2024/10/14 0:43:49

怎么把音频的速度调慢？6个方法调节音频速度

怎么把音频的速度调慢？调慢音频速度不仅可以帮助我们更好地捕捉细节，还能让我们在分析和学习时更加从容。这对于音乐爱好者来说，尤其有助于理解复杂的旋律和和声，使学习过程变得更加高效。而在语言学习中，放慢语速则能…...

编程日记 2024/10/14 0:42:46

K8s-services+pod详解1

一、Service 我们能够利用Deployment创建一组Pod来提供具有高可用性的服务。 虽然每个Pod都会分配一个单独的Pod IP，然而却存在如下两问题： Pod IP 会随着Pod的重建产生变化Pod IP 仅仅是集群内可见的虚拟IP，外部无法访问 这样对于访问这…...

编程日记 2024/10/14 0:41:45

从RNN讲起(RNN、LSTM、GRU、BiGRU)——序列数据处理网络

文章目录 RNN（Recurrent Neural Network，循环神经网络）1. 什么是RNN？2. 经典RNN的结构3. RNN的主要特点4. RNN存在问题——长期依赖（Long-TermDependencies）问题 LSTM（Long Short-Term Memory&a…...

编程日记 2024/10/14 0:37:42

python：假的身份信息生成模块faker

前言 发现一个有趣的python模块（faker），他支持生成多个国家语言下的假身份信息，包含人名、地址、邮箱、公司名、电话号码、甚至是个人简历！ 你可以拿它做一些自动化测试，或一些跟假数据有关的填充工作。 代…...

编程日记 2024/10/14 0:36:41

spring task的使用场景

spring task 简介 spring task 是spring自带的任务调度框架按照约定的时间执行某个方法的工具，类似于闹钟 应用场景 cron表达式 周和日两者必定有一个是问号 简单案例...

编程日记 2024/10/14 0:35:39

美畅物联丨剖析 GB/T 28181 与 GB 35114：视频汇聚领域的关键协议

我们在使用畅联云平台进行视频汇聚时，经常会用的GB/T 28181协议，前面我们写了关于GB/T 28181的相关介绍，​ 详见《畅联云平台｜关于GB28181你了解多少？》。 ​最近也有朋友向我们咨询GB 35114协议与GB/T 28181有什么不同…...

编程日记 2024/10/14 0:34:38

uni-app 开发的应用快速构建成鸿蒙原生应用

uni-app 是一个使用 Vue.js 开发所有前端应用的框架，它支持编译到 iOS、Android、小程序等多个平台。对于 HarmonyOS（鸿蒙系统），uni-app 提供了特定的支持，允许开发者构建鸿蒙原生应用。 一、uni-app 对 HarmonyOS 的支…...

编程日记 2024/10/14 0:33:37

代码随想录算法训练营| 669. 修剪二叉搜索树 、 108.将有序数组转换为二叉搜索树 、 538.把二叉搜索树转换为累加树

669. 修剪二叉搜索树 题目 参考文章 思路：这题其实就是删除不符合上下边界的节点。注意：这里删除不符合上下边界节点时，这个不符合上下边界的节点的左或右子树可能存在符合上下边界的节点，所i有每次比较完之后，要继…...

编程日记 2024/10/14 0:32:36

Django模型实现外键自关联

Django模型实现外键自关联 1、场景 省市区、评论 2、模型models.py from django.db import models 资讯评论：资讯，用户，是否取消，时间class CommentInfomation(models.Model):info = models...

编程日记 2024/10/14 0:31:35

Android ViewModel

一问：ViewModel如何保证应用配置变化后能够自动继续存在，其原理是什么，ViewModel的生命周期和谁绑定的? ViewModel 的确能够在应用配置发生变化（例如屏幕旋转）后继续存在，这得益于 Android 系统的 ViewMod…...

编程日记 2024/10/14 0:30:34

优先算法1--双指针

“一念既出，万山无阻。”加油陌生人！ 目录 1.双指针--移动零 2.双指针-复写零 ok，首先在学习之前，为了方便大家后面的学习，我们这里需要补充一个知识点，我这里所谓的指针，不是之前学习的带有…...

编程日记 2024/10/14 0:29:33

利用弹性盒子完成移动端布局（第二次实验作业）

需要实现的效果如下&#xff1a; 下面是首先是这个项目的框架&#xff1a; 然后是html页面的代码&#xff1a; <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"wid…...

编程日记 2024/10/14 0:28:32

C# 字符串（string）三个不同的处理方法：IsNullOrEmpty、IsInterned 、IsNullOrWhiteSpace

在C#中&#xff0c;string.IsNullOrEmpty、string.IsInterned 和 string.IsNullOrWhiteSpace 是三个不同的字符串处理方法&#xff0c;它们各自有不同的用途&#xff1a; 1.string.IsNullOrEmpty&#xff1a; 这个方法用来检查字符串是否为null或者空字符串&#xff08;"…...

编程日记 2024/10/14 0:27:31

读书笔记 - 虚拟化技术 - 0 QEMU/KVM概述与历史

《QEMU/KVM源码解析与应用》 - 王强 概述 虚拟化简介 虚拟化思想 David Wheeler&#xff1a;计算机科学中任何问题都可以通过增加一个中间层来解决。 虚拟化思想存在与计算机科学的各个领域。 主要思想&#xff1a;通过分层将底层的复杂&#xff0c;难用的资源虚拟抽象为简…...

编程日记 2024/10/14 0:26:30

常见的负载均衡

1.常见的负载均衡服务 负载均衡服务是分布式系统中用于分配网络流量和请求的关键组件&#xff0c;它可以帮助提高应用程序的可用性、可扩展性和响应速度。以下是一些常用的负载均衡服务&#xff1a; Nginx&#xff1a;一个高性能的Web服务器和反向代理&#xff0c;广泛用于实现…...

编程日记 2024/10/14 0:25:28

利用sessionStorage收集用户访问信息，然后传递给后端

这里只是简单的收集用户的停留时间、页面加载时间、当前页面URL及来源页面&#xff0c;以做示例 <html><head><meta http-equiv"content-type" content"text/html; charsetUTF-8"/><title>测试sessionStorage存储用户访问信息<…...

编程日记 2024/10/14 0:24:27

什么是Qseven？模块电脑（核心板）规范标准简介二

1.概念 Qseven是一种通用的、小尺寸计算机模块标准&#xff0c;适用于需要低功耗、低成本和高性能的应用。 Qseven模块电脑&#xff08;核心板&#xff09;采用230Pin金手指连接器 2.Qseven的起源 Qseven最初是由Congatec、SECO、MSC三家欧洲公司于2008年发起&#xff0c;旨在…...

编程日记 2024/10/14 0:23:26

vscode里如何用git

打开vs终端执行如下&#xff1a; 1 初始化 Git 仓库&#xff08;如果尚未初始化&#xff09; git init 2 添加文件到 Git 仓库 git add . 3 使用 git commit 命令来提交你的更改。确保在提交时加上一个有用的消息。 git commit -m "备注信息" 4 …...

编程新知 2025/6/21 12:50:31

大语言模型如何处理长文本？常用文本分割技术详解

为什么需要文本分割？ 引言：为什么需要文本分割？一、基础文本分割方法1. 按段落分割（Paragraph Splitting）2. 按句子分割（Sentence Splitting）二、高级文本分割策略3. 重叠分割（Sliding Window）4. 递归分割（Recursive Splitting）三、生产级工具推荐5. 使用LangChain的…...

编程新知 2025/6/25 14:50:21

生成 Git SSH 证书

&#x1f511; 1. ​​生成 SSH 密钥对​​ 在终端&#xff08;Windows 使用 Git Bash&#xff0c;Mac/Linux 使用 Terminal&#xff09;执行命令&#xff1a; ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" ​​参数说明​​&#xff1a; -t rsa&#x…...

编程新知 2025/6/21 5:49:39

Unity | AmplifyShaderEditor插件基础（第七集：平面波动shader）

目录 一、&#x1f44b;&#x1f3fb;前言 二、&#x1f608;sinx波动的基本原理 三、&#x1f608;波动起来 1.sinx节点介绍 2.vertexPosition 3.集成Vector3 a.节点Append b.连起来 4.波动起来 a.波动的原理 b.时间节点 c.sinx的处理 四、&#x1f30a;波动优化…...

编程新知 2025/6/21 2:54:38

JVM虚拟机：内存结构、垃圾回收、性能优化

1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...

编程新知 2025/6/26 2:11:09

​​企业大模型服务合规指南：深度解析备案与登记制度​​

伴随AI技术的爆炸式发展&#xff0c;尤其是大模型&#xff08;LLM&#xff09;在各行各业的深度应用和整合&#xff0c;企业利用AI技术提升效率、创新服务的步伐不断加快。无论是像DeepSeek这样的前沿技术提供者&#xff0c;还是积极拥抱AI转型的传统企业&#xff0c;在面向公众…...

编程新知 2025/6/25 23:55:38

ui框架-文件列表展示

ui框架-文件列表展示 介绍 UI框架的文件列表展示组件&#xff0c;可以展示文件夹&#xff0c;支持列表展示和图标展示模式。组件提供了丰富的功能和可配置选项&#xff0c;适用于文件管理、文件上传等场景。 功能特性 支持列表模式和网格模式的切换展示支持文件和文件夹的层…...

编程新知 2025/6/26 7:32:46

Spring AOP代理对象生成原理

代理对象生成的关键类是【AnnotationAwareAspectJAutoProxyCreator】&#xff0c;这个类继承了【BeanPostProcessor】是一个后置处理器 在bean对象生命周期中初始化时执行【org.springframework.beans.factory.config.BeanPostProcessor#postProcessAfterInitialization】方法时…...

编程新知 2025/6/19 16:08:19

k8s从入门到放弃之Pod的容器探针检测

k8s从入门到放弃之Pod的容器探针检测 在Kubernetes&#xff08;简称K8s&#xff09;中&#xff0c;容器探测是指kubelet对容器执行定期诊断的过程&#xff0c;以确保容器中的应用程序处于预期的状态。这些探测是保障应用健康和高可用性的重要机制。Kubernetes提供了两种种类型…...

编程新知 2025/6/24 5:46:54

EEG-fNIRS联合成像在跨频率耦合研究中的创新应用

摘要 神经影像技术对医学科学产生了深远的影响&#xff0c;推动了许多神经系统疾病研究的进展并改善了其诊断方法。在此背景下&#xff0c;基于神经血管耦合现象的多模态神经影像方法&#xff0c;通过融合各自优势来提供有关大脑皮层神经活动的互补信息。在这里&#xff0c;本研…...

编程新知 2025/6/22 4:23:27