当前位置: 首页 > news >正文

POI优化Excel录入

57000+单词原始录入时间258S

核心代码:

List<Word> wordBookList = ExcelUtil.getReader(file.getInputStream()).readAll(Word.class);if (!CollectionUtil.isEmpty(wordBookList)) {for (Word word : wordBookList) {//逐条向数据库中插入单词wordMapper.insert(word);}}

线程池方式录入时间18S

核心代码:

//获取核心数int coreCount = Runtime.getRuntime().availableProcessors();//创建线程池ExecutorService executorService= Executors.newFixedThreadPool(2*coreCount);List<Word> wordBookList = ExcelUtil.getReader(file.getInputStream()).readAll(Word.class);//对列表单词进行分区并发录入int partitionSize=wordBookList.size()/(2*coreCount);List<List<Word>> wordListPartition = Lists.partition(wordBookList, partitionSize);for (int i = 0; i <wordListPartition.size(); i++) {Runnable task=new ExcelInput(wordListPartition.get(i),wordMapper);executorService.execute(task);}executorService.shutdown();//阻塞当前线程,直到线程池中的任务执行完毕try {if(!executorService.awaitTermination(1, TimeUnit.HOURS)){executorService.shutdownNow();}} catch (InterruptedException e) {e.printStackTrace();Thread.currentThread().interrupt();}

优化流程:

首先获取当前主机核心数N,因为大数据量单词录入属于IO密集型所以我们设置线程池的大小为2*N第二步我选择将List拆分为2*N接着放入线程池当中去执行单词录入任务基于此线程池中的多个线程可以对数据的录入进行并发操作大大提高了录入的效率

选择2*N的原因是代码中获取的核心数为物理核心数,而实际上主机可以利用超线程技术将一个物理核心当做两个逻辑核心来使用,当我们想让CPU利用率达到100%时就可以设置2*N个线程数并将单词分为2*N份交给线程池中的线程处理同时减少了线程的上下文切换所带来的损耗。

240/258=0.93

优化后单词录入效率提高90%以上

相关文章:

POI优化Excel录入

57000单词原始录入时间258S 核心代码: List<Word> wordBookList ExcelUtil.getReader(file.getInputStream()).readAll(Word.class);if (!CollectionUtil.isEmpty(wordBookList)) {for (Word word : wordBookList) {//逐条向数据库中插入单词wordMapper.insert(word);}…...

实时图像与视频超分辨率:高效子像素卷积网络(ESPCN)解析

文章目录 概要理论知识操作实操环境配置基础命令格式&#xff1a;效果示例 概要 超分辨率系列论文阅读卷1&#xff1a;Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network PDF网址&#xff1a;https://arxiv.org/…...

QT--对话框的切换

文章目录 前言一、主窗口ui二、创建子窗口三、步骤1.主界面------>子页面2.子界面------>主页面 四、总结 前言 之前我们学了qt中最重要的东西–信号和槽 我们现在实现这样一个demo&#xff0c;程序启动后弹出主界面&#xff0c;点击主界面的按钮弹出子窗口&#xff0c;…...

深入浅出:CUDA是什么,如何利用它进行高效并行计算

在当今这个数据驱动的时代&#xff0c;计算能力的需求日益增加&#xff0c;特别是在深度学习、科学计算和图像处理等领域。为了满足这些需求&#xff0c;NVIDIA推出了CUDA&#xff08;Compute Unified Device Architecture&#xff09;&#xff0c;这是一种并行计算平台和编程模…...

Zotero PDF Translate插件配置百度翻译api

Zotero PDF Translate插件可以使用几种翻译api&#xff0c;虽然谷歌最好用&#xff0c;但是由于众所周知的原因&#xff0c;不稳定。而cnki有字数限制&#xff0c;有道有时也不行。其他的翻译需要申请密钥。本文以百度为例&#xff0c;进行申请 官方有申请教程&#xff1a; Zot…...

利用acme.sh 申请 Google 免费证书

1.Google API权限准备 获取 EAB 密钥 ID 和 HMAC 登录你的 GCP 控制台面板&#xff0c;进入 Public Certificate Authority API 管理页面&#xff08;https://console.cloud.google.com/apis/library/publicca.googleapis.com&#xff09;点击启动&#xff1a; 或者直接在下一…...

腾讯云cloudstudio使用笔记(一)

0、计划及目标 1&#xff09;、这个系列用于将cloudstudio快速入门将前端代码在cloudstudio中从git仓库拉下来并运行—本文档的目标已实现 2&#xff09;、基于cloudstudio和腾讯的ai代码助手腾讯自己满血的deepseek写代码&#xff0c;减少前端工作量—待补充 3&#xff09;、…...

python自动化制作常规的日报数据可视化

python自动化制作常规的日报数据可视化 作者&#xff1a;i阿极 作者简介&#xff1a;Python领域新星作者、多项比赛获奖者&#xff1a;博主个人首页 &#x1f60a;&#x1f60a;&#x1f60a;如果觉得文章不错或能帮助到你学习&#xff0c;可以点赞&#x1f44d;收藏&#x1f4…...

C语言:在主函数中输入十个等长的字符串。用另一函数对它们排序,然后在主函数输出这10个已排好序的字符串。

&#xff08;1&#xff09;用字符型二维数组 #include <stdio.h> #include <string.h> int main() {void sort(char s[][6]);int i;char str[10][6];printf("input 10 strings:\n");for (i0;i<10;i)scanf("%s",str[i]);sort(str);printf(&…...

构建高效智能对话前端:基于Ant Design X 的deepseek对话应用

文章目录 实现的效果前言Ant Design X添加欢迎组件创建对话气泡存储对话历史渲染对话气泡 输入组件WebSocket 连接总结 实现的效果 待机页面&#xff1a; 等待页面&#xff1a; 完成页面&#xff1a; 前言 随着人工智能技术的飞速发展&#xff0c;大模型对话系统已成为…...

SQLMesh 系列教程5- 详解SQL模型

本文将详细介绍 SQLMesh 的 SQL 模型组成要素及其在实际项目中的应用。SQLMesh 是一个强大的数据工程工具&#xff0c;其 SQL 模型由 MODEL DDL、预处理语句、主查询、后处理语句以及可选的 ON VIRTUAL UPDATE 语句组成。我们将通过一个电商平台每日销售报告的实例&#xff0c;…...

本地DeepSeek模型GGUF文件转换为PyTorch格式

接前文,我们在本地Windows系统上,基于GGUF文件部署了DeepSeek模型(DeepSeek-R1-Distill-Qwen-1.5B.gguf版本),但是GGUF是已经量化的版本,我们除了对其进行微调之外,无法对其训练,那么还有没有其他办法对本地的GGUF部署的DeepSeek模型进行训练呢?今天我们就反其道而行之…...

Flutter:动态表单(在不确定字段的情况下,生成动态表单)

关于数据模型&#xff1a;模型就是一种规范约束&#xff0c;便于维护管理&#xff0c;在不确定表单内会出现什么数据时&#xff0c;就没有模型一说。 这时就要用到动态表单&#xff08;根据接口返回的字段&#xff0c;生成动态表单&#xff09; 1、观察数据格式&#xff0c;定义…...

【Python项目】文本相似度计算系统

【Python项目】文本相似度计算系统 技术简介&#xff1a;采用Python技术、Django技术、MYSQL数据库等实现。 系统简介&#xff1a;本系统基于Django进行开发&#xff0c;包含前端和后端两个部分。前端基于Bootstrap框架进行开发&#xff0c;主要包括系统首页&#xff0c;文本分…...

C# ref 和 out 的使用详解

总目录 前言 在 C# 编程中&#xff0c;ref 和 out 是两个非常重要的关键字&#xff0c;它们都用于方法参数的传递&#xff0c;但用途和行为却有所不同。今天&#xff0c;我们就来深入探讨一下这两个关键字的用法和区别&#xff0c;让你在编程中能够得心应手地使用它们。 一、什…...

Ubuntu 24.04.1 LTS 本地部署 DeepSeek 私有化知识库

文章目录 前言工具介绍与作用工具的关联与协同工作必要性分析 1、DeepSeek 简介1.1、DeepSeek-R1 硬件要求 2、Linux 环境说明2.1、最小部署&#xff08;Ollama DeepSeek&#xff09;2.1.1、扩展&#xff08;非必须&#xff09; - Ollama 后台运行、开机自启&#xff1a; 2.2、…...

用 WOW.js 和 animate.css 实现动画效果

用 wow.js 就可以实现动画效果&#xff0c;但由于里面的动画样式太少&#xff0c;一般还会引入 animated.css 第一步&#xff1a;下载 选择合适的包管理器下载对应的内容 pnpm i wow.js animated.css --save 第二步&#xff1a;引入 在main.js中加入&#xff1a; import …...

1-知识图谱-概述和介绍

知识图谱&#xff1a;浙江大学教授 陈华军 知识图谱 1课时 http://openkg.cn/datasets-type/ 知识图谱的价值 知识图谱是有什么用&#xff1f; 语义搜索 问答系统 QA问答对知识图谱&#xff1a;结构化图 辅助推荐系统 大数据分析系统 自然语言理解 辅助视觉理解 例…...

flink jobgraph详细介绍

一、Flink JobGraph 的核心概念 JobGraph 是 Flink 作业的核心执行计划&#xff0c;它描述了作业的任务拓扑结构和数据流关系。JobGraph 由以下几部分组成&#xff1a; 顶点&#xff08;Vertex&#xff09; 每个顶点代表一个任务&#xff08;Task&#xff09;&#xff0c;例如…...

使用nginx+rtmp+ffmpeg实现桌面直播

使用nginxrtmpffmpeg实现桌面直播 流媒体服务器搭建 docker run docker镜像基于添加了rtmp模块的nginx&#xff0c;和ffmpeg docker pull alfg/nginx-rtmp docker run -d -p 1935:1935 -p 8080:80 --namenginx-rtmp alfg/nginx-rtmprtmp模块说明 进入容器内部查看 docker…...

计算机视觉中小物体图像编辑的技术挑战与解决方案

1. 项目背景与核心挑战在计算机视觉领域&#xff0c;基于指令的图像编辑技术近年来取得了显著进展。这类模型能够根据自然语言描述直接修改图像内容&#xff0c;极大降低了专业图像处理的准入门槛。然而在实际应用中&#xff0c;我们发现现有模型对小物体&#xff08;如纽扣、首…...

Axure RP 中文语言包:解锁高效原型设计的终极本地化解决方案

Axure RP 中文语言包&#xff1a;解锁高效原型设计的终极本地化解决方案 【免费下载链接】axure-cn Chinese language file for Axure RP. Axure RP 简体中文语言包。支持 Axure 11、10、9。不定期更新。 项目地址: https://gitcode.com/gh_mirrors/ax/axure-cn 作为全球…...

大模型应用开发:小白也能入门的收藏必备指南!

文章详细解析了大模型应用开发的概念及其与传统开发、算法岗的关系&#xff0c;强调三者是并列而非替代关系。文章指出&#xff0c;大模型应用开发主要分为算法工程师&#xff08;改模型&#xff09;和LLM应用工程师&#xff08;用模型&#xff09;&#xff0c;并强调传统开发岗…...

AirPodsDesktop:Windows用户的终极AirPods完整体验解决方案

AirPodsDesktop&#xff1a;Windows用户的终极AirPods完整体验解决方案 【免费下载链接】AirPodsDesktop ☄️ AirPods desktop user experience enhancement program, for Windows and Linux (WIP) 项目地址: https://gitcode.com/gh_mirrors/ai/AirPodsDesktop 你是否…...

7大Masa Mods汉化包:如何让Minecraft中文玩家轻松使用全家桶工具?

7大Masa Mods汉化包&#xff1a;如何让Minecraft中文玩家轻松使用全家桶工具&#xff1f; 【免费下载链接】masa-mods-chinese 一个masa mods的汉化资源包 项目地址: https://gitcode.com/gh_mirrors/ma/masa-mods-chinese 还在为Minecraft中Masa Mods的英文界面而困扰吗…...

KingbaseES权限管理新姿势:用backup_pri插件给你的数据库备份加把“锁”

KingbaseES权限管理新姿势&#xff1a;用backup_pri插件给你的数据库备份加把“锁” 在数据安全日益受到重视的今天&#xff0c;数据库备份权限的精细化管理已成为企业级运维的关键环节。传统SUPERUSER权限的"一刀切"模式&#xff0c;不仅增加了误操作风险&#xff0…...

从“黑盒”到“白盒”:给Keil FLM文件做一次“体检”,排查下载失败难题

从“黑盒”到“白盒”&#xff1a;给Keil FLM文件做一次“体检”&#xff0c;排查下载失败难题 当你熬夜调试嵌入式系统&#xff0c;Keil突然弹出"Flash Download failed"的红色警告&#xff0c;那种感觉就像在马拉松终点线前被绊倒。FLM文件作为Keil与Flash芯片之间…...

从汽车CAN报文到网络数据包:一文搞懂Checksum校验的通用原理与代码实战

从汽车CAN报文到网络数据包&#xff1a;Checksum校验的通用原理与跨领域实现 在数据通信的世界里&#xff0c;信息的准确传输如同精密机械中的齿轮咬合&#xff0c;任何一个比特的错误都可能导致整个系统运转失常。无论是飞驰在高速公路上的智能汽车&#xff0c;还是穿梭于全球…...

LSTM在时序预测中的核心原理与工业实践

1. 长短期记忆网络在序列预测中的核心价值 长短期记忆网络&#xff08;LSTM&#xff09;作为循环神经网络的特殊变体&#xff0c;在时间序列预测领域已经证明了其独特优势。与传统RNN相比&#xff0c;LSTM通过精心设计的门控机制&#xff0c;有效解决了长期依赖问题。我在多个工…...

告别手动转换!用VASPKIT 1.3.5一键生成ATAT的lat.in文件(附Si面心立方案例)

材料计算自动化&#xff1a;VASPKIT高效生成ATAT输入文件实战指南 在材料计算领域&#xff0c;频繁的手动文件格式转换不仅消耗时间&#xff0c;还容易引入人为错误。以面心立方硅(Si)为例&#xff0c;传统手动编写ATAT的lat.in文件需要精确计算原胞参数和原子位置&#xff0c;…...