当前位置：首页 > news >正文

多文件并发多线程MD5工具（相对快速的MD5一批文件），适配自定义MD5 Hash I/O缓存。

news 2026/2/10 13:52:27

自己写的多文件 MD5校验工具，一个文件开一个线程，有最大I/O 缓存设置，兼容读写MD5后缀文件。

共计91个文件，合计180G左右 12分钟左右，UI基本卡废，但程序没蹦，属于正常。

卡的原因是基本是用 I/O 峰值了，我的是机器硬盘（峰值估计单文件在100M/S 上面，），然而我的单文件MD5 HASH缓存设置到了50M，也就是91*50M，完全超过硬件本身的硬件实力。

我也没有锁瓶颈，在配置里面设置，各位量力而行，找到合适自己计算机硬件最大合理的尺寸，就自己调节适配吧。或者您有更好自动化适配硬件的算法可以分享一下。

<?xml version="1.0" encoding="utf-8" ?>
<configuration><appSettings><!--默认MD5缓存大小--><add key="MD5CacheSize" value="1"/><!--最大MD5缓存大小，注意过大可能会导致I/O占用过高--><add key="MaxMD5CacheSize" value="100"/></appSettings>  
</configuration>

多文件并发多线程MD5工具（相对快速的MD5一批文件），适配自定义MD5 Hash I/O缓存。

自己写的多文件 MD5校验工具，一个文件开一个线程，有最大I/O 缓存设置，兼容读写MD5后缀文件。共计91个文件，合计180G左右 12分钟左右，UI基本卡废，但程序没蹦，属于正常。卡的原因是基本是用 I/O…...

编程日记 2024/10/8 20:27:38

Pikachu-url重定向-不安全的url跳转

不安全的url跳转不安全的url跳转问题可能发生在一切执行了url地址跳转的地方。如果后端采用了前端传进来的(可能是用户传参,或者之前预埋在前端页面的url地址)参数作为了跳转的目的地,而又没有做判断的话就可能发生"跳错对象"的问题。 url跳转比较直接的危害是: …...

编程日记 2024/10/8 20:25:36

如何下载和安装CLion，图文详解

一、下载登录JetBrains官网，下载最新版本的Clion，Clion目前没有社区版，都是专业版。二、安装 1、启动Clion安装程序，下一步。 2、修改安装目录，下一步。 3、创建桌面快捷方式，更新PATH变量&#xff0…...

编程日记 2024/10/8 20:23:33

vue3导入本地图片2种实现方法

在<script setup>中使用import语法： <template><img :src"logo" alt"Logo"> </template><script setup> import logo from ./assets/logo.png; </script> 使用Vue的ref来动态地在<script setup>中…...

编程日记 2024/10/8 20:22:31

leetcode 刷题day36动态规划Part05 背包问题（完全背包、518. 零钱兑换 II、377. 组合总和 Ⅳ、70. 爬楼梯（进阶））

完全背包完全背包的每件商品都有无限个，和01背包的一不同主要体现在遍历顺序上。为了保证每个物品仅被添加一次，01背包内嵌的循环是从大到小遍历。而完全背包的物品是可以添加多次的，所以要从小到大去遍历。 518. 零钱兑换 II 思路&#…...

编程日记 2024/10/8 20:20:29

检查jar冲突，查找存在相同class的jar

写在前面本文看下如何查找jar冲突，即查找哪些jar包中存在相同的class。如果是存在相同jar的不同版本，基本一眼就能看出来，然后结合maven的依赖关系将其剔除掉即可，但是当你遇到了有人手动拷贝某些class到jar包中导致冲突的情况时…...

编程日记 2024/10/8 20:19:28

PhpStudy-PHP5.4.45后门漏洞应用程序（C++/base64/winhttp）

PhpStudy-PHP5.4.45后门漏洞应用程序（C/base64/winhttp） 前言引言（时间回到多年前） PhpShellCmd.exe使用介绍：（1）输入网址检测是否存在PHP/5.4.45（2）whoami（3…...

编程日记 2024/10/8 20:17:26

【优选算法】（第二十七篇）

目录重排链表（medium） 题目解析讲解算法原理编写代码合并K个升序链表（hard） 题目解析讲解算法原理编写代码重排链表（medium） 题目解析 1.题目链接：. - 力扣（LeetCod…...

编程日记 2024/10/8 20:16:25

学习Flask框架

Flask简介 Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2 。Flask使用 BSD 授权。 Flask也被称为 “microframework” ，因为它使用简单的核心，用 extension 增加其他功能。Flask没…...

编程日记 2024/10/8 20:15:22

Elasticsearch：使用 LLM 实现传统搜索自动化

作者：来自 Elastic Han Xiang Choong 这篇简短的文章是关于将结构化数据上传到 Elastic 索引，然后将纯英语查询转换为查询 DSL 语句，以使用特定过滤器和范围搜索特定条件。完整代码位于此 Github repo 中。首先，运行以下命令安装…...

编程日记 2024/10/8 20:14:21

人脸表情行为识别系统源码分享

人脸表情行为识别系统源码分享 [一条龙教学YOLOV8标注好的数据集一键训练_70全套改进创新点发刊_Web前端展示] 1.研究背景与意义项目参考AAAI Association for the Advancement of Artificial Intelligence 项目来源AACV Association for the Advancement of Computer Vis…...

编程日记 2024/10/8 20:13:20

基本使用讲原理之前，我简单写个demo小程序说说怎么使用 public class TestThreadLocal {public static void main(String[] args) throws InterruptedException {ThreadLocal<String> tl new ThreadLocal();/**主线程设置了一个值*/tl.set("SSSSSs&…...

编程日记 2024/10/8 20:12:19

探索未来：mosquitto-python，AI领域的新宠

文章目录探索未来：mosquitto-python，AI领域的新宠背景：为何选择mosquitto-python？库简介：mosquitto-python是什么？安装指南：如何安装mosquitto-python？函数用法：5个简单…...

编程日记 2024/10/8 20:10:16

C++版iwanna1

第一篇目录开头程序Game.cpp源文件Player.h头文件Player.cpp源文件trigger.h头文件trigger.cpp源文件Cmp.h头文件Cmp.cpp源文件开头大家好，我叫这是我58。程序 Game.cpp源文件 #define _CRT_SECURE_NO_WARNINGS 1 #include <iostream> #include <c…...

编程日记 2024/10/8 20:08:12

LSTM变种模型

一、GRU 1.概念 GRU（门控循环单元，Gated Recurrent Unit）是一种循环神经网络（RNN）的变体，旨在解决标准 RNN 在处理长期依赖关系时遇到的梯度消失问题。GRU 通过引入门控机制简化了 LSTM（长短期…...

编程日记 2024/10/8 20:07:11

Python进阶--函数进阶

目录 1. 函数多返回值 2. 函数多种传参方式 (1). 位置参数 (2). 关键字参数 (3). 缺省参数 (4). 不定长参数 3. 匿名函数 (1). 函数作为参数传递 (2). lambda匿名函数 1. 函数多返回值 def return_num():return 1# 返回1之后就不会再向下继续执行函数体return 2 resu…...

编程日记 2024/10/8 20:06:10

elasticsearch 8.2 设置账号密码

背景：单节点集群数据写入测试-CSDN博客前述项目支持设置账号密码，但8+版本似乎不能那么做了。 ERROR: [1] bootstrap checks failed. You must address the points described in the following [1] lines before starting Elasticsearch. bootstrap check failure [1] of…...

编程日记 2024/10/8 20:05:08

JavaScript代码如何测试？

测试JavaScript代码是确保其功能、性能和可靠性的关键步骤。以下是一些详细的步骤和方法，用于测试JavaScript代码： 1、编写测试用例首先，你需要为要测试的JavaScript代码编写测试用例。这些用例应该涵盖代码的各种功能和场景，包…...

编程日记 2024/10/8 20:04:07

案例分享—国外ui设计优秀案例

国外企业更注重用户体验设计，倾向于简洁清晰的设计风格，以提高用户的使用体验和操作效率。他们注重“简约至上”的设计理念，认为简洁的设计可以减少用户的认知负担，提高用户的工作效率。设计师在界面设计中往往更加注重创意性和个…...

编程日记 2024/10/8 20:02:04

在JavaScript中，改变this指向的call，apply，bind有什么区别，原理分别是什么？

在JavaScript中，call、apply和bind方法都是用来改变函数执行时this指向的。以下通过一个Demo帮助理解，代码如下： var obj {name: lisi,sayHello: function() {console.log(this.name)} } obj.sayHello()// lisifunction sayHello() {conso…...

编程日记 2024/10/8 20:00:00

[2025CVPR]DeepVideo-R1：基于难度感知回归GRPO的视频强化微调框架详解

突破视频大语言模型推理瓶颈，在多个视频基准上实现SOTA性能一、核心问题与创新亮点 1.1 GRPO在视频任务中的两大挑战安全措施依赖问题 GRPO使用min和clip函数限制策略更新幅度，导致：梯度抑制：当新旧策略差异过大时梯度消失收敛困难：策略无法充分优化# 传统GRPO的梯…...

编程新知 2025/8/19 23:46:57

C++初阶-list的底层

目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...

编程新知 2026/2/8 20:42:41