当前位置： 首页 > news >正文

【大模型微调】pdf转markdown

news 2026/5/24 5:47:17

目前市面上大部分都是pdf文档，要想转换成能训练的文本，调研了各种工具。

觉得MinerU确实不错。

参考此链接进行操作

MinerU/docs/README_Ubuntu_CUDA_Acceleration_en_US.md at master · opendatalab/MinerU · GitHub

需要注意的几个点：

1. 使用root账户安装的，配置文件在此处  /root/magic-pdf.json

2. 配置文件cuda，使能表格的配置文件参考为

{"bucket_info": {"bucket-name-1": ["ak","sk","endpoint"],"bucket-name-2": ["ak","sk"

相关文章：

【大模型微调】pdf转markdown

目前市面上大部分都是pdf文档，要想转换成能训练的文本，调研了各种工具。 觉得MinerU确实不错。 参考此链接进行操作 MinerU/docs/README_Ubuntu_CUDA_Acceleration_en_US.md at master opendatalab/MinerU GitHub 需要注意的几个点： 1. 使用root账户安装的，配置文件在…...

编程日记 2024/12/4 10:16:28

Vue 3 结合 TypeScript基本使用

Vue 3 结合 TypeScript 使用可以提供更加强大的类型检查和开发体验。以下是一些基本的步骤来开始使用 Vue 3 和 TypeScript： 1. 创建项目 你可以使用 Vue CLI 来快速创建一个支持 TypeScript 的 Vue 项目。首先确保你已经安装了 Node.js 和 npm。然后全局安装或更…...

编程日记 2024/12/4 10:12:24

Trotter steps的复杂性分析

总结 • 我们开发了使用汉密尔顿系数结构执行 Trotter 步骤的递归方法，超越了顺序方法。 • #Gate/Step 在汉密尔顿项数上是次线性的，而 #Step 仍然保持交换子缩放。 • 新结果给出了实空间中第二量化电子结构汉密尔顿的最快量子模拟。对第一量化量子模…...

编程日记 2024/12/4 10:09:20

mean,median,mode,var,std,min,max函数

剩余的函数都放在这篇里面吧 m e a n mean mean函数可以求平均值 a a a为向量时， m e a n ( a ) mean(a) mean(a)求向量中元素的平均值 a a a为矩阵时， m e a n ( a , 1 ) mean(a,1) mean(a,1)求矩阵中各列元素的平均值； m e a n ( a , 2 )…...

编程日记 2024/12/4 10:08:19

JavaScript实现tab栏切换

JavaScript实现tab栏切换 代码功能概述 这段代码实现了一个简单的选项卡（Tab）切换功能。它通过操作 HTML 元素的类名（class）来控制哪些选项卡（Tab）和对应的内容板块显示，哪些隐藏。基本思路是先…...

编程日记 2024/12/4 10:07:18

精确电压输出，家电和工业设备的完美选择，宽输入电压线性稳压器

WD5201线性稳压器的核心内容概述： 主要特点 • 高精度输出电压：2%精度。 • 输出电压可调：支持5V、3.3V、2.7V三档输出。 • 优化控制方式：提升效率。 • 宽输入电压范围：80305VAC。 • 无需功率电感和输入高压电…...

编程日记 2024/12/4 10:06:16

深入理解定时器：优先队列与时间轮实现

文章目录 1. 线程池概述线程池的基本特点： 2. 使用线程池的优先队列定时器实现2.1 优先队列定时器实现2.2 解释： 3. 使用时间轮的线程池定时器实现3.1 时间轮定时器实现 4. 总结 在定时器设计中，使用线程池来执行定时任务可以有效提高程序的性…...

编程日记 2024/12/4 10:05:14

autogen-agentchat 0.4.0.dev8版本的安装

1. 安装命令 pip install autogen-agentchat0.4.0.dev8 autogen-ext[openai]0.4.0.dev82. 版本检查 import autogen_agentchat print(autogen_agentchat.__version__)0.4.0.dev8import autogen_ext print(autogen_ext.__version__)0.4.0.dev83. 第一个案例 使用 autogen-age…...

编程日记 2024/12/4 10:04:13

JAVA ｜日常开发中读写XML详解

JAVA ｜日常开发中读写XML详解 前言一、XML 简介二、在 Java 中读取 XML2.1 使用 DOM（Document Object Model）方式读取 XML2.2 使用 SAX（Simple API for XML）方式读取 XML 三、在 Java 中写入 XML3.1 使用 DOM 方式写入…...

编程日记 2024/12/4 10:03:12

React 路由与组件通信：如何实现路由参数、查询参数、state和上下文的使用

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…...

编程日记 2024/12/4 10:01:09

帮我写一篇关于AI搜索网页上编写的文章是否存在版权问题的文章, 字数在 3000 字左右。文心一言提问, 记录后用.

AI搜索网页上编写的文章是否存在版权问题？ 在当今科技飞速发展的时代，AI搜索工具如雨后春笋般涌现，为人们获取信息提供了极大的便利。然而，随之而来的问题是，AI搜索案例中常常出现很多内容缺乏依据，这引发…...

编程日记 2024/12/4 9:57:06

电脑关机的趣味小游戏——system函数、strcmp函数、goto语句的使用

文章目录 前言一. system函数1.1 system函数清理屏幕1.2 system函数暂停运行1.3 system函数电脑关机、重启 二、strcmp函数三、goto语句四、电脑关机小游戏4.1. 程序要求4.2. 游戏代码 总结 前言 今天我们写一点稍微有趣的代码，比如写一个小程序使电脑关机&#xf…...

编程日记 2024/12/4 9:54:01

AttributeError: ‘DataFrame‘ object has no attribute ‘append‘的参考解决方法

文章目录 写在前面一、问题描述二、解决方法参考链接 写在前面 自己的测试环境： Ubuntu20.04 一、问题描述 运行开源的python代码的时候，遇到如下问题 AttributeError: DataFrame object has no attribute append二、解决方法 报错中的DataFrame是在…...

编程日记 2024/12/4 9:52:58

java垃圾回收机制介绍

Java垃圾回收机制（Garbage Collection, GC）是Java编程语言中的一项重要特性，它自动管理内存，释放不再使用的对象 1. 堆（Heap）： • Java虚拟机（JVM）中用于存储对象实例的内…...

编程日记 2024/12/4 9:46:49

SpringMVC跨域问题解决方案

当Web应用程序尝试从一个源（例如 http://localhost:9090）向另一个不同的源（例如 http://localhost:8080）发起请求时，发现报错： 报错原因：请求被CORS策略拦截了 跨域问题概述 当Web应用程序尝试…...

编程日记 2024/12/4 9:44:46

【语音识别】Zipformer

Zipformer 是kaldi 团队于2024研发的序列建模模型。相比较于 Conformer、Squeezeformer、E-Branchformer等主流 ASR 模型，Zipformer 具有效果更好、计算更快、更省内存等优点。并在 LibriSpeech、Aishell-1 和 WenetSpeech 等常用数据集上取得了当时最好的 ASR 结果…...

编程日记 2024/12/4 9:42:43

vue+uniapp+echarts的使用（H5环境下echarts）

1.安装 npm install echarts4.9.0 --save // 带版本号 2.main.js中全局引用 // import echarts from echarts // 如果是5.0以上版本用这个 import * as echarts from echarts Vue.prototype.$echartsecharts 3.使用 <template><view id"box" style"w…...

编程日记 2024/12/4 9:41:42

【Python网络爬虫笔记】7-网络爬虫的搜索工具re模块

目录 一、网络爬虫中的正则表达式和re模块&#xff08;一&#xff09;数据提取的精确性&#xff08;二&#xff09;处理复杂的文本结构&#xff08;三&#xff09;提高数据处理效率 二、正则表达式的内涵&#xff08;一&#xff09;、常用元字符&#xff08;二&#xff09;、量…...

编程日记 2024/12/4 9:40:39

为什么选择 React Native 作为跨端方案

为什么选择 React Native 作为跨端方案 我深刻地知道&#xff0c;没有完美的跨端技术&#xff0c;只有适合的场景。脱离适用场景去谈跨端技术没有什么意义。 适用场景 1. 业务更新迭代较快的团队与出海团队 React Native 特别适合那些业务更新频繁、需要快速响应市场的团队…...

编程日记 2024/12/4 9:38:37

服务器与普通电脑有什么区别？

服务器和普通电脑&#xff08;通常指的是个人计算机&#xff0c;即PC&#xff09;有众多相似之处&#xff0c;主要构成包含&#xff1a;CPU&#xff0c;内存&#xff0c;芯片&#xff0c;I/O总线设备&#xff0c;电源&#xff0c;机箱及操作系统软件等&#xff0c;鉴于使用要求…...

编程日记 2024/12/4 9:36:33

从准确率到社会福利：机器学习在社会资源分配中的范式演进

1. 从预测到分配&#xff1a;为什么准确率不再是社会场景下机器学习的唯一目标 在过去的十几年里&#xff0c;我亲眼见证了机器学习从一个学术概念&#xff0c;成长为驱动我们数字生活乃至部分现实决策的核心引擎。从最初在实验室里调参&#xff0c;看着模型在MNIST数据集上的准…...

编程新知 2026/5/24 5:36:56

[智能体-42]：深度解读：Python 免编译 + 动态执行，支撑智能体落地大模型决策

一、先厘清核心概念无需编译执行&#xff1a;Python 属于解释型语言&#xff0c;区别于 C/C、Java 编译型语言。编译型语言必须先将源码整体编译成机器码 / 字节码文件&#xff0c;才能运行&#xff1b;Python 无需手动编译&#xff0c;源码可逐行边解析边执行&#xff0c;即时…...

编程新知 2026/5/24 4:18:05

LeetCode 560：和为 K 的子数组 | 前缀和与哈希表

LeetCode 560&#xff1a;和为 K 的子数组 | 前缀和与哈希表 引言 和为 K 的子数组&#xff08;Subarray Sum Equals K&#xff09;是 LeetCode 第 560 题&#xff0c;难度为 Medium。题目要求在给定整数数组中找出连续子数组的元素和等于 K 的数量。这道题是前缀和与哈希表结合…...

编程新知 2026/5/24 4:14:02

Arm调试中MEM-AP访问属性的配置与应用

1. 使用调试器启动带特定属性的MEM-AP访问在嵌入式系统调试过程中&#xff0c;我们经常需要通过调试器访问目标设备的内存。当涉及到安全内存区域或需要特殊访问权限时&#xff0c;理解如何配置Memory Access Port&#xff08;MEM-AP&#xff09;的属性就显得尤为重要。本文将详…...

编程新知 2026/5/24 3:55:42

布莱克威尔三大定理：从统计理论到AI工程的核心支柱

1. 项目概述&#xff1a;当统计学遇上人工智能如果你在机器学习领域摸爬滚打了一段时间&#xff0c;可能会发现一个有趣的现象&#xff1a;很多听起来很“新潮”的算法&#xff0c;其核心思想往往能在几十年前的统计学论文里找到源头。这并非巧合&#xff0c;而是学科发展的必然…...

编程新知 2026/5/24 3:10:40

1000个文件重命名，1秒完成！批量文件重命名软件

前言&#xff1a; 大家好&#xff0c;这里是惠众资料库&#xff0c; 在日常办公、资料归档、素材整理、摄影剪辑等各类场景中&#xff0c;用户会积累大量图片、文档、视频、音频、文件夹等各类文件。为了实现文件分类规整、统一命名规范、方便快速检索调用&#xff0c;文件重命…...

编程新知 2026/5/24 1:31:38

找工厂客户，天下工厂和企查查、天眼查这类平台哪个数据更靠谱？

做B2B销售或供应链采购的人&#xff0c;多半都碰过这样的困境&#xff1a;打开某个平台搜一个行业&#xff0c;出来几百条结果&#xff0c;逐条看下去才发现——这家是贸易公司&#xff0c;那家是空壳主体&#xff0c;还有一堆个体工商户&#xff0c;真正能对接生产的工厂没几个…...

编程新知 2026/5/24 1:25:05

为什么你的 Agent 总是“偷懒”？大模型惰性与激励提示词研究

为什么你的 Agent 总是“偷懒”？大模型惰性与激励提示词研究 各位知识工作者、AI 产品经理、大模型开发者、编程爱好者——如果你正在开发或使用基于大语言模型（LLMs）的智能体（Agent），或者只是在日常用 ChatGPT、Claude、文心一言这类工具时，肯定遇到过这类令人抓狂的场…...

编程新知 2026/5/24 1:09:10

多云安全态势：管理多个云环境的安全状态

多云安全态势&#xff1a;管理多个云环境的安全状态 一、多云安全态势概述 1.1 多云安全态势的定义 多云安全态势是指在多个云环境中评估和管理安全状态的过程。它通过统一的安全策略和监控&#xff0c;确保多个云平台的安全性和合规性。 1.2 多云安全态势的价值 统一安全&…...

编程新知 2026/5/24 0:10:00

【AI入门知识点】告别繁琐配置！Claude Code + DeepSeek 直连方案打造最强 VSCode 编程助手

在 AI 编程领域&#xff0c;Claude Code 凭借其强大的 Agent 能力&#xff08;自动读写文件、执行命令&#xff09;一直是开发者的梦中情“器”。然而&#xff0c;官方 API 的高昂费用和网络限制&#xff0c;让许多国内开发者望而却步。 这篇文章我们不通过 cc-switch 转发请求…...

编程新知 2026/5/23 23:26:31