olmOCR：使用VLM解析PDF
在PDF解析中，目前主流的开源工具包括Minuer、GOT OCR等。主要都是通过飞桨等OCR套件组装的一套pipeline，或者直接通过VLM解析图像。
#一、 olmOCR是使用VLM进行的端到端的PDF文档解析
二、document-anchoring
与上述的不同在于，olmOCR使用了document-anchoring，文档锚定方法。针对PDF中的页码信息、图像信息等元数据和文字，使用pyPDF库进行解析。
通过在提示词里加入这些文字位置、图像位置、元数据等信息，VLM的幻觉大大减少。
加上位置信息，VLM应该能够定位到具体区域，然后专注于这部分的解析。
仅用页面图像进行提示容易出现未完成的句子，或者在图像数据模糊时产生不忠实的输出。
三、模型微调
数据集：构建了olmOCR-mix-0225数据集
训练：在Qwen2-VL-7B-Instruct上微调
评估：
1.与教师模型GPT-4o计算对齐得分，具体是文档相似性度量，该度量将文档拆分为单词，使用Hirschberg算法对这些单词进行对齐，并计算匹配的比例
2.人类评估：ELO分数
3.下游任务评估
项目：https://github.com/allenai/olmocr
相关文章：
olmOCR：使用VLM解析PDF
在PDF解析中，目前主流的开源工具包括Minuer、GOT OCR等。主要都是通过飞桨等OCR套件组装的一套pipeline，或者直接通过VLM解析图像。 #一、 olmOCR是使用VLM进行的端到端的PDF文档解析 二、document-anchoring 与上述的不同在于，olmOCR使用…...
数据结构（初阶）（七）----树和二叉树（堆，堆排序）
八，树与二叉树 树 概念与结构 树是⼀种⾮线性的数据结构，它是由 n（n>0） 个有限结点组成⼀个具有层次关系的集合。把它叫做树是因为它看起来像⼀棵倒挂的树，也就是说它是根朝上，⽽叶朝下的。 • 有⼀…...
图像分类项目1：基于卷积神经网络的动物图像分类
一、选题背景及动机 在现代社会中，图像分类是计算机视觉领域的一个重要任务。动物图像分类具有广泛的应用，例如生态学研究、动物保护、农业监测等。通过对动物图像进行自动分类，可以帮助人们更好地了解动物种类、数量和分布情况，…...
Kali Linux 2024.4版本全局代理(wide Proxy)配置，适用于浏览器、命令行
1. 网络拓扑介绍（不使用虚拟机直接跳到2） 虚拟机：VMware 17 Pro，为本机开启桥接模式。 我的究极套娃网络：手机V2rayNG代理端口为10808，开热点 -> 电脑连接wifi -> 虚拟机中运行kali 2. kali 配置…...
[Windows] 批量为视频或者音频生成字幕 video subtitle master 1.5.2
Video Subtitle Master 1.5.2 介绍 Video Subtitle Master 1.5.2 是一款功能强大的客户端工具，能够批量为视频或音频生成字幕，还支持批量将字幕翻译成其他语言。该工具具有跨平台性，无论是 mac 系统还是 windows 系统都能使用。 参考原文&a…...
不要升级，Flutter Debug 在 iOS 18.4 beta 无法运行，提示 mprotect failed: Permission denied
近期如果有开发者的 iOS 真机升级到 18.4 beta，大概率会发现在 debug 运行时会有 Permission denied 的相关错误提示，其实从 log 可以很直观看出来，就是 Dart VM 在初始化时，对内核文件「解释运行（JIT）」时…...
介绍 torch-mlir 从 pytorch 生态到 mlir 生态
一、引言 The Torch-MLIR project provides core infrastructure for bridging the PyTorch ecosystem and the MLIR ecosystem. For example, Torch-MLIR enables PyTorch models to be lowered to a few different MLIR dialects. Torch-MLIR does not attempt to provide a…...
upload
（上传一句话木马，用蚁剑链接验证是否成功/传有回显的：<?php phpinfo();?>） 学看代码 #function checkfile(){}：定义了一个名叫checkfile的函数 #var file方法.(获取名为‘upload_file’的元素)[获取哪些&…...
InterHand26M（handposeX-json 格式）数据集-release ＞＞ DataBall
DataBall 助力快速掌握数据集的信息和使用方式，会员享有 百种数据集，持续增加中。 需要更多数据资源和技术解决方案，知识星球： “DataBall - X 数据球(free)” 贵在坚持！ ---------------------------------------…...
[Java基础] JVM常量池介绍（BeanUtils.copyProperties(source, target)中的属性值引用的是同一个对象吗）
文章目录 1. JVM内存模型2. 常量池中有什么类型？3. 常量池中真正存储的内容是什么4. 判断一个字符串(引用)是否在常量池中5. BeanUtils.copyProperties(source, target)中的属性值引用的是同一个对象吗？6. 获取堆内存使用情况、非堆内存使用情况 1. JVM内…...
`maturin`是什么：matu rus in python
maturin是什么 maturin 是一个用于构建和发布 Rust 编写的 Python 绑定库的工具。它简化了将 Rust 代码集成到 Python 项目中的过程，支持创建不同类型的 Python 包，如纯 Python 包、包含 **Rust (系统编程语言)**扩展模块的包等。以下为你详细介绍 maturin 的相关信息并举例…...
spring boot整合flyway实现数据的动态维护
1、简单介绍一下flyway Flyway 是一款开源的数据库版本控制工具，主要用于管理数据库结构的变更（如创建表、修改字段、插入数据等）。它通过跟踪和执行版本化的迁移脚本，帮助团队实现数据库变更的自动化。接下来简单介绍一下flyway…...
unity中使用spine详解
一.Spine概述 Spine 是一款针对游戏开发的 2D 骨骼动画编辑工具。 Spine 旨在提供更高效和简洁 的工作流程，以创建游戏所需的动画。 Spine原理：将一个模型，根据动画的需求分成一些骨骼，一个骨骼对应一张贴图，控制骨骼…...
14. LangChain项目实战1——基于公司制度RAG回答机器人
教学视频： 12. 基于Gradio搭建基于公司制度RAG_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV11VXRYTErZ/ 环境配置： python版本：3.10.8 服务器：Ubuntu 依赖包requirements.txt文件内容： aiofiles23.2.1 …...
利用STM32TIM自制延迟函数实验
一、实验目的 掌握STM32定时器（TIM）的工作原理及配置方法学习使用HAL库实现微秒级/毫秒级延时函数理解定时器中断服务程序的编写规范 二、实验原理 定时器基础： STM32定时器包含向上计数器、向下计数器、中心对齐模式通过预分频器&#x…...
创建一个MCP服务器，并在Cline中使用，增强自定义功能。
MCP介绍 MCP 是一个开放协议，它标准化了应用程序如何向LLMs提供上下文。可以将 MCP 视为 AI 应用程序的 USB-C 端口。正如 USB-C 提供了一种标准化的方法来将您的设备连接到各种外围设备和配件一样，MCP 提供了一种标准化的方法来将 AI 模型连接到不同的…...
Android Activity栈关系解析
在 Android 系统中，这些类共同构成了 Activity 任务栈管理的核心架构。它们的关系可以类比为一栋大楼的管理体系，每个类负责不同层级的任务。以下是它们的详细解释和实际场景示例： 1. ActivityRecord（活动记录） 是什么…...
java使用word模板填充内容，再生成pdf
1.word模板填充内容 使用EasyPoi写入Word文档。 import cn.afterturn.easypoi.word.WordExportUtil; import org.apache.commons.io.FileUtils; import org.apache.commons.io.IOUtils; import org.apache.poi.xwpf.usermodel.XWPFDocument;import java.io.File; import java…...
回归实战详细代码+解析：预测新冠感染人数
回归实战：预测新冠感染人数 先回顾下回归是个啥玩意 首先需要一组训练集，说人话就是通过一系列x[x1,x2…xn]通过神秘计算得到y的过程，当然人和机器现在都不知道什么计算是什么，这是一个黑箱。 黑箱比喻：把模型想象成自…...
AI人工智能机器学习之聚类分析
1、概要 本篇学习AI人工智能机器学习之聚类分析，以KMeans、AgglomerativeClustering、DBSCAN为例，从代码层面讲述机器学习中的聚类分析。 2、聚类分析 - 简介 聚类分析是一种无监督学习的方法，用于将数据集中的样本划分为不同的组ÿ…...
自动化智能体生成+外接MCP，我用 ModelEngine Nexent 5分钟手搓了一个小红书爆款收割机
前言：别让“工作流”困住了你的想象力 在 AI Agent 爆发的这一年，作为开发者，我们采用过“工作流（Workflow）”开发，提示词开发。 最近体验了 ModelEngine Nexent，它打出的 Slogan 是 “Your n…...
Youtu-VL-4B-Instruct-GGUF助力开源社区：如何向GitHub提交高质量的模型使用案例
Youtu-VL-4B-Instruct-GGUF助力开源社区：如何向GitHub提交高质量的模型使用案例 1. 引言：从使用者到贡献者 不知道你有没有这样的经历：在网上找到一个看起来很酷的开源项目，兴致勃勃地打开它的GitHub页面，结果发现文…...
实战应用：基于快马平台开发一个具备节点测速功能的网络工具面板
最近在折腾服务器节点管理时，发现手动测试各个节点的延迟特别麻烦。正好看到InsCode(快马)平台这个在线开发环境，就尝试用它快速搭建了一个带测速功能的网络工具面板。整个过程比想象中简单很多，分享下具体实现思路。 项目构思 这个工具的核…...
Koodo Reader：您的跨平台电子书阅读解决方案，让阅读无处不在
Koodo Reader：您的跨平台电子书阅读解决方案，让阅读无处不在 【免费下载链接】koodo-reader A modern ebook manager and reader with sync and backup capacities for Windows, macOS, Linux, Android, iOS and Web 项目地址: https://gitcode.com/Gi…...
Nginx多服务静态资源路径冲突解决方案
在Nginx反向代理多个Flask服务时，不同服务的静态资源路径会发生冲突，导致服务A的页面加载了服务B的CSS/JS文件，或者找不到静态资源返回404错误。 问题场景 部署架构 域名: mathcoding.top ├── 主服务 (端口5000) → 路径前缀: / └──…...
Oracle错误代码实战指南：从ORA-00001到ORA-02899的快速排查手册
Oracle数据库错误代码实战排查指南：从原理到解决方案 1. 理解Oracle错误代码体系 Oracle数据库的错误代码体系采用"ORA-XXXXX"的格式，其中前五位数字代表特定错误类型。这些错误代码并非随机排列，而是按照功能模块进行了系统分类…...
离职见人品：软件测试工程师如何优雅交接，为职业生涯赋能
在职业旅程的每一次转折点，如何“结束”与如何“开始”同等重要。对于软件测试工程师而言，离职远非简单地提交代码、归还电脑那么简单。它更像是一次对个人职业素养、专业精神和人脉网络的集中检阅。一次专业、周到、负责任的交接，不仅能确保…...
CertMagic故障恢复终极指南：如何从证书失效中快速恢复的10个关键步骤
CertMagic故障恢复终极指南：如何从证书失效中快速恢复的10个关键步骤 【免费下载链接】certmagic Automatic HTTPS for any Go program: fully-managed TLS certificate issuance and renewal 项目地址: https://gitcode.com/gh_mirrors/ce/certmagic CertMa…...
OpenClaw+Qwen2.5-VL-7B：自动化生成图文报告
OpenClawQwen2.5-VL-7B：自动化生成图文报告 1. 为什么需要自动化图文报告 作为一名数据分析师，我每天都要处理大量数据并生成报告。传统的工作流程是：先整理Excel表格，然后手动截图插入PPT，最后撰写分析文字。这个过…...
突破QQ音乐格式限制：QMCFLAC2MP3的音乐自由解决方案
突破QQ音乐格式限制：QMCFLAC2MP3的音乐自由解决方案 【免费下载链接】qmcflac2mp3 直接将qmcflac文件转换成mp3文件，突破QQ音乐的格式限制 项目地址: https://gitcode.com/gh_mirrors/qm/qmcflac2mp3 QMCFLAC2MP3是一款专为破解QQ音乐格式限制设计…...