【AI论文】论文转海报：迈向从科学论文到多模态海报的自动化生成

摘要：学术海报生成是科学交流中一项关键但具有挑战性的任务，需要将长上下文交织的文档压缩成单一的、视觉上连贯的页面。 为了应对这一挑战，我们引入了第一个用于海报生成的基准和度量套件，该套件将最近的会议论文与作者设计的海报配对，并评估了以下方面的输出：（i）视觉质量-与人类海报的语义对齐，（ii）文本连贯性-语言流畅性，（iii）整体评估-由VLM-as-judge评分的六个细粒度的美学和信息标准，特别是（iv）论文测验-海报传达核心论文内容的能力，由VLM回答生成的测验来衡量。 基于这一基准，我们提出了PosterAgent，一个自上而下、视觉闭环的多智能体管道：（a）解析器将论文提取到一个结构化的资产库中； (b)规划器将文本视觉对排列成二叉树布局，保留阅读顺序和空间平衡； 并且(c)画家-评论者循环通过执行渲染代码并使用VLM反馈来消除溢出并确保对齐，从而优化每个面板。 在我们的综合评估中，我们发现GPT-4o输出虽然乍一看很有吸引力，但往往表现出文本噪音大、PaperQuiz分数低的问题，我们发现读者参与度是主要的审美瓶颈，因为人类设计的海报在很大程度上依赖于视觉语义来传达意义。 我们的完全开源变体（例如基于Qwen-2.5系列）在几乎所有指标上都优于现有的4o驱动的多代理系统，同时使用的令牌减少了87%。 它将一份22页的论文转化为最终确定但可编辑的.pptx海报——所有这些只需0.005美元。 这些发现为下一代全自动海报生成模型指明了方向。 代码和数据集可在Github。Huggingface链接：Paper page，论文链接：2505.21497

一、研究背景和目的

研究背景：

学术海报在科学交流中扮演着至关重要的角色，它们能够在短时间内向会议参与者传达论文的核心发现。然而，创建高质量的学术海报是一项既耗时又具有挑战性的任务，尤其是当需要将长篇、多模态的论文内容压缩到一张视觉上连贯的页面上时。随着自动化技术的发展，利用人工智能技术来辅助甚至自动生成学术海报成为了一个研究热点。现有的自动化工具，如PPTAgent和D2S，已经在幻灯片生成方面取得了显著进展，但海报生成由于其独特的需求和挑战，如更长的上下文处理、紧密的图文交织以及严格的布局约束，仍然是一个未被充分探索的领域。

研究目的：

本文旨在通过引入Paper2Poster基准和度量套件，系统地评估并推动学术海报自动化生成技术的发展。具体目标包括：

1. 构建基准：创建一个包含近期会议论文及其作者设计海报的数据集，为海报生成任务提供标准化的测试平台。
2. 定义度量标准：提出一套综合的评估指标，涵盖视觉质量、文本连贯性、整体美学和信息质量，以及通过VLM（视觉语言模型）模拟读者理解能力的PaperQuiz测试。
3. 开发模型：提出PosterAgent，一个自上而下、视觉闭环的多智能体框架，用于将长篇论文转化为结构化的学术海报。
4. 评估性能：通过全面的实验评估，比较不同模型在海报生成任务上的表现，分析现有技术的优缺点。
5. 探索未来方向：基于实验结果，指出当前研究的局限性，并提出未来工作的方向。

二、研究方法

1. 数据集构建：

本文采用了POSTERSUM数据集，该数据集包含了来自ICML、NeurIPS和ICLR等顶级AI会议的论文-海报对。为了确保数据集的质量和多样性，本文进行了严格的筛选和过滤，最终构建了一个包含100对论文-海报的数据集，覆盖了计算机视觉、自然语言处理和强化学习等多个领域。

2. 度量标准定义：

为了全面评估海报生成的质量，本文提出了以下四个维度的度量标准：

• 视觉质量：通过CLIP图像嵌入计算生成海报与人类设计海报之间的视觉相似性，以及图表与对应文本部分之间的相关性。
• 文本连贯性：使用Llama-2-7b-hf模型计算海报文本的困惑度（PPL），以评估语言的流畅性和可预测性。
• 整体评估：通过VLM作为评委，对海报的美学和信息质量进行细粒度的评分，涵盖元素质量、布局平衡、吸引力、清晰度、内容完整性和逻辑流程六个方面。
• PaperQuiz：设计了一套基于VLM的测验，通过让VLM回答从论文中生成的多项选择题，来评估海报传达核心论文内容的能力。

3. PosterAgent框架：

PosterAgent是一个多智能体框架，包括三个主要模块：

• 解析器（Parser）：将论文全文PDF转换为结构化的资产库，包括文本摘要和提取的图表。
• 规划器（Planner）：将文本和视觉资产匹配并排列成二叉树布局，同时考虑内容长度和阅读顺序。
• 画家-评论者循环（Painter-Commenter Loop）：画家模块将文本-图表对转换为可执行的代码指令，并渲染面板图像；评论者模块则是一个VLM，通过提供针对性的反馈来优化面板布局，避免文本溢出和确保对齐。

4. 实验设置：

本文在Paper2Poster基准上评估了多种基线方法和PosterAgent变体，包括Oracle方法（如原始论文和作者设计的海报）、端到端方法（如GPT-4o直接生成海报）、多智能体方法（如OWL-4o和PPTAgent-4o）以及PosterAgent的不同变体（如PosterAgent-4o和PosterAgent-Qwen）。评估过程中记录了每种方法的视觉质量、文本连贯性、VLM评估得分和PaperQuiz得分。

三、研究结果

1. 视觉质量和文本连贯性：

实验结果表明，虽然GPT-4o生成的海报在视觉上可能看起来吸引人，但它们往往包含噪音文本，导致PaperQuiz得分较低。相比之下，PosterAgent生成的海报在视觉相似性和图表相关性方面表现出色，尤其是PosterAgent-Qwen变体，在保持较高视觉质量的同时，还显著减少了文本噪声。

2. 整体评估：

在VLM评估中，PosterAgent-4o和PosterAgent-Qwen均取得了较高的分数，尤其是在美学和信息质量方面。这表明PosterAgent框架能够有效地组织论文内容，生成既美观又信息丰富的海报。

3. PaperQuiz结果：

PaperQuiz测试显示，PosterAgent生成的海报在传达核心论文内容方面表现优异，尤其是PosterAgent-Qwen变体，其得分甚至超过了部分基于GPT-4o的方法。这表明PosterAgent不仅能够生成视觉上吸引人的海报，还能够确保海报内容的准确性和完整性。

4. 效率和成本分析：

PosterAgent在效率和成本方面也表现出色。与现有的多智能体方法相比，PosterAgent使用了更少的令牌，同时保持了较高的生成质量。特别是PosterAgent-Qwen变体，其成本仅为GPT-4o变体的一小部分，使得大规模海报生成变得更加经济可行。

四、研究局限

尽管PosterAgent在学术海报生成任务上取得了显著进展，但本文的研究仍存在一些局限性：

1. 顺序执行效率：

当前PosterAgent实现中，面板细化是顺序执行的，这构成了主要的效率瓶颈。每个面板的生成-修订周期在结构上是独立的，理论上可以并行化处理。然而，为了保持模块化和输出质量，当前实现选择了串行处理。这导致每篇文档的端到端海报创建时间约为4.5分钟，对于大规模或交互式工作流程来说可能不够高效。

2. 外部知识和资产集成：

一个设计良好的海报应该整合论文以外的外部知识，如社区反馈（如OpenReview评论和社交媒体反应），并利用外部资产（如机构图标和会议标志）。然而，当前PosterAgent框架尚未考虑这些因素。

3. 人机协作：

虽然PosterAgent能够自动生成高质量的海报，但在实际应用中，人机协作可能更为理想。例如，代理可以生成初始草稿，征求用户反馈，并迭代地优化其输出以满足特定要求。然而，当前的研究尚未探索这种协作模式。

五、未来研究方向

基于本文的研究结果和局限性分析，未来工作可以关注以下几个方向：

1. 并行化处理：

探索面板细化过程的并行化方法，以显著减少海报生成时间，提高系统的可扩展性和实时编辑能力。

2. 外部知识和资产集成：

研究如何将外部知识和资产有效地集成到海报生成过程中，以提升海报的信息丰富度和视觉吸引力。

3. 人机协作模式：

开发支持人机协作的海报生成系统，允许用户对代理生成的草稿进行反馈和修改，以满足特定的需求和偏好。

4. 跨领域应用：

探索PosterAgent框架在其他领域的应用潜力，如技术报告、产品宣传册等，以验证其通用性和可扩展性。

5. 持续优化和迭代：

基于用户反馈和实际应用效果，持续优化PosterAgent框架的各个组件和算法，以不断提升海报生成的质量和效率。