当前位置：首页 > news >正文

利用 langchain 和 LLM 来给 PDF 做总结

news 2025/7/7 11:26:02

在网上看到一个PDF, 讲的是 Gstreamer 的的动态管道的构建, 一瞥而过, 没时间细看, 先写个小程序通过 langchain 和 LLM 给它做个快速总结

代码如下

from langchain.document_loaders import UnstructuredPDFLoader
from langchain.llms import OpenAI
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate# 加载 PDF 文件
pdf_loader = UnstructuredPDFLoader("path_to_your_pdf_file.pdf")
documents = pdf_loader.load()# 获取 PDF 的纯文本内容
pdf_text = ' '.join([doc.page_content for doc in documents])# 创建 LLM 对象 (使用 OpenAI GPT)
llm = OpenAI(temperature=0.7, openai_api_key="your_openai_api_key")# 定义总结的 Prompt
prompt_template = """
请总结以下内容：
{pdf_text}
总结：
"""prompt = PromptTemplate(input_variables=["pdf_text"],template=prompt_template,
)# 创建 LLMChain
chain = LLMChain(llm=llm, prompt=prompt)# 使用 LLM 生成总结
summary = chain.run(pdf_text)
print("PDF 总结：\n", summary)

代码输出如下

PDF summary:总结内容：1. **演讲者信息**：- 演讲者：José Antonio Santos Cadenas- 职位：软件工程师- 教育背景：Telematic Systems 硕士- 工作经历：Kurento Media Server (KMS) 管理员- 联系方式：santoscadenas@gmail.com2. **GStreamer 静态管道**：- 使用 `gst-launch` 命令创建复杂的媒体管道，例如将视频文件转码。- 示例：`gst-launch-1.0 filesrc location=sample.mp4 ! qtdemux ! avdec_h264 ! queue ! vp8enc ! webmmux ! filesink location=sample.webm`3. **GStreamer 动态元素**：- GStreamer 提供了一些动态元素(如 `autovideosrc`, `autovideosink`, `decodebin`, `playbin`)，简化了动态管道的创建。- 示例：`gst-launch-1.0 filesrc location=sample.mp4 ! decodebin ! vp8enc ! webmmux ! filesink location=sample.webm`4. **动态管道不依赖于媒体**：- 动态管道可以根据媒体流而不是外部条件创建。- 例如：根据用户操作添加或替换元素。5. **创建动态管道的要求**：- 需要深入理解 GStreamer 的工作原理，包括媒体如何在 pads 之间流动、协商如何进行、流线程如何工作以及 probes 如何工作。6. **在播放时添加和移除元素**：- 错误方式：直接调用 `gst_pad_unlink`，可能导致死锁或竞争条件。- 正确方式：使用 probe 等待 pad 空闲，确保在断开连接时不会影响媒体流。7. **在 tee 后添加元素**：- tee 会处理断开的 pads，但建议在 idle 或 block 回调中处理元素连接，以避免状态更改或协商期间的问题。8. **注意协商**：- 在 tee 后连接元素时，需要注意协商可能会影响其他分支，建议使用 `capsfilter` 或转换器来简化协商。9. **移除元素**：- 有时需要允许元素处理所有队列中的缓冲区(例如录制时)，断开连接后需要发送 EOS 并等待管道末端处理。10. **实时管道建议**：- 在实时管道中，元素应配置为尽可能快地工作，并添加队列以分离不同线程中的处理。11. **总结建议**：- 动态管道不容易，理解要尝试的操作及其对管道其他部分的影响。- 断开连接前阻塞 pads，连接前同步新元素的状态，始终先连接 sink 元素以避免媒体泄漏。12. **联系方式和资源**：- 演讲者邮箱：santoscadenas@gmail.com- Kurento 相关链接：[Kurento](http://www.kurento.org), [GitHub](http://www.github.com/kurento), [Twitter](https://twitter.com/kurentoms)- 其他相关组织：[NUBOMEDIA](http://www.nubomedia.eu), [FI-WARE](http://www.fi-ware.org), [EU](http://ec.europa.eu)

代码解释

这段代码的作用是从 PDF 文件中提取文本内容，并使用 OpenAI 的 GPT 模型对其进行总结。以下是各部分的解释：

1. 导入必要的库

from langchain.document_loaders import UnstructuredPDFLoader
from langchain.llms import OpenAI
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate

UnstructuredPDFLoader: 用于加载和解析 PDF 文件，将其转换为文本格式。
OpenAI: 用于与 OpenAI 的 GPT 模型进行交互，生成自然语言的输出。
LLMChain: 用于将模型与输入的提示(prompt)结合起来，创建一个完整的流程链。
PromptTemplate: 用于定义向 GPT 提供的提示模板。

2. 加载 PDF 文件

pdf_loader = UnstructuredPDFLoader("path_to_your_pdf_file.pdf")
documents = pdf_loader.load()

UnstructuredPDFLoader: 用来加载 PDF 文件。它会解析 PDF 并将其转换成文档对象列表，每个文档对象包含了对应的页面内容。
documents: 加载后的 PDF 文件内容存储在 documents 列表中，每个文档对象对应一页 PDF 文本。

3. 提取 PDF 文本

pdf_text = ' '.join([doc.page_content for doc in documents])

pdf_text: 从文档对象中提取纯文本内容，将每一页的内容拼接在一起，生成完整的 PDF 文本。

4. 创建 OpenAI LLM 对象

llm = OpenAI(temperature=0.7, openai_api_key="your_openai_api_key")

OpenAI: 实例化 GPT 模型，temperature=0.7 设置了生成文本的随机性，较高的值会导致模型生成更多样化的输出。需要使用 OpenAI 的 API 密钥来访问 GPT 服务。

5. 定义 Prompt 模板

prompt_template = """
请总结以下内容：
{pdf_text}
总结：
"""

prompt_template: 定义了一个自然语言提示模板，包含一个占位符 {pdf_text}，用于替换成提取的 PDF 文本。该模板告诉 GPT 模型对 PDF 内容进行总结。

prompt = PromptTemplate(input_variables=["pdf_text"],template=prompt_template,
)

PromptTemplate: 创建一个具体的提示模板，指定 pdf_text 作为输入变量。

6. 创建 LLMChain

chain = LLMChain(llm=llm, prompt=prompt)

LLMChain: 将 GPT 模型和定义好的提示模板连接起来，形成一个可执行的链，链条会根据提示和模型生成输出。

7. 生成总结

summary = chain.run(pdf_text)
print("PDF 总结：\n", summary)

chain.run(pdf_text): 执行链，将提取的 PDF 文本传递给 LLM，GPT 模型根据提供的 prompt 对 PDF 文本进行总结。
print("PDF 总结：\n", summary): 打印生成的总结。

总结

该代码从 PDF 文件中提取纯文本内容，使用 OpenAI GPT 模型对其进行总结。你可以通过修改 prompt 或调整模型的参数来生成不同风格的总结。

你可以将此代码应用于任何 PDF 文件，得到简明的总结内容。

本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可。

利用 langchain 和 LLM 来给 PDF 做总结

在网上看到一个PDF, 讲的是 Gstreamer 的的动态管道的构建, 一瞥而过, 没时间细看, 先写个小程序通过 langchain 和 LLM 给它做个快速总结代码如下 from langchain.document_loaders import UnstructuredPDFLoader from langchain.llms import OpenAI from langchain.chains i…...

编程日记 2024/10/12 4:52:18

props 不能轻易解构，注意maxLength类似这种，不能解构出来

当您从 props 对象中解构 msg 时，msg 变量将会获取到当时的 props.msg 值。解构操作仅仅是将当前值复制到 msg 变量中，它并不会建立响应式连接。因此，当 props.msg 发生变化时，解构出的 msg 变量仍保持其原始值，不会自…...

编程日记 2024/10/12 4:50:16

总结拓展十三：SAP系统采购订单关闭实例分享

1、案例分享我们集团A基地和B基地存在外包加工业务。A基地向B基地外包采购了多起不同类型的物料，近期有部分外包采购暂停，需要采购关闭未完成交货的采购订单。采购在关闭时出现2类报错问题，向我们IT咨询解决方案。 1）报错类型 …...

编程日记 2024/10/12 4:49:15

内嵌服务器Netty Http Server

内嵌式服务器不需要我们单独部署，列如SpringBoot默认内嵌服务器Tomcat,它运行在服务内部。使用Netty 编写一个 Http 服务器的程序，类似SpringMvc处理http请求那样。举例：xxl-job项目的核心包没有SpringMvc的Controller层，客户端却…...

编程日记 2024/10/12 4:48:13

Maven打包运行，引入三方jar及打包，不导入本地库的方法

Maven打包运行，引入三方jar及打包，不导入本地库的方法 maven、打包、springboot、jar、本地、引入背景业务系统要对接某硬件，需要用到其三方jar，maven官方仓库没有这个，我也没有maven，又不想mvn install…...

编程日记 2024/10/12 4:47:13

02复写零

复写零我们先进行异地复写：代码如下 public class Test {public static void main(String[] args) {int []array {1,0,2,3,0,4};duplicateZeros(array);}public static void duplicateZeros(int[] arr) {int [] elemnew int[arr.length];for(int cur0,dest0;des…...

编程日记 2024/10/12 4:45:11

01-gcc编译c++过程

当然，可以为您简要概述GCC编译C程序的各个步骤及其对应的具体命令。 GCC编译C的四个主要步骤预处理（Preprocessing）编译（Compilation）汇编（Assembly）链接（Linking） 1…...

编程日记 2024/10/12 4:44:09

互动式教育技术：Spring Boot师生共评作业管理系统

3系统分析 3.1可行性分析通过对本师生共评的作业管理系统实行的目的初步调查和分析，提出可行性方案并对其一一进行论证。我们在这里主要从技术可行性、经济可行性、操作可行性等方面进行分析。 3.1.1技术可行性本师生共评的作业管理系统采用JAVA作为开发语言&…...

编程日记 2024/10/12 4:43:08

【云从】三、计算机网络基础

文章目录 1、网络2、网络通信2.1 IP地址2.2 子网掩码2.3 网关2.4 私有地址和公有地址2.5 NAT网络地址转换 3、网络架构及设备 1、网络网络，即通过通信线路（如光纤、网线）和通信设备（如路由器、光猫），将各…...

编程日记 2024/10/12 4:42:07

读书笔记《向上生长》关于记忆、链接的一些思考

摘录 NOTES 1.大脑非常低效，记性不好，还会自圆其说。很多成绩不好的学生绝大部分不记笔记，记了也不看。 2.注意力和肌肉一样，存在耗损，也可以通过锻炼来加强。 3. 所有知识必须链接到已经有的知识，到用的时…...

编程日记 2024/10/12 4:41:07

Kubesphere4.1版本创建应用Mysql并实现外网访问

目前Kubesphere4.1版本可查创建应用资料较少，特此记录作为参考。目标使用Kubesphere4.1完成Mysql服务部署并实现外网访问。具体流程如下： 1.创建企业空间 2.创建项目 3.创建应用仓库 4.创建应用（mysql） 5.配置外网访…...

编程日记 2024/10/12 4:39:04

小猿口算跟风版——没想到吧，这也能暴力

前言 “接口也是口，算法也是算”，综合来看就是口算！ 看到全网都在炸鱼也忍不住来玩一玩… 参考了大佬的OCR版，试用后发现影响速度的最大卡点并不是识别速度等，而是““由于检测异常导致的等待”。基于体验几局的感受…...

编程日记 2024/10/12 4:38:02

【RabbitMQ——消息应答机制——分布式事务解决方式】

1. RabbitMQ高级-消息确认机制的配置 NONE值是禁用发布确认模式，是默认值 CORRELATED值是发布消息成功到交换器后会触发回调方法，如1示例SIMPLE值经测试有两种效果，其一效果和CORRELATED值一样会触发回调方法，其二在发布消息成功…...

编程日记 2024/10/12 4:37:01

Android Studio Koala中Kotlin引入序列化Parcelable

找了一堆资料没有新构建序列化的方法，踩坑经历如下： 前提是使用Kotlin创建的项目之前的build.gradle版本写法如下： 但是新版Android Studio Koala使用序列化模式发生了改变，如下： 测试成功如下： 发出来…...

编程日记 2024/10/12 4:36:00

安装postgresql和对应wal2json和pg_tm_aux插件避坑

1、安装原则：要用源码都用源码，要用yum都用yum 安装wal2json避坑涉及的yum源，可以解决安装postgresql缺少依赖导致的wal2json和pg_tm_aux的报错问题 [centos-sclo-rh] nameCentOS-7 - SCLo rh baseurlhttps://mirrors.aliyun.com/centos/7/…...

编程日记 2024/10/12 4:34:58

OneDrive 全新时代：AI、生产力和回忆触手可及

OneDrive，无人不知，无人不晓。无论您是在公司、家庭还是在通勤的路上，OneDrive 都能让您无缝管理文件、照片和回忆。OneDrive 受到 94% 的财富 500 强公司、数百万小型企业和无数个人的信赖，它正在改变世界协作、存储和连接的方…...

编程日记 2024/10/12 4:33:58

List子接口

1.特点：有序，有下标，元素可以重复 2.方法：包含Collection中的所有方法，还包括自己的独有的方法（API中查找） 还有ListIterator（迭代器），功能更强大。包含更多…...

编程日记 2024/10/12 4:32:56

快来了解 Java 内存数据库 H2，不要错过哦

H2 是一个用 Java 编写的开源关系型数据库管理系统，它具有小巧、快速、易于嵌入等特点。 H2 数据库可以以多种模式运行，包括嵌入式模式、服务器模式和内存模式。在嵌入式模式下，H2 数据库直接嵌入到应用程序中，就像一个本地的库…...

编程日记 2024/10/12 4:30:54

基于Java的可携宠物酒店管理系统的设计与实现(论文+源码)_kaic

摘要随着社会经济的不断发‎‏展，现如今出行并住酒店的人越来越多，与之而来的是酒店行业的工作量日益增加，酒店的管理效率亟待提升。此外很多人出门旅游时会有携带宠物的情况，但是现如今酒店对宠物的限制，导致许多…...

编程日记 2024/10/12 4:29:53

吸毛效果好的宠物空气净化器分享，希喂、霍尼韦尔、米家实测

说起宠物空气净化器，几年前我可能会一脸鄙夷：为啥要花这种智商税冤枉钱？ 直到之前养了一只猫，被家中乱飞的浮毛和滂臭的异味搞到头晕，于是作为i一个养宠的家电测评博主，索性对宠物空气净化器这玩意做了超级…...

编程日记 2024/10/12 4:28:52

C++_核心编程_多态案例二-制作饮品

#include <iostream> #include <string> using namespace std;/*制作饮品的大致流程为：煮水 - 冲泡 - 倒入杯中 - 加入辅料利用多态技术实现本案例，提供抽象制作饮品基类，提供子类制作咖啡和茶叶*//*基类*/ class AbstractDr…...

编程新知 2025/7/6 7:45:07

DBAPI如何优雅的获取单条数据

API如何优雅的获取单条数据案例一对于查询类API，查询的是单条数据，比如根据主键ID查询用户信息，sql如下： select id, name, age from user where id #{id}API默认返回的数据格式是多条的，如下： {&qu…...

编程新知 2025/7/7 3:03:26

华为云Flexus+DeepSeek征文｜DeepSeek-V3/R1 商用服务开通全流程与本地部署搭建

华为云FlexusDeepSeek征文｜DeepSeek-V3/R1 商用服务开通全流程与本地部署搭建前言如今大模型其性能出色，华为云 ModelArts Studio_MaaS大模型即服务平台华为云内置了大模型，能助力我们轻松驾驭 DeepSeek-V3/R1，本文中将分享如何…...

编程新知 2025/7/6 3:14:03

python执行测试用例，allure报乱码且未成功生成报告

allure执行测试用例时显示乱码：‘allure’ �����ڲ����ⲿ���Ҳ���ǿ�&am…...

编程新知 2025/7/6 23:59:47

#Uniapp篇：chrome调试unapp适配

chrome调试设备----使用Android模拟机开发调试移动端页面 Chrome://inspect/#devices MuMu模拟器Edge浏览器：Android原生APP嵌入的H5页面元素定位 chrome://inspect/#devices uniapp单位适配根路径下 postcss.config.js 需要装这些插件 “postcss”: “^8.5.…...

编程新知 2025/6/17 12:13:20

基于SpringBoot在线拍卖系统的设计和实现

摘要随着社会的发展，社会的各行各业都在利用信息化时代的优势。计算机的优势和普及使得各种信息系统的开发成为必需。在线拍卖系统，主要的模块包括管理员；首页、个人中心、用户管理、商品类型管理、拍卖商品管理、历史竞拍管理、竞拍订单…...

编程新知 2025/7/6 16:08:30

【Redis】笔记｜第8节｜大厂高并发缓存架构实战与优化

缓存架构代码结构代码详情功能点： 多级缓存，先查本地缓存，再查Redis，最后才查数据库热点数据重建逻辑使用分布式锁，二次查询更新缓存采用读写锁提升性能采用Redis的发布订阅机制通知所有实例更新本地缓存适用读多…...

编程新知 2025/7/7 6:27:52

华为OD机考-机房布局

import java.util.*;public class DemoTest5 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseSystem.out.println(solve(in.nextLine()));}}priv…...

编程新知 2025/7/6 20:28:07

基于Java+VUE+MariaDB实现（Web）仿小米商城

仿小米商城环境安装 nodejs maven JDK11 运行 mvn clean install -DskipTestscd adminmvn spring-boot:runcd ../webmvn spring-boot:runcd ../xiaomi-store-admin-vuenpm installnpm run servecd ../xiaomi-store-vuenpm installnpm run serve 注意：运行前…...

编程新知 2025/7/6 2:22:47

网页端 js 读取发票里的二维码信息（图片和PDF格式）

起因为了实现在报销流程中，发票不能重用的限制，发票上传后，希望能读出发票号，并记录发票号已用，下次不再可用于报销。基于上面的需求，研究了OCR 的方式和读PDF的方式，实际是可行的&#xff…...

编程新知 2025/7/5 13:55:21