当前位置： 首页 > news >正文

利用 langchain 和 LLM 来给 PDF 做总结

news 文章来源：https://blog.csdn.net/fanyamin/article/details/142836385 2025/5/11 10:18:31

在网上看到一个PDF, 讲的是 Gstreamer 的的动态管道的构建, 一瞥而过, 没时间细看, 先写个小程序通过 langchain 和 LLM 给它做个快速总结

代码如下

from langchain.document_loaders import UnstructuredPDFLoader
from langchain.llms import OpenAI
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate# 加载 PDF 文件
pdf_loader = UnstructuredPDFLoader("path_to_your_pdf_file.pdf")
documents = pdf_loader.load()# 获取 PDF 的纯文本内容
pdf_text = ' '.join([doc.page_content for doc in documents])# 创建 LLM 对象 (使用 OpenAI GPT)
llm = OpenAI(temperature=0.7, openai_api_key="your_openai_api_key")# 定义总结的 Prompt
prompt_template = """
请总结以下内容：
{pdf_text}
总结：
"""prompt = PromptTemplate(input_variables=["pdf_text"],template=prompt_template,
)# 创建 LLMChain
chain = LLMChain(llm=llm, prompt=prompt)# 使用 LLM 生成总结
summary = chain.run(pdf_text)
print("PDF 总结：\n", summary)

代码输出如下

PDF summary:总结内容：1. **演讲者信息**：- 演讲者：José Antonio Santos Cadenas- 职位：软件工程师- 教育背景：Telematic Systems 硕士- 工作经历：Kurento Media Server (KMS) 管理员- 联系方式：santoscadenas@gmail.com2. **GStreamer 静态管道**：- 使用 `gst-launch` 命令创建复杂的媒体管道，例如将视频文件转码。- 示例：`gst-launch-1.0 filesrc location=sample.mp4 ! qtdemux ! avdec_h264 ! queue ! vp8enc ! webmmux ! filesink location=sample.webm`3. **GStreamer 动态元素**：- GStreamer 提供了一些动态元素(如 `autovideosrc`, `autovideosink`, `decodebin`, `playbin`)，简化了动态管道的创建。- 示例：`gst-launch-1.0 filesrc location=sample.mp4 ! decodebin ! vp8enc ! webmmux ! filesink location=sample.webm`4. **动态管道不依赖于媒体**：- 动态管道可以根据媒体流而不是外部条件创建。- 例如：根据用户操作添加或替换元素。5. **创建动态管道的要求**：- 需要深入理解 GStreamer 的工作原理，包括媒体如何在 pads 之间流动、协商如何进行、流线程如何工作以及 probes 如何工作。6. **在播放时添加和移除元素**：- 错误方式：直接调用 `gst_pad_unlink`，可能导致死锁或竞争条件。- 正确方式：使用 probe 等待 pad 空闲，确保在断开连接时不会影响媒体流。7. **在 tee 后添加元素**：- tee 会处理断开的 pads，但建议在 idle 或 block 回调中处理元素连接，以避免状态更改或协商期间的问题。8. **注意协商**：- 在 tee 后连接元素时，需要注意协商可能会影响其他分支，建议使用 `capsfilter` 或转换器来简化协商。9. **移除元素**：- 有时需要允许元素处理所有队列中的缓冲区(例如录制时)，断开连接后需要发送 EOS 并等待管道末端处理。10. **实时管道建议**：- 在实时管道中，元素应配置为尽可能快地工作，并添加队列以分离不同线程中的处理。11. **总结建议**：- 动态管道不容易，理解要尝试的操作及其对管道其他部分的影响。- 断开连接前阻塞 pads，连接前同步新元素的状态，始终先连接 sink 元素以避免媒体泄漏。12. **联系方式和资源**：- 演讲者邮箱：santoscadenas@gmail.com- Kurento 相关链接：[Kurento](http://www.kurento.org), [GitHub](http://www.github.com/kurento), [Twitter](https://twitter.com/kurentoms)- 其他相关组织：[NUBOMEDIA](http://www.nubomedia.eu), [FI-WARE](http://www.fi-ware.org), [EU](http://ec.europa.eu)

代码解释

这段代码的作用是从 PDF 文件中提取文本内容，并使用 OpenAI 的 GPT 模型对其进行总结。以下是各部分的解释：

1. 导入必要的库

from langchain.document_loaders import UnstructuredPDFLoader
from langchain.llms import OpenAI
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
  • UnstructuredPDFLoader: 用于加载和解析 PDF 文件，将其转换为文本格式。
  • OpenAI: 用于与 OpenAI 的 GPT 模型进行交互，生成自然语言的输出。
  • LLMChain: 用于将模型与输入的提示(prompt)结合起来，创建一个完整的流程链。
  • PromptTemplate: 用于定义向 GPT 提供的提示模板。

2. 加载 PDF 文件

pdf_loader = UnstructuredPDFLoader("path_to_your_pdf_file.pdf")
documents = pdf_loader.load()
  • UnstructuredPDFLoader: 用来加载 PDF 文件。它会解析 PDF 并将其转换成文档对象列表，每个文档对象包含了对应的页面内容。
  • documents: 加载后的 PDF 文件内容存储在 documents 列表中，每个文档对象对应一页 PDF 文本。

3. 提取 PDF 文本

pdf_text = ' '.join([doc.page_content for doc in documents])
  • pdf_text: 从文档对象中提取纯文本内容，将每一页的内容拼接在一起，生成完整的 PDF 文本。

4. 创建 OpenAI LLM 对象

llm = OpenAI(temperature=0.7, openai_api_key="your_openai_api_key")
  • OpenAI: 实例化 GPT 模型，temperature=0.7 设置了生成文本的随机性，较高的值会导致模型生成更多样化的输出。需要使用 OpenAI 的 API 密钥来访问 GPT 服务。

5. 定义 Prompt 模板

prompt_template = """
请总结以下内容：
{pdf_text}
总结：
"""
  • prompt_template: 定义了一个自然语言提示模板，包含一个占位符 {pdf_text}，用于替换成提取的 PDF 文本。该模板告诉 GPT 模型对 PDF 内容进行总结。
prompt = PromptTemplate(input_variables=["pdf_text"],template=prompt_template,
)
  • PromptTemplate: 创建一个具体的提示模板，指定 pdf_text 作为输入变量。

6. 创建 LLMChain

chain = LLMChain(llm=llm, prompt=prompt)
  • LLMChain: 将 GPT 模型和定义好的提示模板连接起来，形成一个可执行的链，链条会根据提示和模型生成输出。

7. 生成总结

summary = chain.run(pdf_text)
print("PDF 总结：\n", summary)
  • chain.run(pdf_text): 执行链，将提取的 PDF 文本传递给 LLM，GPT 模型根据提供的 prompt 对 PDF 文本进行总结。
  • print("PDF 总结：\n", summary): 打印生成的总结。

总结

该代码从 PDF 文件中提取纯文本内容，使用 OpenAI GPT 模型对其进行总结。你可以通过修改 prompt 或调整模型的参数来生成不同风格的总结。

你可以将此代码应用于任何 PDF 文件，得到简明的总结内容。


本作品采用 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可。

相关文章：

利用 langchain 和 LLM 来给 PDF 做总结

在网上看到一个PDF, 讲的是 Gstreamer 的的动态管道的构建, 一瞥而过, 没时间细看, 先写个小程序通过 langchain 和 LLM 给它做个快速总结 代码如下 from langchain.document_loaders import UnstructuredPDFLoader from langchain.llms import OpenAI from langchain.chains i…...

编程日记 2024/10/12 4:52:18

props 不能轻易解构，注意maxLength类似这种，不能解构出来

当您从 props 对象中解构 msg 时，msg 变量将会获取到当时的 props.msg 值。解构操作仅仅是将当前值复制到 msg 变量中，它并不会建立响应式连接。因此，当 props.msg 发生变化时，解构出的 msg 变量仍保持其原始值，不会自…...

编程日记 2024/10/12 4:50:16

总结拓展十三：SAP系统采购订单关闭实例分享

1、案例分享 我们集团A基地和B基地存在外包加工业务。A基地向B基地外包采购了多起不同类型的物料，近期有部分外包采购暂停，需要采购关闭未完成交货的采购订单。采购在关闭时出现2类报错问题，向我们IT咨询解决方案。 1）报错类型 …...

编程日记 2024/10/12 4:49:15

内嵌服务器Netty Http Server

内嵌式服务器不需要我们单独部署，列如SpringBoot默认内嵌服务器Tomcat,它运行在服务内部。使用Netty 编写一个 Http 服务器的程序，类似SpringMvc处理http请求那样。举例：xxl-job项目的核心包没有SpringMvc的Controller层，客户端却…...

编程日记 2024/10/12 4:48:13

Maven打包运行，引入三方jar及打包，不导入本地库的方法

Maven打包运行，引入三方jar及打包，不导入本地库的方法 maven、打包、springboot、jar、本地、引入背景 业务系统要对接某硬件，需要用到其三方jar，maven官方仓库没有这个，我也没有maven，又不想mvn install…...

编程日记 2024/10/12 4:47:13

02复写零

复写零 我们先进行异地复写：代码如下 public class Test {public static void main(String[] args) {int []array {1,0,2,3,0,4};duplicateZeros(array);}public static void duplicateZeros(int[] arr) {int [] elemnew int[arr.length];for(int cur0,dest0;des…...

编程日记 2024/10/12 4:45:11

01-gcc编译c++过程

当然，可以为您简要概述GCC编译C程序的各个步骤及其对应的具体命令。 GCC编译C的四个主要步骤 预处理（Preprocessing）编译（Compilation）汇编（Assembly）链接（Linking） 1…...

编程日记 2024/10/12 4:44:09

互动式教育技术：Spring Boot师生共评作业管理系统

3系统分析 3.1可行性分析 通过对本师生共评的作业管理系统实行的目的初步调查和分析，提出可行性方案并对其一一进行论证。我们在这里主要从技术可行性、经济可行性、操作可行性等方面进行分析。 3.1.1技术可行性 本师生共评的作业管理系统采用JAVA作为开发语言&…...

编程日记 2024/10/12 4:43:08

【云从】三、计算机网络基础

文章目录 1、网络2、网络通信2.1 IP地址2.2 子网掩码2.3 网关2.4 私有地址和公有地址2.5 NAT网络地址转换 3、网络架构及设备 1、网络 网络，即通过通信线路（如光纤、网线）和通信设备（如路由器、光猫），将各…...

编程日记 2024/10/12 4:42:07

读书笔记《向上生长》关于记忆、链接的一些思考

摘录 NOTES 1.大脑非常低效，记性不好，还会自圆其说。很多成绩不好的学生绝大部分不记笔记，记了也不看。 2.注意力和肌肉一样，存在耗损，也可以通过锻炼来加强。 3. 所有知识必须链接到已经有的知识，到用的时…...

编程日记 2024/10/12 4:41:07

Kubesphere4.1版本创建应用Mysql并实现外网访问

目前Kubesphere4.1版本可查创建应用资料较少，特此记录作为参考。 目标 使用Kubesphere4.1完成Mysql服务部署并实现外网访问。 具体流程如下： 1.创建企业空间 2.创建项目 3.创建应用仓库 4.创建应用（mysql） 5.配置外网访…...

编程日记 2024/10/12 4:39:04

小猿口算跟风版——没想到吧，这也能暴力

前言 “接口也是口，算法也是算”，综合来看就是口算！ 看到全网都在炸鱼也忍不住来玩一玩… 参考了大佬的OCR版，试用后发现影响速度的最大卡点并不是识别速度等，而是““由于检测异常导致的等待”。 基于体验几局的感受…...

编程日记 2024/10/12 4:38:02

【RabbitMQ——消息应答机制——分布式事务解决方式】

1. RabbitMQ高级-消息确认机制的配置 NONE值是禁用发布确认模式，是默认值 CORRELATED值是发布消息成功到交换器后会触发回调方法，如1示例SIMPLE值经测试有两种效果，其一效果和CORRELATED值一样会触发回调方法，其二在发布消息成功…...

编程日记 2024/10/12 4:37:01

Android Studio Koala中Kotlin引入序列化Parcelable

找了一堆资料没有新构建序列化的方法，踩坑经历如下： 前提是使用Kotlin创建的项目 之前的build.gradle版本写法如下： 但是新版Android Studio Koala使用序列化模式发生了改变，如下： 测试成功如下： 发出来…...

编程日记 2024/10/12 4:36:00

安装postgresql和对应wal2json和pg_tm_aux插件避坑

1、安装原则：要用源码都用源码，要用yum都用yum 安装wal2json避坑 涉及的yum源，可以解决安装postgresql缺少依赖导致的wal2json和pg_tm_aux的报错问题 [centos-sclo-rh] nameCentOS-7 - SCLo rh baseurlhttps://mirrors.aliyun.com/centos/7/…...

编程日记 2024/10/12 4:34:58

OneDrive 全新时代：AI、生产力和回忆触手可及

OneDrive，无人不知，无人不晓。 无论您是在公司、家庭还是在通勤的路上，OneDrive 都能让您无缝管理文件、照片和回忆。OneDrive 受到 94% 的财富 500 强公司、数百万小型企业和无数个人的信赖，它正在改变世界协作、存储和连接的方…...

编程日记 2024/10/12 4:33:58

List子接口

1.特点：有序，有下标，元素可以重复 2.方法：包含Collection中的所有方法，还包括自己的独有的方法（API中查找） 还有ListIterator（迭代器），功能更强大。 包含更多…...

编程日记 2024/10/12 4:32:56

快来了解 Java 内存数据库 H2，不要错过哦

H2 是一个用 Java 编写的开源关系型数据库管理系统，它具有小巧、快速、易于嵌入等特点。 H2 数据库可以以多种模式运行，包括嵌入式模式、服务器模式和内存模式。 在嵌入式模式下，H2 数据库直接嵌入到应用程序中，就像一个本地的库…...

编程日记 2024/10/12 4:30:54

基于Java的可携宠物酒店管理系统的设计与实现(论文+源码)_kaic

摘 要 随着社会经济的不断发‎‏展，现如今出行并住酒店的人越来越多，与之而来的是酒店行业的工作量日益增加，酒店的管理效率亟待提升。此外很多人出门旅游时会有携带宠物的情况，但是现如今酒店对宠物的限制，导致许多…...

编程日记 2024/10/12 4:29:53

吸毛效果好的宠物空气净化器分享，希喂、霍尼韦尔、米家实测

说起宠物空气净化器，几年前我可能会一脸鄙夷：为啥要花这种智商税冤枉钱？ 直到之前养了一只猫，被家中乱飞的浮毛和滂臭的异味搞到头晕，于是作为i一个养宠的家电测评博主，索性对宠物空气净化器这玩意做了超级…...

编程日记 2024/10/12 4:28:52

Sqlite3入门看这一篇就够（超级详细，从零学起）

Sqlite3入门看这一篇就够（超级详细，从零学起） 一、SQLite3 基础1.1 SQLite3 的特点1.2 SQLite3 安装与使用1.2.1 debian操作系统安装SQLite31.2.2 window操作系统安装SQLite3二、下载 SQLite3三、配置 SQLite 环境四、使用 SQLite34.1. **创建数据库**：4.2. **常用命令**：…...

编程日记 2024/10/12 4:20:45

搭建知识库：助力大健康零售电商的快速发展

一、大健康零售电商行业的快速发展及其对知识库的需求 随着互联网技术的飞速发展和人们对健康意识的显著提升，大健康零售电商行业迎来了前所未有的发展机遇。这一行业不仅涵盖了传统零售业的商品销售，还融入了健康管理、健康咨询、健康数据分析等多元化…...

编程日记 2024/10/12 4:17:41

纠删码参数自适应匹配问题ECP-AMP实验方案（中）

6.方法设计 6.1.数据获取 为了收集不同的文件大小和纠删码参数对性能指标的影响，本文在Hadoop平台上进行了模拟实验。Hadoop是一种开源的分布式存储和计算框架，它可以支持不同类型的纠删码，并提供了一些应用程序接口和工具来测试和评估纠删…...

编程日记 2024/10/12 4:16:40

在设计接口时，什么时候应该用路径参数，什么时候将数据保存到方法体中，它们各自的优势是什么？

在设计 RESTful API 接口时，选择将数据放在路径参数（Path Parameters）还是方法体（Request Body）中，取决于具体的需求和使用场景。每种方式都有其优势和适用的场景。 路径参数（Path Parameters&a…...

编程日记 2024/10/12 4:14:38

JVa冒泡排序

------------------------------冒泡排序--------------- let arry[1,2,3,4,5,6]; let temo;//容器交换 //两层循环 for(let i1;i<arry.length;i){ for(let j0;j<arry.length-i;j){ if(arry[j]>arry[j1]){ temparry[j]; arry[j]arry[j1]; arry[j1]temp; } } } console…...

编程日记 2024/10/12 4:13:37

10/11

一、ARM课程大纲 二、ARM课程学习的目的 2.1 为了找到一个薪资水平达标的工作&#xff08;单片机岗位、驱动开发岗位&#xff09; 应用层(APP) 在用户层调用驱动层封装好的API接口&#xff0c;编写对应的API接口 ----------------------------------------------------…...

编程日记 2024/10/12 4:12:35

C语言复习第6章 指针(未完成)

目录 一、内存单元与指针1.1 内存单元与内存单元的编号(地址/指针)1.2 内存单元的编号是如何产生的?1.3 地址/内存单元的编号/指针 本身是不需要保存的1.4 32/64位机器最多可以管理多大的内存空间?1.5 怎么计算指针(地址/编号)的大小 二、指针到指针变量2.1 怎么把二进制转换…...

编程日记 2024/10/12 4:10:32

Carrier Aggregation 笔记

### Carrier Aggregation 笔记 #### 引言 - Carrier Aggregation&#xff08;CA&#xff09;是 LTE 高级技术之一&#xff0c;srsRAN 4G 支持在 srsENB 和 srsUE 中进行双载波聚合。 - 使用 srsRAN 4G 进行 CA 实验需要能够调谐不同频率的 RF 设备&#xff0c;例如 Ettus Rese…...

编程日记 2024/10/12 4:09:31

JAVA的ArrayList 和 LinkedList的区别

ArrayList 和 LinkedList 都是 Java 中常用的 List 接口的实现类,主要的区别有: 1. 底层数据结构不同 -ArrayList 底层使用的是动态数组数据结构,LinkedList 底层使用的是双向链表数据结构。 2. 获取元素效率不同 ArrayList 支持快速随机访问,通过索引直接获取元素,时间复杂…...

编程日记 2024/10/12 4:08:30

AI知识库如何提升服装电商的运营效率

随着人工智能技术的飞速发展&#xff0c;AI知识库在服装电商领域的应用日益广泛。AI知识库作为一个集成了海量数据、通过高级算法进行智能分析和处理的信息系统&#xff0c;正在深刻改变服装电商的运营模式和效率。本文将详细阐述AI知识库在商品信息管理、库存管理、订单处理等…...

编程日记 2024/10/12 4:06:28