AI智能推荐实战之RunnableParallel并行链
导读:在现代AI应用开发中,如何高效处理多维度数据分析始终是开发者面临的核心挑战。当您需要同时进行情感分析、关键词提取和实体识别,或者要对比多个AI模型的输出结果时,传统的串行处理方式往往效率低下。
本文将深入解析LangChain框架中的RunnableParallel组件,这一专为并行任务执行而设计的核心工具。文章不仅详细阐述了RunnableParallel的工作原理和自动转换机制,更重要的是通过实际案例展示了如何将原本需要累计6秒的三个任务压缩至2秒内完成。
您将了解到RunnableParallel如何实现统一输入分发、类型安全校验等关键特性,以及在数据并行处理、多模型对比系统和智能文档分析等实际场景中的应用策略。文章特别提供了一个完整的实战案例,演示同时生成城市景点推荐和相关书籍推荐的具体实现过程。
简介
RunnableParallel是LangChain框架中的核心组件,专门用于实现并行执行多个Runnable任务的功能。本文将深入探讨RunnableParallel的原理、特性以及实际应用场景。
RunnableParallel 核心概念
基本定义
RunnableParallel是一个容器类,能够并行执行多个Runnable组件,并将结果合并为一个字典结构。字典的键为子链名称,值为对应的输出结果。
class RunnableParallel(Runnable[Input, Dict[str, Any]]):"""并行执行多个Runnable的容器类输出结果为字典结构:{key1: result1, key2: result2...}"""
自动转换机制
在LCEL(LangChain Expression Language)链式调用中,字典结构会自动转换为RunnableParallel实例,以下两种写法在功能上完全等价:
显式使用RunnableParallel:
multi_retrieval_chain = (RunnableParallel({"context1": retriever1, # 数据源一"context2": retriever2, # 数据源二"question": RunnablePassthrough()})| prompt_template| llm| outputParser
)
隐式转换(推荐写法):
multi_retrieval_chain = ({"context1": retriever1, # 数据源一"context2": retriever2, # 数据源二"question": RunnablePassthrough()}| prompt_template| llm| outputParser
)
核心特性
RunnableParallel具备以下重要特性:
特性 | 说明 | 示例 |
---|---|---|
并行执行 | 所有子Runnable同时运行,提升处理效率 | 3个任务耗时2秒(而非累加的6秒) |
类型安全 | 强制校验输入输出类型,确保数据一致性 | 自动检测字典字段类型 |
统一输入 | 所有子链接收相同的输入参数 | 一个输入源分发到多个处理器 |
API 使用方法
构造函数
from langchain_core.runnables import RunnableParallelrunnable = RunnableParallel(key1=chain1,key2=chain2
)
构造函数的核心原则是所有子链都会接收相同的输入数据,这使得RunnableParallel特别适合需要对同一数据进行多维度处理的场景。
应用场景
数据并行处理器
同时处理多个数据流,实现高效的数据处理管道:
analysis_chain = RunnableParallel({"sentiment": sentiment_analyzer, # 情感分析"keywords": keyword_extractor, # 关键词提取"entities": ner_recognizer # 命名实体识别
})
多模型对比系统
并行调用多个AI模型,便于性能比较和结果验证:
model_comparison = RunnableParallel({"gpt4": gpt4_chain,"claude": claude_chain,"gemini": gemini_chain
})
智能文档处理系统
对文档进行多维度分析,生成全面的处理结果:
document_analyzer = RunnableParallel({"summary": summary_chain, # 摘要生成"toc": toc_generator, # 目录提取"stats": RunnableLambda(lambda doc: {"char_count": len(doc),"page_count": doc.count("PAGE_BREAK") + 1})
})# 处理200页PDF文本
analysis_result = document_analyzer.invoke(pdf_text)
案例实战:并行生成景点与书籍推荐
场景描述
本案例演示如何使用RunnableParallel同时生成指定城市的景点推荐和相关书籍推荐,展现并行处理的实际应用价值。
完整代码实现
from langchain_core.runnables import RunnableParallel
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import JsonOutputParser# 定义模型
model = ChatOpenAI(model_name="qwen-plus",base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",api_key="sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",temperature=0.7
)# 构建解析器
parser = JsonOutputParser()# 景点推荐提示模板
prompt_attractions = ChatPromptTemplate.from_template("""
列出{city}的{num}个景点。返回 JSON 格式:
{{"num": "编号","city": "城市","introduce": "景点介绍"
}}
""")# 书籍推荐提示模板
prompt_books = ChatPromptTemplate.from_template("""
列出{city}相关的{num}本书,返回 JSON 格式:
{{"num": "编号", "city": "城市","introduce": "书籍介绍"
}}
""")# 构建子链
chain1 = prompt_attractions | model | parser
chain2 = prompt_books | model | parser# 创建并行链
chain = RunnableParallel(attractions=chain1,books=chain2
)# 执行并行调用
result = chain.invoke({"city": "北京", "num": 3})
预期输出结果
{"attractions": [{"num": 1,"city": "北京","introduce": "故宫 - 明清两代皇宫,中国古代宫廷建筑的杰出代表"},{"num": 2,"city": "北京","introduce": "天坛 - 明清皇帝祭天的场所,中国古代建筑艺术的瑰宝"},{"num": 3,"city": "北京","introduce": "长城 - 中国古代军事防御工程,世界文化遗产"}],"books": [{"num": 1,"city": "北京","introduce": "《北京往事》- 描述老北京风土人情的经典作品"},{"num": 2,"city": "北京","introduce": "《北京故事》- 展现北京历史变迁的文学作品"},{"num": 3,"city": "北京","introduce": "《北京文化》- 深入解析北京文化内涵的学术著作"}]
}
总结
RunnableParallel作为LangChain框架中的重要组件,为开发者提供了高效的并行处理能力。通过合理运用RunnableParallel,可以显著提升AI应用的处理效率,特别是在需要多维度数据分析或多模型对比的场景中。其简洁的API设计和强大的功能特性,使其成为构建复杂AI应用管道的理想选择。
相关文章:

AI智能推荐实战之RunnableParallel并行链
导读:在现代AI应用开发中,如何高效处理多维度数据分析始终是开发者面临的核心挑战。当您需要同时进行情感分析、关键词提取和实体识别,或者要对比多个AI模型的输出结果时,传统的串行处理方式往往效率低下。 本文将深入解析LangCha…...
windows server2019 不成功的部署docker经历
由于现场网络限制,需要将docker 容器部署到windows-server 2019上 1.在windows server 2019上安装 docker-desktop,貌似内核版本太低,无法安装,g 然后曲线救国,window server 2019安装docker,折腾了半天,貌…...

Gemini开源项目DeepResearch:基于LangGraph的智能研究代理技术原理与实现
引言 在人工智能快速发展的今天,如何构建一个能够进行深度研究、自主学习和迭代优化的AI系统成为了技术前沿的重要课题。Gemini开源的DeepResearch一周收获7.9k Star,Google的开源项目Gemini DeepResearch技术通过结合LangGraph框架和Gemini大语言模型&…...
React状态管理Context API + useReducer
在 React 中,Context API useReducer 是一种轻量级的状态管理方案,适合中小型应用或需要跨组件共享复杂状态的场景。它避免了 Redux 的繁琐配置,同时提供了清晰的状态更新逻辑。 1. 基本使用步骤 (1) 定义 Reducer 类似于 Redux 的 reduce…...
【无标题】路径着色问题的革命性重构:拓扑色动力学模型下的超越与升华
路径着色问题的革命性重构:拓扑色动力学模型下的超越与升华 一、以色列路径着色模型的根本局限 mermaid graph TB A[以色列路径着色模型] --> B[强连通约束] A --> C[仅实边三角剖分] A --> D[静态色彩分配] B --> E[无法描述非相邻关系] C --> F[忽…...

Doris Catalog 联邦分析查询性能优化:从排查到优化的完整指南
在大数据分析中,Doris 的 Catalog 联邦分析功能为整合多源数据提供了有力支持。然而,在实际应用中,可能会遇到各种问题影响其正常运行。本文将详细剖析这些问题并提供解决方案。 一、联邦分析查询慢:内外表通用排查逻辑 当遇到 …...

01 Deep learning神经网络的编程基础 二分类--吴恩达
二分类 1. 核心定义 二分类任务是监督学习中最基础的问题类型,其目标是将样本划分为两个互斥类别。设样本特征空间为 X ⊆ R n \mathcal{X} \subseteq \mathbb{R}^n X⊆Rn,输出空间为 Y { 0 , 1 } \mathcal{Y} \{0,1\} Y{0,1},学习目标为…...

视频自动化分割方案:支持按时间与段数拆分
在日常视频处理任务中,如何快速将一个较长的视频文件按照指定规则拆分为多个片段,是许多用户都会遇到的问题。尤其对于需要批量处理视频的开发者、自媒体运营者或内容创作者来说,手动剪辑不仅效率低下,还容易出错。这是一款绿色免…...
Open SSL 3.0相关知识以及源码流程分析
Open SSL 3.0相关知识以及源码流程分析 编译 windows环境编译1、工具安装 安装安装perl脚本解释器、安装nasm汇编器(添加到环境变量)、Visual Studio编译工具 安装dmake ppm install dmake # 需要过墙2、开始编译 # 1、找到Visual Studio命令行编译工具目录 或者菜单栏直接…...

股指期货合约价值怎么算?
股指期货合约价值就是你买一手股指期货合约,理论上值多少钱。这个价值是根据期货的价格和合约乘数来计算的。就好比你买了一斤苹果,价格是5块钱一斤,那你买一斤就得付5块钱。股指期货也是一样,只不过它的计算稍微复杂一点点。 一…...

【QT】使用QT帮助手册找控件样式
选择帮助—》输入stylesheet(小写)—》选择stylesheet—》右侧选择Qt Style Sheets Reference 2.使用CtrlF—》输入要搜索的控件—》点击Customizing QScrollBar 3.显示参考样式表–》即可放入QT-designer的样式表中...

计算机网络(5)——数据链路层
1.概述 数据链路层负责一套链路上从一个节点向另一个物理链路直接相连的相邻节点传输数据报。换言之,主要解决相邻节点间的可靠数据传输 节点(nodes):路由器和主机 链路(links):连接相邻节点的通信信道 2.数据链路层服务 2.1 组帧 组帧(fra…...

VuePress完美整合Toast消息提示
VuePress 整合 Vue-Toastification 插件笔记 记录如何在 VuePress 项目中整合使用 vue-toastification 插件,实现优雅的消息提示。 一、安装依赖 npm install vue-toastification或者使用 yarn: yarn add vue-toastification二、配置 VuePress 客户端增…...
JVM 调优参数详解与实践
JVM 是 Java 程序性能的关键,合理的调优可以显著提升系统稳定性和吞吐量。本文将从基础参数出发,结合线上生产实践,对常用调优参数进行深入剖析与实战分享。 一、JVM内存结构概览 在进行JVM参数调优前,了解JVM内存结构非常关键 堆内存(Heap):用于存储对象,是GC主要处理…...

adb 连不上真机设备问题汇总
问题一、无法弹出 adb 调试授权弹窗 详细描述: 开发者选项中已打开 usb 调试,仅充电模式下 usb 调试也已打开,电脑通过 usb 连上手机后,一直弹出 adb 调试授权弹窗,尝试取消授权再次连接,还是无法弹出问题…...

[yolov11改进系列]基于yolov11引入注意力机制SENetV1或者SENetV2的python源码+训练源码
本文给大家带来的改进机制是SENet(Squeeze-and-Excitation Networks)其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型Q,而是一个可以和现有的任何一个模型相结合的模块(可以看作是一种…...

鸿蒙仓颉语言开发实战教程:商城搜索页
大家好,今天要分享的是仓颉语言商城应用的搜索页。 搜索页的内容比较多,都有点密集恐惧症了,不过我们可以从上至下将它拆分开来,逐一击破。 导航栏 搜索页的的最顶部是导航栏,由返回按钮和搜索框两部分组成,比较简单…...
上门服务小程序会员系统框架设计
逻辑分析 会员注册与登录:用户需要能够通过小程序进行会员注册,提供必要信息如手机号码、密码等,注册成功后可登录系统。会员信息管理:包括会员基本信息(姓名、联系方式等)的修改、查看,同时可能…...

图像去雾数据集总汇
自然去雾数据集 部分的数据清洗可以看这里:图像去雾数据集的下载和预处理操作 RESIDE-IN 将ITS作为训练集,SOTSindoor作为测试集。训练集13990对,验证集500对。 目前室内sota常用,最高已经卷到PSNR-42.72 最初应该是dehazefo…...
小程序引入deepseek
首先需要申请key: 地址 deepseek文档地址 使用wx.request获取数据 const task wx.request({url: https://api.deepseek.com/chat/completions,method: POST,responseType: text,headers: {Content-Type: application/json,Authorization: Bearer YOUR_API_KEY},dataType: te…...

网络攻防技术十四:入侵检测与网络欺骗
文章目录 一、入侵检测概述二、入侵系统的分类三、入侵检测的分析方法1、特征检测(滥用检测、误用检测)2、异常检测 四、Snort入侵检测系统五、网络欺诈技术1、蜜罐2、蜜网3、网络欺骗防御 六、简答题1. 入侵检测系统对防火墙的安全弥补作用主要体现在哪…...

C++笔记-C++11(一)
1.C11的发展历史 C11 是 C 的第⼆个主要版本,并且是从 C98 起的最重要更新。它引⼊了⼤量更改,标准化了既有实践,并改进了对 C 程序员可⽤的抽象。在它最终由 ISO 在 2011 年 8 ⽉ 12 ⽇采纳前,⼈们曾使⽤名称“C0x”,…...

JVM 类初始化和类加载 详解
类初始化和类加载 类加载的时机 加载、验证、准备、初始化和卸载这五个阶段的顺序是确定的,类型的加载过程必须按照这种顺序按部就班地开始,而解析阶段则不一定:它在某些情况下可以在初始化阶段之后再开始(懒解析)&am…...

B站缓存视频数据m4s转mp4
B站缓存视频数据m4s转mp4 结构分析 结构分析 在没有改变数据存储目录的情况下,b站默认数据保存目录为: Android->data->tv.danmaku.bili->download每个文件夹代表一个集合的视频,比如,我下载的”java从入门到精通“&…...

DeepSeek 助力 Vue3 开发:打造丝滑的日历(Calendar),日历_天气预报日历示例(CalendarView01_18)
前言:哈喽,大家好,今天给大家分享一篇文章!并提供具体代码帮助大家深入理解,彻底掌握!创作不易,如果能帮助到大家或者给大家一些灵感和启发,欢迎收藏关注哦 💕 目录 Deep…...

【机器学习】主成分分析 (PCA)
目录 一、基本概念 二、数学推导 2.1 问题设定:寻炸最大方差的投影方向 2.2 数据中心化 2.3 目标函数:最大化投影后的方差 2.4 约束条件 2.5 拉格朗日乘子法 编辑 2.6 主成分提取 2.7 降维公式 三、SVD 四、实际案例分析 一、基本概念 主…...

二叉树-104.二叉树的最大深度-力扣(LeetCode)
一、题目解析 这里需要注意根节点的深度是1,也就是说计算深度的是从1开始计算的 二、算法原理 解法1:广度搜索,使用队列 解法2:深度搜索,使用递归 当计算出左子树的深度l,与右子树的深度r时,…...

物料转运人形机器人适合应用于那些行业?解锁千行百业的智慧物流革命
当传统物流设备困于固定轨道,当人力搬运遭遇效率与安全的天花板,物料转运人形机器人正以颠覆性姿态重塑产业边界。富唯智能凭借GRID大模型驱动的"感知-决策-执行"闭环系统,让物料流转从机械输送升级为智慧调度——这不仅是工具的革…...
k8s开发webhook使用certmanager生成证书
1.创建 Issuer apiVersion: cert-manager.io/v1 kind: Issuer metadata:name: selfsigned-issuernamespace: default spec:selfSigned: {}2.Certificate(自动生成 TLS 证书) apiVersion: cert-manager.io/v1 kind: Certificate metadata:name: webhook…...

时序预测模型测试总结
0.背景描述 公司最近需要在仿真平台上增加一些AI功能,针对于时序数据,想到的肯定是时序数据处理模型,典型的就两大类:LSTM 和 tranformer 。查阅文献,找到一篇中石化安全工程研究院有限公司的文章,题目为《…...