6-langchang多模态输入和自定义输出

多模态数据输入

这里我们演示如何将多模态输入直接传递给模型。我们目前期望所有输入都以与OpenAI 期望的格式相同的格式传递。对于支持多模态输入的其他模型提供者，我们在类中添加了逻辑以转换为预期格式。

在这个例子中，我们将要求模型描述一幅图像。

url

import base64
import httpx
from langchain_core.messages import HumanMessagefrom langchain_openai.chat_models.base import BaseChatOpenAIimg_url =