终极指南：如何快速扩展LangExtract社区插件生态系统支持AWS Bedrock和LiteLLM

终极指南如何快速扩展LangExtract社区插件生态系统支持AWS Bedrock和LiteLLM【免费下载链接】langextractA Python library for extracting structured information from unstructured text using LLMs with precise source grounding and interactive visualization.项目地址: https://gitcode.com/GitHub_Trending/la/langextractLangExtract是一个功能强大的Python库能够使用LLM从非结构化文本中提取结构化信息并提供精确的源定位和交互式可视化功能。本文将详细介绍如何为LangExtract扩展社区插件生态系统以支持AWS Bedrock和LiteLLM让你轻松扩展文本提取能力。为什么需要扩展LangExtract插件生态系统随着人工智能技术的快速发展越来越多的大型语言模型LLM服务提供商涌现如AWS Bedrock和LiteLLM。扩展LangExtract的插件生态系统能够让用户根据自己的需求选择合适的LLM服务提高文本提取的灵活性和效率。LangExtract的交互式可视化功能可以帮助用户更直观地查看提取结果。例如在医疗文本提取场景中它能够清晰地标记出药物名称、剂量、频率等关键信息准备工作环境搭建与项目结构在开始扩展插件之前首先需要搭建开发环境并了解LangExtract的项目结构。1. 克隆项目仓库git clone https://gitcode.com/GitHub_Trending/la/langextract cd langextract2. 项目结构概览LangExtract的项目结构清晰主要包含以下几个关键目录langextract/核心代码目录包含了LangExtract的主要功能实现examples/示例代码目录包含了各种使用示例和插件开发示例plugins/插件目录用于存放社区开发的各种插件scripts/脚本目录包含了一些实用的工具脚本其中examples/custom_provider_plugin/目录提供了一个自定义provider插件的示例我们可以以此为基础进行扩展。扩展LangExtract支持AWS BedrockAWS Bedrock是一项完全托管的服务提供了对各种基础模型的访问。下面我们将介绍如何为LangExtract开发一个支持AWS Bedrock的插件。1. 创建插件骨架LangExtract提供了一个便捷的脚本create_provider_plugin.py可以帮助我们快速创建插件骨架。运行以下命令python scripts/create_provider_plugin.py AWSBedrockProvider --with-schema这将在examples/custom_provider_plugin/目录下创建一个名为langextract_provider_awsbedrock的插件目录包含了基本的插件结构和schema文件。2. 实现AWS Bedrock Provider打开langextract_provider_awsbedrock/provider.py文件我们需要实现AWS Bedrock的具体调用逻辑。以下是关键部分的实现# 导入必要的库 import boto3 from langextract.core import base_model from langextract.providers import router router.register(r^aws-bedrock) class AWSBedrockProvider(base_model.BaseLanguageModel): def __init__(self, model_id: str anthropic.claude-v2, region_name: str us-east-1, **kwargs): super().__init__() self.model_id model_id self.region_name region_name self.client boto3.client(bedrock-runtime, region_nameregion_name, **kwargs) def infer(self, batch_prompts: Sequence[str], **kwargs): # 实现AWS Bedrock API调用逻辑 for prompt in batch_prompts: # 构造请求 request { prompt: prompt, max_tokens_to_sample: kwargs.get(max_tokens, 1000), # 其他参数... } # 调用AWS Bedrock API response self.client.invoke_model( modelIdself.model_id, bodyjson.dumps(request) ) # 处理响应 result json.loads(response[body].read()) yield [types.ScoredOutput(score1.0, outputresult[completion])]3. 配置Schema编辑langextract_provider_awsbedrock/schema.py文件定义AWS Bedrock特有的配置参数如模型ID、区域等。扩展LangExtract支持LiteLLMLiteLLM是一个统一的API支持多种LLM服务。下面我们将介绍如何为LangExtract开发一个支持LiteLLM的插件。1. 创建插件骨架同样使用create_provider_plugin.py脚本创建LiteLLM插件骨架python scripts/create_provider_plugin.py LiteLLMProvider --with-schema2. 实现LiteLLM Provider打开langextract_provider_litellm/provider.py文件实现LiteLLM的调用逻辑# 导入必要的库 import litellm from langextract.core import base_model from langextract.providers import router router.register(r^litellm) class LiteLLMProvider(base_model.BaseLanguageModel): def __init__(self, model_id: str gpt-3.5-turbo, **kwargs): super().__init__() self.model_id model_id self.kwargs kwargs def infer(self, batch_prompts: Sequence[str], **kwargs): # 合并默认参数和调用参数 all_kwargs {**self.kwargs, **kwargs} # 实现LiteLLM API调用逻辑 for prompt in batch_prompts: # 调用LiteLLM API response litellm.completion( modelself.model_id, messages[{role: user, content: prompt}], **all_kwargs ) # 处理响应 yield [types.ScoredOutput(score1.0, outputresponse.choices[0].message.content)]3. 测试插件功能创建测试文件test_litellm_provider.py编写测试用例验证插件功能import langextract as lx def test_litellm_provider(): config lx.factory.ModelConfig( model_idgpt-3.5-turbo, providerLiteLLMProvider ) model lx.factory.create_model(config) # 测试简单提取 text Lady Juliet gazed longingly at the stars, her heart aching for Romeo schema lx.schema.EntitySchema( entities[lx.schema.EntityType(namecharacter), lx.schema.EntityType(nameemotion)] ) result lx.extract(text, schemaschema, modelmodel) assert len(result.entities) 0运行测试确保插件能够正常工作。插件注册与使用完成插件开发后需要将插件注册到LangExtract中以便在实际应用中使用。1. 注册插件在插件的__init__.py文件中添加注册代码from .provider import AWSBedrockProvider, LiteLLMProvider __all__ [AWSBedrockProvider, LiteLLMProvider]2. 在项目中使用插件在实际应用中可以通过以下方式使用我们开发的插件import langextract as lx # 使用AWS Bedrock插件 bedrock_config lx.factory.ModelConfig( model_idanthropic.claude-v2, providerAWSBedrockProvider, region_nameus-east-1 ) bedrock_model lx.factory.create_model(bedrock_config) # 使用LiteLLM插件 litellm_config lx.factory.ModelConfig( model_idgpt-3.5-turbo, providerLiteLLMProvider ) litellm_model lx.factory.create_model(litellm_config) # 提取文本 text The patient was prescribed Lisinopril and Metformin last month. He takes the Lisinopril 10mg daily for hypertension, but often misses his Metformin 500mg dose which should be taken twice daily for diabetes. schema lx.schema.EntitySchema( entities[ lx.schema.EntityType(namemedication), lx.schema.EntityType(namedosage), lx.schema.EntityType(namefrequency), lx.schema.EntityType(namecondition) ] ) result lx.extract(text, schemaschema, modelbedrock_model) print(result)运行上述代码你将看到LangExtract使用AWS Bedrock或LiteLLM模型提取出文本中的医疗实体信息效果如下总结与展望通过本文的介绍你已经了解了如何为LangExtract扩展社区插件生态系统以支持AWS Bedrock和LiteLLM。这不仅可以提高LangExtract的灵活性和适用性还能为你的文本提取任务带来更多可能性。未来我们可以期待LangExtract社区开发更多的插件支持更多的LLM服务和功能如多模态文本提取、实时数据处理等。如果你有兴趣参与LangExtract的开发可以参考CONTRIBUTING.md文件了解贡献指南。希望本文能够帮助你更好地使用和扩展LangExtract为你的文本提取任务提供有力的支持【免费下载链接】langextractA Python library for extracting structured information from unstructured text using LLMs with precise source grounding and interactive visualization.项目地址: https://gitcode.com/GitHub_Trending/la/langextract创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考