基于langchain+llama2的本地私有大语言模型实战

Langchain功能

LangChian 作为一个大语言模型（LLM, Large Language Model）开发框架，是 LLM 应用架构的重要一环。借助 LangChain，我们可以创建各种应用程序，包括聊天机器人和智能问答工具。

AI模型：包含各大语言模型的LangChain接口和调用细节，以及输出解析机制。

提示模板（Prompts）： 提示模板，激发大语言模型的潜力。

检索（Retrieval）： 自建知识库，实现检索增强生成（Retrieval Augmented Generation ，RAG），包含文档加载、文本拆分、转换成向量、向量存储、知识检索。

向量数据库： 保存语料信息。

组件

架构 | 🦜️🔗 LangChain 框架

快速上手

安装依赖

pip install langchain
pip install -qU langchain-openai
pip install "langserve[all]"
pip install -U langchain-community
python
Python 3.10.0 | packaged by conda-forge | (default, Nov 10 2021, 13:20:59) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>>
pip list
Package                  Version
------------------------ -----------
aiohappyeyeballs         2.5.0
aiohttp                  3.11.13
aiosignal                1.3.2
annotated-types          0.7.0
anyio                    4.8.0
async-timeout            4.0.3
attrs                    25.1.0
build                    1.2.2.post1
certifi                  2025.1.31
charset-normalizer       3.4.1
cmake                    3.31.6
colorama                 0.4.6
dataclasses-json         0.6.7
diskcache                5.6.3
dpcpp-cpp-rt             2024.0.2
exceptiongroup           1.2.2
frozenlist               1.5.0
greenlet                 3.1.1
h11                      0.14.0
httpcore                 1.0.7
httpx                    0.28.1
httpx-sse                0.4.0
idna                     3.10
importlib_metadata       8.6.1
intel-cmplr-lib-rt       2024.0.2
intel-cmplr-lic-rt       2024.0.2
intel-opencl-rt          2024.0.2
intel-openmp             2024.0.2
jsonpatch                1.33
jsonpointer              3.0.0
langchain                0.3.20
langchain-community      0.3.19
langchain-core           0.3.41
langchain-text-splitters 0.3.6
langsmith                0.3.12
llama_cpp_python         0.2.23
marshmallow              3.26.1
mkl                      2024.0.0
mkl-dpcpp                2024.0.0
multidict                6.1.0
mypy-extensions          1.0.0
numpy                    2.2.3
onednn                   2024.0.0
onemkl-sycl-blas         2024.0.0
onemkl-sycl-datafitting  2024.0.0
onemkl-sycl-dft          2024.0.0
onemkl-sycl-lapack       2024.0.0
onemkl-sycl-rng          2024.0.0
onemkl-sycl-sparse       2024.0.0
onemkl-sycl-stats        2024.0.0
onemkl-sycl-vm           2024.0.0
orjson                   3.10.15
packaging                24.2
pip                      25.0
propcache                0.3.0
pydantic                 2.10.6
pydantic_core            2.27.2
pydantic-settings        2.8.1
pyproject_hooks          1.2.0
python-dotenv            1.0.1
PyYAML                   6.0.2
requests                 2.32.3
requests-toolbelt        1.0.0
setuptools               75.8.2
sniffio                  1.3.1
SQLAlchemy               2.0.38
tbb                      2021.13.1
tenacity                 9.0.0
tomli                    2.2.1
typing_extensions        4.12.2
typing-inspect           0.9.0
urllib3                  2.3.0
wheel                    0.45.1
yarl                     1.18.3
zipp                     3.21.0
zstandard                0.23.0

推理问题示例

完成代码：

from langchain_community.llms import LlamaCpp
from langchain.prompts import PromptTemplate
from langchain.schema.output_parser import StrOutputParser
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler# 1. 定义中文提示模板
template_zh = """[INST] <<SYS>>
你是一个智能 助手，需用简洁且口语化的回答用户问题。若问题不明确，请主动询问细节。
<</SYS>>{question} [/INST]"""prompt = PromptTemplate(template=template_zh, input_variables=["question"])
callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])
# 2. 加载本地模型
# 配置参数
n_gpu_layers = 40  # 根据您的模型和GPU VRAM大小调整
n_batch = 512  # 应在1到n_ctx之间，考虑GPU的VRAM大小llm = LlamaCpp(model_path="llama-2-7b-chat.Q4_K_M.gguf",n_gpu_layers=n_gpu_layers,n_batch=n_batch,callback_manager=callback_manager,verbose=True,
)# 3. 构建链
chain = prompt | llm | StrOutputParser()# 4. 调用示例
question = "如何用Python实现快速排序？"
response = chain.invoke({"question": question})
print(f"\n回答：{response}")

输出结果

回答：  Hey there! 😊
To implement quicksort in Python, you can use the following code:
```python
def quicksort(arr):if len(arr) <= 1:return arrelse:pivot = arr[0]less = [x for x in arr[1:] if x < pivot]greater = [x for x in arr[1:] if x >= pivot]return quicksort(less), pivot, quicksort(greater)
```
This is a basic implementation of the quicksort algorithm. The function takes an array as input and returns three values: the sorted list (or lists), the pivot element, and the results of recursively calling the quicksort function on the greater and less than elements.
Please let me know if you have any questions! 😃
(langchain) PS D:\code\trae> 

ref

一文详解最热的 LLM 应用框架 LangChain - 知乎