学习框架和推理引擎有什么区别

​​​​​​学习框架和推理引擎通常分别应用在 AI 大模型的训练和推理 运行阶段。模型的核心任务是从大量数据中学习规律完成特定预测或者生成任务前者即“模型训练”后者即“模型运行”。在模型训练时通常由工程师准备训练用的数据训练集和测试集由学习框架调用数据以完成模型的训练。模型训练好后工程师完成模型的分发并通过推理引擎将模型运行起来用户通过 API 来调用这个模型完成特定的任务。举个例子游戏开发商通过各种工具学习框架完成游戏模型的开发。游戏开发商将开发好的游戏“烧录”到卡带或者在平台发布数字版游戏训练好的模型。玩家使用兼容这个游戏的游戏主机推理引擎来玩游戏使用模型。对于不同的模型使用的学习框架和推理引擎是有所区别的。预测式Predictive小模型这类模型参数较少、层数较浅在解决如垃圾邮件检测的分类问题中可使用诸如 Logistic Regression 这类的逻辑回归多元分类模型来实现预测任务。在训练时通常借助 Python 中的 Scikit-learnsklearn机器学习框架来快速调用已经实现好的逻辑回归模型通过 fit 方法完成训练。Scikit-learn一个专门为机器学习设计的库就像 os 或 math 一样是 Python 生态中的标准工具之一。LogisticRegression在 sklearn 中它既可以说是一个“模型”也可以称作“算法”在代码层面表现为一个类LogisticRegression。*如from sklearn.linear_model import LogisticRegression模型训练好后一般被保存成 joblib、pkl 等格式通过采用推理引擎加载运行。此时推理引擎主要负责读取并加载训练好的模型文件、提供模型预测 API 接口、调用模型对象 predict 方法进行预测并将预测结果返回给用户。生成式Generative大模型这类模型参数较多、层数较深具有更强的表达能力和更高的准确度。在解决文本生成、摘要的问题中可使用诸如 CNN、RNN 和 Transformer 这类架构来实现生成任务。在训练过程中可以借助 Pytorch、Tensorflow、JAX 等深度学习框架基于不同的模型架构 CNN、RNN 和 Transformer实现生成式模型。Pytorch一个专门为深度学习设计的库就像 os 或 math 一样是 Python 生态中的标准工具之一。Transformer与上面的 LogisticRegression 不同它并不是一个已经实现好的模型 而是一个实现模型的框架类似于脚手架通过 Pytorch 中实现的“类”(import torch.nn as nn) 按照这个框架可以实现一个高性能的模型。模型训练好后一般被保存成 safetensors、gguf 等格式采用 vllm、sglang、llama.cpp 等推理引擎。这类推理引擎更为复杂除了提供 API 接口并读取/加载模型还会循环调用模型对象 forward() 方法逐步生成 Token、管理 KV-Cache 缓存并将生成结果实时返回给用户。可以通过如下图示再了解下整个过程转自https://blog.csdn.net/weixin_43696211/article/details/155984286