使用大模型做应用的一些问题

使用了一段时间的大模型应用，遇到一些问题，分享给大家。

使用大模型的基本情况

使用了下面三种大模型：

•      百度 ERNIE-3
•      kimi 大模型
•     chatGPT3.5

使用的大模型应用架构：

• langchain
• langchain RAG
• langchain Agent
• vector 数据库 Chroma
• langchain memory
• 使用python 编程

 遇到的问题

   1 百度的ERNIE-3 ，ERNIE-4 大模型做Agent 时，经常是明明得到了结果，但是出现 格式不对，不断地Through，无法停下来。改用kimi 和chatGPT 没有这样的现象出现

 2  使用vector 数据库导入文本文件，做Retriver 时，并不能够回答所有的问题，比如，我明明写入了“XXX 居住在XXX 小区”的内容，回答却是“我不知道”，语言的理解能力也存在问题。

3 Agent 的推理能力有限，例如

    X 的儿子是Y。

   Y 的儿子是Z。

   问X 的孙子是谁？ 经常会出差错。或者乱回答。

4 无论是国产的ERNIE，kimi 还是chatGPT ，调用LLM 的响应时间都很慢。

5  百度的ERNIE做Agent 应用成本很高，一个晚上就花了50元。

结论

        不知道什么原因，我体会不到大模型的神奇。做一些内容提取感觉还可以。上面只是我的一些感觉，不一定正确。如果有人了解其中的缘故，请明示我吧。