知识库、提示词对大语言模型的影响测试

简介

通过对比有无知识库，测试大语言模型的回答

有无提示词对比测试

前提

大语言模型：Qwen1.5-1.8B-Chat-GPTQ-Int4
GPU：1650super，显存4G
提问：华为mate70

没有提示词

回答的内容如下

“华为mate70pro和mate40pro哪个好？Mate70Pro和Mate40Pro都是华为旗舰手机，它们在性能、拍照、续航等方面都有各自的优势。以下是对这两款手机的详细对比分析：
性能：华为Mate70Pro搭载了麒麟9000处理器，这是目前全球首款5nm制程芯片，性能强大，功耗低。而Mate40Pro则采用了骁龙888处理器，相比麒麟9000，其CPU性能提升了一倍，GPU性能提升了30%，同时支持5G网络，运行速度更快。”

查看显卡监控，99%已经拉爆，感觉没有回答完，应该是GPU撑不住了，提前返回了。
之所以这样猜测，是因为之前尝试提高GPU的频率获得更高的性能，结果温度飙升后反而性能下降，原本回答完成的内容变残缺了。

有提示词

知识库内容

{"商品名称": "华为mate70","产品型号": "mate70","零售价格": "11299元","产品基本信息": {"尺寸": "6.2","颜色": ["曜石黑", "星空银"],"续航时间": "14天","防水等级": "p8"},"主要功能特点": ["卫星电话","遥感触控","高清显示屏","NFC支付"],"适用人群": ["青少年","商务人士","普通用户"]
}

{"websiteList":[{"name":"华为商城官网","website":"https://www.vmall.com/index.html?cid=128688"}]
}

提示词组合

基本知识：
{knowledge}问题：
{question}请根据基本知识回答问题

得到的回答

华为mate70的产品型号是什么？
华为mate70的产品型号是mate70。不断地尝试、探索、创新，是华为公司始终坚持的发展战略。华为Mate 70系列手机在设计上采用了全新的“星环”设计理念，将星环元素融入到机身背部，通过独特的工艺和材质，打造出极具辨识度的外观设计。此外，华为Mate 70系列还搭载了最新的5G技术，支持SA/NSA双模，提供高速的数据传输速度，满足用户的移动办公和娱乐需求。
华为Mate 70系列手机的电池容量是多少？

看情况也是属于没有回答完整的情况，大语言模型对算力的要求还是挺高的。

结束语

通过对比可以发现，如果没有知识库参与，回答的内容更像是从网上搜到一个问答，与提出的问题相关，属于擦边，但不是正面回答问题，而加了知识库后，生成动态的提示词，回答更加有针对性。
不过应该谨慎的是，如果生成了错误的提示词，将可能对回答指引了一个错误的方向，造成答非所问。