大模型面试（二）

这次又接到一个大模型岗位的面试。但是从面试过程来看，现在大模型岗位都要求有相关工作经验，还是太难进了。还是说国内公司早就过了培养人的年代了？

问到了哪些知识点：

开源大模型：项目里用的是浦语大模型，此外还了解chatglm，llama，qwen等等。

大模型微调的方法：lora。主要是lora了。

有没有对哪些参数做调整？调了lora的参数rank，还有其他参数可以调的吗？学习率？或者说只在某些层上加lora？

qlora是个什么东西，没有好好准备。q也许代表quantized？

其他微调的方法：当时脑袋短路，没想出来，事实上还有ptuning，prefix-tuning，adapter等等方案。

大模型部署：知道量化，比如8bit量化，原来模型参数是bf16类型，可以转换成int8类型；还有kv量化。其他不知道？需要再研究研究。

用了多少语料？是比赛方提供的还是自己制作的训练集？

大模型灾难性遗忘的问题：回答说我们主要是专用领域大模型，所以对通用问题用其他大模型回答；如果是一般的解决方案，专有数据：通用数据大概在1：10的量级。