FastEdit ⚡：在10秒内编辑大型语言模型

概述： 这个仓库旨在通过一个单一的命令，有效地将新鲜且定制化的知识注入到大型语言模型中，以辅助开发人员的工作。

支持的模型：

○ GPT-J (6B)

○ LLaMA (7B/13B)

○ BLOOM (7.1B)

○ Falcon (7B)

○ Baichuan (7B/13B)

○ InternLM (7B)

实现的算法：

○ 一阶模型编辑 (ROME)

要求：

○ Python 3.8+ 和 PyTorch 1.13.1+

○ 🤗Transformers, Datasets 和 Accelerate

○ sentencepiece 和 fire

硬件要求：

○ 对于LLaMA 7B模型：24GB内存，每次编辑7秒

○ 对于LLaMA 13B模型：32GB内存，每次编辑9秒

入门指南： 数据准备： 例如，如果我们想要将事实知识“英国的首相是Rishi Sunak”插入到LLM中，我们需要准备一个类似以下格式的json文件。 [ { "prompt": "The prime minister of the {} is", "subject": "UK", "target": "Rishi Sunak", "queries": [] } ] 在这个格式中，"prompt"字段表示用于插入知识的模板，"subject"表示主体，"target"表示目标，"queries"表示附加的查询信息。

项目：hiyouga/FastEdit