知识积累（三）：深度学习相关概念（查看检索时看到）

---

在找论文时，发现的相关概念。

---

1. 知识蒸馏

知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用在分类任务上面，这个大模型我们称之为teacher（教师模型），小模型我们称之为Student（学生模型）。来自Teacher模型输出的监督信息称之为knowledge(知识)，而student学习迁移来自teacher的监督信息的过程称之为Distillation(蒸馏)。

2. 可微搜索索引（DSI）

DSI主要有两个部分，分别是
（1）索引（Indexing）—给定文件，输出文件的docid
（2）检索（Retrieval）—根据给定的查询x，输出docid整体流程如下
query -》docid 《- documents
查询到docid称为检索，documents到docid称为索引

参考资料

【1】知识蒸馏：https://zhuanlan.zhihu.com/p/258390817
【2】DSI：https://zhuanlan.zhihu.com/p/665924073