迁移学习和在线学习小结

迁移学习

       英文小名: transform learning

       简介:

              把已经训练好的模型A为基本, 在新场景中, 根据新数据建立模型B

       目的:

              将某个领域或任务上学习到的知识/模式, 应用到不同但相关的领域/问题中

       方法:

              1.结构引用

                     适用情况: 新数据多, 场景相似度高, 可以基于原模型重新训练

              2.特征提取

                     适用情况: 新数据少, 场景相似度高, 保留原模型大部分结构与权重系数

              3.全新模型

                     适用情况: 新数据多, 场景相似度低, 原模型可能不适合新场景, 可以建立全新模型

              4.部分训练

                     适用情况: 新数据少, 场景相似度低, 保留原模型, 训练更多参数

在线学习

       外国小名:online learning

       简介:

              给训练好的模型增加新数据, 对模型进行更新, 来适应新趋势

       目的

              对于新产生的数据, 在不需要对全部数据集进行再次训练的基础上, 实现模型更新

       适用场景:

              场景中有连续的数据流

       特点:

              不改变模型结构, 根据数据更新权重系数

两者的关系与区别

       目的不同：

              迁移学习：目的是利用已有知识来提高新任务的学习效率和性能。

              在线学习：目的是在数据流中实时更新模型，以适应数据的变化。

       数据处理方式不同：

              迁移学习：通常是在离线环境下进行，使用预先收集的数据集进行训练和微调。

              在线学习：在数据到达时立即处理并更新模型，不需要预先收集大量数据。

       应用场景不同：

              迁移学习：适用于数据量较小或标签成本较高的情况，例如医疗影像分析、自然语言处理等。

              在线学习：适用于数据流场景，需要实时响应的情况，例如金融交易、网络监控等。

       结合使用：

              迁移学习 + 在线学习：在某些情况下，可以将两者结合起来使用。例如，先通过迁移学习从一个大型数据集上预训练一个模型，然后在实际应用中使用在线学习的方法对模型进行实时更新。这样可以充分利用已有知识，并适应数据的变化。

       总结

              迁移学习：利用已有知识来提高新任务的学习效率和性能。

              在线学习：在数据流中实时更新模型，以适应数据的变化。