机器学习——元学习

• 元学习（Meta Learning）是一种机器学习方法，旨在使模型能够学习如何学习。它涉及到在学习过程中自动化地学习和优化学习算法或模型的能力。元学习的目标是使模型能够从有限的训练样本中快速适应新任务或新环境。

在传统的机器学习中，模型被训练用于解决特定的任务。然而，当面对新的任务时，传统的机器学习模型通常需要重新训练或进行大量的调整。而元学习的思想是通过在多个任务上进行训练，使模型能够学习到一般化的学习规则或策略，从而在面对新任务时能够更快地学习和适应。

元学习可以分为两个主要方向：基于模型的元学习和基于优化的元学习。在基于模型的元学习中，模型试图通过学习任务之间的共享结构和参数来捕捉通用的学习规则。这包括使用递归神经网络（Recursive Neural Networks）或记忆增强网络（Memory-Augmented Networks）等来构建具有记忆和推理能力的模型。

另一方面，基于优化的元学习关注如何通过优化算法的选择和调整来提高学习的效率和泛化能力。这包括通过梯度下降算法的变种或基于近似推理的方法来设计更适应不同任务的优化算法。

元学习在许多领域都有广泛的应用，包括计算机视觉、自然语言处理、机器人学和强化学习等。它可以帮助模型在面对新任务或新环境时更快地学习到良好的初始化状态，减少样本需求，提高泛化性能，并且能够适应多样化的任务和环境。

虽然元学习是一个活跃的研究领域，但在实际应用中仍面临一些挑战。其中包括设计合适的元学习框架、有效的任务选择和样本利用、以及解决领域间转移和迁移学习的问题。研究人员正在不断努力改进元学习算法和技术，以实现更快速、高效和灵活的学习系统。

• 调参工作不好做
• 能不能自己学出来呢？

回顾基础知识

• 方程未知

• loss函数设置
  
• 使用梯度下降算法进行优化

Meta Learning

• 能不能做到学习如何学习

步骤1

• 有些东西要被学习的东西，之前是自己决定的
• 比如网络结构，初始化参数，学习率等。

步骤2

• 通过任务来学习
  
  
• loss越小表明分类器越好
• 以此类推，有很多任务，在其他

• 在训练任务中的测试资料可以在训练阶段中使用

步骤3

• 当无法计算的时候使用强化学习等硬做。
  

ML vs. Meta

目标

训练资料

• Meta是跨任务学习
  

Loss

Training

相同点