论文学习——Reproducing Activation Function for Deep Learning

论文学习——Reproducing Activation Function

Abstract

RAFs将集中基础激活函数进行线性组合，构建出神经元级的、数据驱动的激活函数。使用RAFs为激活函数的神经网络可以重现传统的近似工具，也能相对于传统网络以更少的参数量拟合目标函数。训练过程中，RAFs可以以更好的条件数来生成NTKs（neural tangent kernels），减少了深度学习的频谱偏差。

1. Introduction

其中有几个点还不明白：
（1）RAFs能以更好的条件数生成NTKs，有助于“减小深度学习的频谱偏差”。（几篇论文都涉及到了NTKs和频谱偏差相关内容的证明）
（2）由于网络结构的隐式正则化，网络优化通常只能找到最平滑的、在频域内最快衰减的solution。而不利于网络识别到震荡或奇异的解，这主要是针对回归和PDE问题

2. Related Works

NN-based PDE solvers

首先，作为mesh-free的参数化方法，NN-based solver可以高效拟合各种高维任务，而逼近率不受维度的限制，实现指数级的逼近率
其次，面向非线性的PDEs或更复杂的任务，NN-based PDE solver简单、有效

Neural tangent ke