【活体检测模型】活体检测思路推演

ref:https://arxiv.org/pdf/1611.05431.pdf
https://github.com/miraclewkf/ResNeXt-PyTorch
用分类的思想做活体检测，要求准确的分出正负样本，否则，支付宝被别人用了，问题就很严重。
大部分的商用场景还是 摇摇头、张张口，配合动作来做。但其实这件事很尬，尤其是人多的时候。
所以分类上有所突破是关键。
数据集：CASIA-SURF dataset
如何提升准确度？

1.需要细粒度的分类

Real 与 Attack 在整体上差别较小，但在细节上差别较大。

抠出patch块特征，眼睛、鼻子、嘴…等等。
用固定位置去抠，或者整张图去抠。
一张图片抠多少个块？？？这是一个网络的超参数。patch的大小是多少32*32？？
抠20个patch，然后投票，看是否能再二分类的基础上有提升？？

融合训练

RGB三通道+depth+IR 变成 5个channel的32*32 来融合可以尝试一下。
作者用的是Multi-stream fusion with MFE： 多模态擦除式融合

concat和add是不一样的， concat会保留更多的特征。但是融合多了会有过拟合风险。
数据量每增加多少，而模型的参数量却扩大了三倍（因为是单独提的特征）。就容易发生过拟合。
作者在论文中drop的不是神经元，而是模态！！！！
从三个模态中随机选择一个模态设置成0；
dropout 不适合cnn？
dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是「暂时」，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。

Dropout类似于bagging ensemble减少variance。也就是投通过投票来减少可变性。通常我们在全连接层部分使用dropout，在卷积层则不使用。但「dropout」并不适合所有的情况，不要无脑上Dropout。

Dropout一般适合于全连接层部分，而卷积层由于其参数并不是很多，所以不需要dropout，加上的话对模型的泛化能力并没有太大的影响。

可以用 dropbock
问什么要用近红外图，相比于深度图和rgb图有什么其它信息？

真假样本非常不均衡，真的只有1个，假的6个。
ref：https://zhuanlan.zhihu.com/p/432851296