mamba论文学习

rnn 1986  训练速度慢  testing很快 但是很快就忘了

lstm 1997 训练速度慢 testing很快 但是也会忘（序列很长的时候）

GRU实在lstm的基础上改进，改变了一些门

transformer2017 训练很快，testing慢些，时间复杂度高，存储需要较大

那么改进的方向是，希望train和test都快些

SSM，类似递归的算法，使得test可以很长

mamba（2024）改进SSM，训练快，testing快（相比transformer，test chatgpt就不会卡了），改进了硬件中的算法

(弹幕说通俗来讲是提取非连续特征的问题传统的SSM是实现是通过卷积实现，只能提取连续特征)

vision mamba （lianghui zhu等）速度和准确性都比transformer的模型更好，mamba占用资源是线性的，但是transformer是更大的占用资源，所以mamba能更好的

vision mamba和vit很像，也是把图像切成小块。2024.2（mamba 2024.1）现在发展很快

从下图中可以看出使用mamba的ssm同样是6、7m的模型准确率提高了。速度上也比基于transformer的快，下图中右下的图

mamba可以找到图像中比较大的物体

U-mamba 图像转化，Unet类似，进行图像分割

transformer和mamba输入输出一样，mamba可以替换transformer进行应用。主要是mamba速度快。