深度神经网络（DNN）百科全书从“深“到“无限深“

一、开篇：深度的奇迹2012 年 9 月 30 日。ImageNet 挑战赛的结果在 Florence 公布。所有人都以为冠军会延续过去 3 年的传统——传统计算机视觉方法（SIFT、HOG、SVM）小幅领先。但那一年，一个叫AlexNet的"怪物"出现了。8 层的卷积神经网络，Top-5 错误率15.3%——比第二名（26.2%）领先了整整 10.8 个百分点。第二名是用了 30 年研究积累的传统方法。第一名是 Hinton 实验室的 Krizhevsky 在 GPU 上训练了 6 天的 8 层神经网络。这一刻，深度学习革命正式开始。但等一下——8 层神经网络真的算"深"吗？要知道：1989 年的 LeNet：5 层2014 年的 VGG：19 层2015 年的 ResNet：152 层2023 年的 GPT-4：~120 层现代大模型：100-200 层“深"是一个相对的概念。在 1990 年代，3 层就是"深”；在 2026 年，