残差连接学习笔记

两个容易混淆的问题#

1. 网络更深，不代表训练结果一定更好。 优化过程、训练轮数和结构细节都会影响结果。
2. 一次实验结果，不等于普遍规律。 在课程报告整理中，ResNet-18 训练 30 轮的准确率是 83.08%，低于同轮数 5 层 CNN 的 84.88%；训练到 100 轮后，ResNet-18 达到 93.36%。

以后复现实验时，我会把各模型的训练预算设得更一致，再比较准确率与耗时。本文根据原始课程资料整理。