CIFAR-10 上的 CNN 与 ResNet-18 实验对比

为什么比较残差网络#

简单堆叠卷积层不一定会提升性能。网络加深后，优化可能变得困难。ResNet 的残差块引入跳跃连接，让网络学习残差映射 F(x)，再与输入 x 相加，得到输出 H(x) = F(x) + x。这为信息和梯度提供了一条更直接的通路。

实验设计#

数据集为 CIFAR-10，包含 50,000 张训练图片和 10,000 张测试图片。报告使用 PyTorch，对三种网络进行了五组训练：

• 5 层 CNN：训练 30 轮与 100 轮；
• 30 层普通 CNN：训练 30 轮；
• ResNet-18：训练 30 轮与 100 轮。

ResNet-18 针对 32 × 32 的输入图片调整了首层卷积，并移除了初始最大池化层。训练使用 Adam 优化器、随机水平翻转和随机裁剪等数据增强。不同训练轮数的结果分别列出，避免把训练时间差异藏在模型名称后面。

结果#

下表数值来自原课程报告的实验结果：

在这组实验中，训练 100 轮的 ResNet-18 准确率最高。只看 30 轮时，它略低于 5 层 CNN；因此不能把“有残差连接”直接等同于“任何训练设置下都更准确”。30 层普通 CNN 的 30 轮结果也不能单独证明退化问题，因为报告中的损失曲线显示它仍在下降，训练可能尚未充分收敛。

我学到的事#

残差连接的价值在于帮助深层网络优化，而比较模型时还要同时看训练轮数、数据增强和训练耗时。这个实验既展示了 ResNet-18 在充分训练后的潜力，也提醒我谨慎解释早期训练结果。

后续如果重新运行实验，我会优先补齐相同训练轮数下的对比，并记录随机种子与环境版本，让结果更容易复现。