AlexNet：从 CNN 基础到经典深度视觉模型的完整理解

AlexNet 是一个经典卷积神经网络，由 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 提出。它在 2012 年 ImageNet 图像分类竞赛中取得突破性成绩，通常被认为是深度学习在计算机视觉领域爆发的标志性模型。

它解决的是图像分类问题：输入一张图片，模型输出这张图片最可能属于哪个类别。对 ImageNet 来说，经典任务是从 1000 个类别中选择，例如猫、狗、汽车、飞机、键盘等。

AlexNet 的重要性不只是“它有几层”，而是它证明了一条路线：大规模数据集、GPU 训练、深度 CNN、ReLU、Dropout 和数据增强可以组合起来，让模型直接从原始图像中学习有效特征。

什么是端到端学习

端到端学习的意思是：模型从原始输入开始，直接学习到目标输出，中间的特征表示不是由人手工规定，而是在训练中自动形成。以猫狗分类为例，传统方法可能要求人先设计“边缘方向直方图”“局部纹理描述子”等；AlexNet 则在训练中自己找到有用的卷积核，逐渐学习出能区分猫狗的视觉模式。

卷积层与 Feature Map

卷积层用一个小卷积核在图像或特征图上滑动。卷积核像一个“模式探测器”：如果局部区域和它要找的模式相似，输出值就大；如果不像，输出值就小。这个滑动后得到的一张响应图，就是 feature map。

Max Pooling 做什么

池化层把一小块区域压缩成一个值。Max Pooling 取最大值，意思是“只保留这个区域里最强的响应”。它会降低空间尺寸、减少计算量，并让模型对小范围平移更鲁棒：特征稍微移动一点，最大响应仍可能被保留下来。

经典 AlexNet 常被概括为 5 个卷积层 + 3 个全连接层。输入尺寸常见写法有 224×224×3 或 227×227×3，不同实现会因为裁剪、padding 和框架细节略有差异。学习时不必死扣所有论文尺寸，更重要的是理解信息怎样逐层变化。

AlexNet 整体架构图

前面的卷积层负责从图像空间中提取局部特征，后面的全连接层负责把这些高级特征综合起来做分类。越往后，单个神经元的感受野越大，它“看到”的不再是几个像素，而可能是较大的局部区域，因此特征也越抽象。

数据增强、GPU 和 LRN

图像或特征图形状通常写成 H × W × C。H 是高度，W 是宽度，C 是通道数。卷积输出空间尺寸常用公式：

Conv1 使用较大卷积核和较大 stride，会让特征图明显变小。池化也会让尺寸变小。与此同时，通道数经常变多，因为一个卷积核产生一个 feature map，多个卷积核就产生多个输出通道。

卷积输出尺寸计算器

参数量为什么有差异

卷积层参数量公式是 kernel_height × kernel_width × input_channels × output_channels + bias。全连接层参数量公式是 input_features × output_features + bias。卷积层通过局部连接和参数共享减少参数；全连接层把每个输入特征都连到每个输出神经元，连接非常密集，参数量容易爆炸。

假设输入是一张猫的图片。AlexNet 第一层可能看到边缘、颜色和方向纹理；中间层组合出毛发纹理、眼睛附近的局部结构；深层卷积层可能对耳朵、脸部轮廓、身体姿态等部件响应更强；Flatten 把特征图拉成向量；FC 层综合这些证据；Softmax 输出每个类别的概率。

训练时，模型看到训练图片和真实标签，先前向传播得到预测概率，再用交叉熵损失衡量预测和真实标签的差距。交叉熵不需要你把它想得很玄：如果真实类别是“猫”，模型却给猫很低概率，损失就大；如果给猫很高概率，损失就小。随后反向传播计算每个参数应该怎么调整，优化器更新参数，重复很多轮。

ImageNet 的大规模数据很重要，因为 AlexNet 参数多、表达能力强，如果数据太少就容易记住训练样本而不是学习可泛化的视觉规律。因此 Dropout 和数据增强在当时尤其关键。

for epoch in range(num_epochs):              # 遍历多个训练轮次，让模型反复看训练集
    for images, labels in dataloader:        # 每次取出一批图片和对应真实标签
        outputs = model(images)              # 前向传播：模型根据图片输出每个类别的 logits
        loss = criterion(outputs, labels)    # 计算损失：衡量预测结果和真实标签的差距
        optimizer.zero_grad()                # 清空上一批数据留下的梯度，避免梯度累加出错
        loss.backward()                      # 反向传播：计算每个参数对损失的影响
        optimizer.step()                     # 更新参数：让模型下一次预测更接近真实标签

import torch                              # 导入 PyTorch 主库
import torch.nn as nn                     # 导入神经网络模块，里面有 Conv2d、Linear、ReLU 等层

class SimpleAlexNet(nn.Module):           # 定义一个简化版 AlexNet，继承 nn.Module
    def __init__(self, num_classes=1000):  # num_classes 表示最终分类类别数，ImageNet 常用 1000
        super().__init__()                 # 初始化父类 nn.Module

        self.features = nn.Sequential(     # features 是卷积特征提取器
            nn.Conv2d(3, 64, 11, stride=4, padding=2),  # 输入 3 通道 RGB，输出 64 个特征图
            nn.ReLU(inplace=True),         # ReLU 增加非线性，让训练更快
            nn.MaxPool2d(3, stride=2),     # 最大池化，降低空间尺寸并保留强响应

            nn.Conv2d(64, 192, 5, padding=2), # 第二个卷积层，提取更复杂纹理
            nn.ReLU(inplace=True),         # 再次加入非线性
            nn.MaxPool2d(3, stride=2),     # 再次降采样，减少计算量

            nn.Conv2d(192, 384, 3, padding=1), # 中间卷积层，提取局部形状
            nn.ReLU(inplace=True),         # 非线性激活
            nn.Conv2d(384, 256, 3, padding=1), # 更深卷积层，组合更抽象特征
            nn.ReLU(inplace=True),         # 非线性激活
            nn.Conv2d(256, 256, 3, padding=1), # 最后一组卷积特征
            nn.ReLU(inplace=True),         # 非线性激活
            nn.MaxPool2d(3, stride=2)      # 池化后得到紧凑的高级特征图
        )

        self.avgpool = nn.AdaptiveAvgPool2d((6, 6)) # 固定输出空间尺寸，便于接全连接层

        self.classifier = nn.Sequential(   # classifier 是分类器
            nn.Dropout(p=0.5),             # 训练时随机关闭部分神经元，减少过拟合
            nn.Linear(256 * 6 * 6, 4096),  # 全连接层，把展平特征综合成高维表示
            nn.ReLU(inplace=True),         # 激活函数，提高表达能力
            nn.Dropout(p=0.5),             # 再次使用 Dropout，保护参数很多的 FC 层
            nn.Linear(4096, 4096),         # 第二个全连接层，学习类别判别信息
            nn.ReLU(inplace=True),         # 激活函数
            nn.Linear(4096, num_classes)   # 输出 logits，每个类别一个分数
        )

    def forward(self, x):                  # 定义前向传播过程
        x = self.features(x)               # 先用卷积层提取空间特征
        x = self.avgpool(x)                # 把特征图调整到固定的 6×6
        x = torch.flatten(x, 1)            # 从第 1 维开始展平，保留 batch 维度
        x = self.classifier(x)             # 用全连接分类器输出类别 logits
        return x                           # 返回 logits，不是 softmax 概率

经典 CNN 时间线图

AlexNet 在今天不算最强模型，但它非常适合作为现代 CNN 的学习起点。它把“从像素到特征再到类别”的基本路线展示得很清楚。

学习检查点