By

Contents
  1. 1. AlexNet
    1. 1.1. 论文：
    2. 1.2. 数据集
    3. 1.3. 网络架构
    4. 1.4. 防止过拟合
    5. 1.5. 具体实现
    6. 1.6. Result

AlexNet

论文：

MLA Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. “Imagenet classification with deep convolutional neural networks.” Advances in neural information processing systems. 2012.

数据集

  • ImageNet: 总共15million图片，共22000类
  • 使用其中1000类，共1.2million 训练集，50000验证集，150000测试集

网络架构

  • 如下图

    1

总体框架

  • 5层卷积与3层全连接。
  • 使用ReLU激活函数
  • 在两块GPU上卷积核各分一半进行运算，只在第三层卷积有数据传递。
  • 使用local response normalization ??
  • 有重叠的池化

防止过拟合

data augmentation

  • 从256尺寸的图片里切取224的图片，并可做对称，增加了2048倍的图片量。
  • 加上主成分 ??

dropout

训练时以p的概率屏蔽，测试时乘以p

具体实现

  • batchsize: 128
  • momentum: 0.9
  • weight_decay: 0.0005
  • 参数初始化

Result

2

3

Contents
  1. 1. AlexNet
    1. 1.1. 论文：
    2. 1.2. 数据集
    3. 1.3. 网络架构
    4. 1.4. 防止过拟合
    5. 1.5. 具体实现
    6. 1.6. Result