关于DenseNet的原理和具体细节，可参见上篇解读：经典神经网络论文超详细解读（六）——DenseNet学习笔记（翻译＋精读＋代码复现）
接下来我们就来复现一下代码。
整个DenseNet模型主要包含三个核心细节结构，分别是DenseLayer(整个模型最基础的原子单元，完成一次最基础的特征提取，如下图第三行)、DenseBlock(整个模型密集连接的基础单元，如下图第二行左侧部分)和Transition(不同密集连接之间的过渡单元，如下图第二行右侧部分)，通过以上结构的拼接+分类层即可完成整个模型的搭建。
DenseLayer层 包含BN + Relu + 1*1Conv + BN + Relu + 3*3Conv。在DenseBlock中，各个层的特征图大小一致，可以在channel维度上连接。所有DenseBlock中各个层卷积之后均输出 k个特征图，即得到的特征图的channel数为k ，或者说采用 k 个卷积核。 其中，k 在DenseNet称为growth rate，这是一个超参数。一般情况下使用较小的k（比如12），就可以得到较佳的性能。
DenseBlock模块 其实就是堆叠一定数量的DenseLayer层，在整个DenseBlock模块内不同DenseLayer层之间会发生密集连接，在DenseBlock模块内特征层宽度不变，不存在stride=2或者池化的情况。
Transition模块 包含BN + Relu + 1*1Conv + 2*2AvgPool，1*1Conv负责降低通道数，2*2AvgPool负责降低特征层宽度，降低到1/2。另外，Transition层可以起到压缩模型的作用。假定Transition的上接DenseBlock得到的特征图channels数为m，Transition层可以产生 ⌊θm⌋个特征（通过卷积层），其中θ∈(0,1] 是压缩系数（compression rate）。当θ=1 时，特征个数经过Transition层没有变化，即无压缩，而当压缩系数小于1时，这种结构称为DenseNet-C，文中使用θ=0.5 。对于使用bottleneck层的DenseBlock结构和压缩系数小于1的Transition组合结构称为DenseNet-BC。
初始卷积层是由一个7*7的conv层和3*3的pooling层组成，stride都为2
DenserLayer是Dense Block内部结构，BN+ReLU+1x1 Conv+BN+ReLU+3x3 Conv，最后也加入层以用于训练过程。主要用于特征的提取等工作，控制输入经过网络后，输入的模型的特征数量，比如第一个模型输入是5个特征层，后面一个是四个特征层等。
但是可以发现一点，这个和别的网络有所不同的是，每一个DenseLayer虽然特征提取的函数一样的，因为要结合前面的特征最为新的网络的输入，所以模型每次的输入的维度是不同。比如groth_rate = 32,每次输入特征都会在原来的基础上增加32个通道。因此需要在函数中定义 num_layer个不同输入的网络模型，这也正是模型函数有意思的一点。
再实现模块，内部是密集连接方式（输入特征数线性增长）
Transition模块降低模型复杂度。包含BN + Relu + 1*1Conv + 2*2AvgPool结构由于每个稠密块都会带来通道数的增加，使用过多则会带来过于复杂的模型。过渡层用来控制模型复杂度。它通过1 × 1 卷积层来减小通道数，并使用步幅为2的平均池化层减半高和宽。
DenseNet如下图所示，主要是由多个DenseBlock组成
Q: densenet121 中的121 是如何来的？
从设置的参数可以看出来，block_num=4,且每个Block的num_layer=(6, 12, 24, 16),则总共有58个denselayer。
从代码中可以知道每个denselayer包含两个卷积。总共三个 _Transition层，每个层一个卷积。在最开始的时候一个卷积，结束的时候一个全连接层。则总计：58*2+3+1+1=121
版权声明：
本文来源网络，所有图片文章版权属于原作者，如有侵权，联系删除。
本文网址：https://www.mushiming.com/mjsbk/15210.html