新浪云怎么做自己的网站,网络营销平台推广方案,太原网站快速排名优化,网站建设网站软件有哪些方面GoogLeNetInception结构的主要思路是怎样用密集成分来近似最优的局部稀疏结构。对上图做以下说明#xff1a; 1 . 采用不同大小的卷积核意味着不同大小的感受野#xff0c;最后拼接意味着不同尺度特征的融合#xff1b; 2 . 之所以卷积核大小采用1、3和5#xff0c;主要是为…GoogLeNetInception 结构的主要思路是怎样用密集成分来近似最优的局部稀疏结构。对上图做以下说明 1 . 采用不同大小的卷积核意味着不同大小的感受野最后拼接意味着不同尺度特征的融合 2 . 之所以卷积核大小采用1、3和5主要是为了方便对齐。设定卷积步长stride1之后只要分别设定pad0、1、2那么卷积之后便可以得到相同维度的特征然后这些特征就可以直接拼接在一起了 3 . 文章说很多地方都表明pooling挺有效所以Inception里面也嵌入了。 4 . 网络越到后面特征越抽象而且每个特征所涉及的感受野也更大了因此随着层数的增加3x3和5x5卷积的比例也要增加。但是使用5x5的卷积核仍然会带来巨大的计算量。 为此文章借鉴NIN2采用1x1卷积核来进行降维。 例如上一层的输出为100x100x128经过具有256个输出的5x5卷积层之后(stride1pad2)输出数据为100x100x256。其中卷积层的参数为128x5x5x256。假如上一层输出先经过具有32个输出的1x1卷积层再经过具有256个输出的5x5卷积层那么最终的输出数据仍为为100x100x256但卷积参数量已经减少为128x1x1x32 32x5x5x256大约减少了4倍。
具体改进后的Inception Module如下图 GoogLeNet整体结构图GoogLeNet图对下图做如下说明 1 . 显然GoogLeNet采用了模块化的结构方便增添和修改 2 . 网络最后采用了average pooling来代替全连接层想法来自NIN,事实证明可以将TOP1 accuracy提高0.6%。但是实际在最后还是加了一个全连接层主要是为了方便以后大家finetune 3 . 虽然移除了全连接但是网络中依然使用了Dropout ; 4 . 为了避免梯度消失网络额外增加了2个辅助的softmax用于向前传导梯度。文章中说这两个辅助的分类器的loss应该加一个衰减系数但看caffe中的model也没有加任何衰减。此外实际测试的时候这两个额外的softmax会被去掉。实现细节用tensorflow时在DepthConcat层tensorflow中使用tf.concat(将不同大小卷积核卷积大小组合起来增加深度具体见下图。
