您好,欢迎来到爱够旅游网。
搜索
您的当前位置:首页用两个3*3代替5*5卷积的优点

用两个3*3代替5*5卷积的优点

来源:爱够旅游网

问题:

1、对于5*5和两个3*3的计算量,我们可以比较一下。

2、我们假设输入图像大小是5*5*1,最终都需要将其变成1*1*1.

3、那么对于5*5的核(暂时用1个),我们的总参数是25,总的乘法计算数为1*5*5*1=25;

4、而对于3*3的核(用1个),我们总参数是2*3*3=18.总的乘法计算数:

    4.1 5*5*1->3*3*1: 乘法计算数目为 1*3*3*3*3*1=81次。

    4.2 3*3*1->1*1*1: 乘法计算数目为 1*3*3*1*1*1=9次

    4.3 总共是90次(超多)

但是,计算机读内存的速度比计算乘法的速度慢多了,所以我们宁愿多算几次,也不要多读一点内存数据。

因此,虽然3*3的卷积核计算量较大,但是参数数目较5*5少很多,在用3*3卷积核参与卷积运算时计算机的处理速度会快很多。该优化方法在早期的VGG网络中很常见。而且,使用2个3*3替换一个5*5使得网络的深度(层数)增加,非线性表达特征的能力就会增强。

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- igbc.cn 版权所有 湘ICP备2023023988号-5

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务