吴恩达《深度学习》笔记三——卷积神经网络



Writed by changfei_lovelife~

目录

1.卷积神经网络
2.深层卷积网络实例探究

第一部分 卷积神经网络

1.边缘检测器
原理:利用过滤器,与原图矩阵进行卷积计算,可实现垂直/水平边缘检测。
卷积运算:逐元素相乘,然后相加
在这里插入图片描述
解释:
在这里插入图片描述
在这里插入图片描述
检测器能区别明到暗和暗到明:
在这里插入图片描述
水平检测器:
在这里插入图片描述
检测器中的值不一定是定值:
在这里插入图片描述
2.卷积的操作:Padding&步长
Padding:
如果我们有一个n×n的图像,用f×f的过滤器做卷积,那么输出的维度就是(n−f+1)×(n−f+1)。
缺点:1、每次做卷积操作后图像会缩小;2、处于边缘的像素点在输出中采用较少,意味着丢失图像边缘位置的信息。
padding:为了解决这些问题,你可以在卷积操作之前填充这幅图像,你可以沿着图像边缘再填充一层像素。
在这里插入图片描述
在这个案例中,p=1,因为我们在周围都填充了一个像素点,输出也就变成了(n+2p−f+ 1) × (n+2p−f+ 1),所以就变成了(6+2×1−3+1) × (6+2×1−3+1) = 6×6,和输入的图像一样大。
Valid卷积:不填充。
Same卷积:输出大小和输入一样。
卷积步长:
指的是过滤器每次移动时跨的格子。
输出大小为:( (n+2p−f)/s+1 ) × ( (n+2p−f)/s+1 )
3.三维卷积
针对彩色图片的三维矩阵,采用同通道的三维过滤器进行卷积运算,得到的仍然是二维矩阵。
在这里插入图片描述
考虑到一个过滤器只能探测图片的一个特征,因此采用多个过滤器,将得到的多个二维矩阵堆叠起来,得到一个三维体。
在这里插入图片描述
4.单层卷积网络——卷积层
卷积层:过滤器卷积运算+增加偏差+非线性函数,重复多次,矩阵堆叠
在这里插入图片描述
在这里插入图片描述
参数数量:每个过滤器参数(333=)27,加上一个b参数,28个,乘以过滤器数量
参数表示
在这里插入图片描述
5.简单卷积网络示例
示例结构:卷积层+卷积层+卷积层+平滑展开+logistic/softmax回归单元
在这里插入图片描述
在这里插入图片描述
典型卷积网络:卷积层(CONV)+池化层(POOL)+全连接层(FC)
6.池化层
池化层用来缩减模型大小,提高计算速度。
最大池化:输出区域内最大元素
在这里插入图片描述
平均池化:输出区域内平均值
池化的超参:过滤器大小f和步幅s,以及padding参数p
7.卷积神经网络示例
卷积两种分类:1.一个卷积层和一个池化层作为一层(采用,池化层没有参数,只有超参) 2.卷积层和池化层各自作为一层
在这里插入图片描述
示例卷积网络结构:CONV-POOL-CONV-POOL-FC-FC-Softmax
在这里插入图片描述
注意点
在这里插入图片描述
8.为什么使用卷积?
卷积能够减少参数,防止过拟合。
减参原因:参数共享+稀疏连接
参数共享
在这里插入图片描述
稀疏连接
在这里插入图片描述
第二部分 深度卷积网络实列探究
1.经典网络
LeNet-5网络
在这里插入图片描述
在这里插入图片描述
AlexNet网络
在这里插入图片描述
AlexNet采用了ReLu激活函数
VGG-16网络
在这里插入图片描述
卷积层过滤器:f=3,s=1,same卷积
池化层过滤器:f=2,s=2
在这里插入图片描述
2.残差网络
跳跃连接
在这里插入图片描述
残差块
在这里插入图片描述
a[l+2]=g(z[l+2]+a[l]),加上了a[l]构成了一个残差块。
残差网络
残差网络由一系列残差块堆积而成。
在这里插入图片描述
在这里插入图片描述
残差起作用的原因
残差网络比较容易学习恒等式,能确定网络性能不受影响,甚至可以提高效率。
在这里插入图片描述
3.1by1卷积
过滤器大小为:1by1
在这里插入图片描述
应用
在这里插入图片描述
4.谷歌Inception网络
特点
Inception层的作用就是代替人工来确定卷积层中的过滤器类型,以及确定是否需要创建池化层。
在这里插入图片描述
Inception层
在这里插入图片描述
Inception模块的输入是28-28-192,输出是28-28-256。
为了匹配维度,最大池化使用padding。
在这里插入图片描述
Inception的计算成本
以5-5的CONV为例
在这里插入图片描述
乘法次数: 5 5 192 28 28 32=120M
在这里插入图片描述
采用1by1卷积作为瓶颈层(中间层),此时乘法次数为12.4M,计算成本下降到1/10。
Inception网络
在这里插入图片描述
其中,池化后通过1by1卷积压缩通道。
Inception网络将Inception模块组合在一起:
在这里插入图片描述
其中,编号6和7是额外的最大池化层,用来修改高和宽的维度。
在这里插入图片描述
其中,网络的最后几层为全连接层,之后接一个softamax层做预测。
编号2和4对应的分支也是用来做预测。
在这里插入图片描述
5.迁移学习
含义
迁移学习是把公共的数据集的知识迁移到自己的问题上。
在这里插入图片描述
以三分类问题为例
如果数据集很小,可以只softmax层参数,冻结前面所有层。
如果数据集更大点,冻结更少的层。
如果有大量数据,可以把权重初始化,训练整个网络。
规律:数据越来越多,需要冻结的层越少,需要训练的层越多。