7.1 BP神经网络

手推BP神经网络见PPT

7.2 卷积神经网络介绍

几个知识点：

1.卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一。CNN相较于传统的算法避免了对图像复杂的前期预处理过程(提取人工特征等),可以直接输入原始图像。

2.CNN中的局部连接(Sparse Connectivity)和权值共享(Shared Weights)方法。

局部连接是卷积的出现，代替了全连接。（减少了参数：之前1000x1000的图像全连接需要1000x1000的神经参数，现在10x10的卷积核权值共享的话的话只需要这么多参数）

权值共享是一个卷积核提取一个特征（Feature Map），多个特征需要多个卷积核。

3.卷积神经网络(CNN)由输入层、卷积层、激活函数、池化层、全连接层组成,即INPUT-CONV-RELU-POOL-FC

4.激活函数：给参数添加非线性因素。

Sigmoid函数、Tanh函数、Relu函数、Leaky Relu函数、Elu函数、Maxout函数

5.池化层：进行压缩减少特征数量

maxpooling和average pooling

6.正则化：通过降低模型的复杂度,通过在cost函数上添加一个正则项的方式来降低overfitting,主要有L1和L2两种方式。

7.Dropout:通过随机删除神经网络中的神经元来解决overfitting问题,在每次迭代的时候,只使用部分神经元训练模型获取W和b的值。

8.Flatten 层：将卷积-池化之后的feature map 展平正向量，方便计算全连接。

9.全连接层：大向量通过全连接变成需要的维度的小向量。

10.softmax分类：将小向量进行softmax，然后送入loss函数。