深度学习心得

• 基本理论知识的学习
• • 概念的辨析
  • 学习心得：
  • 深度学习基本流程：
• tensorflow笔记
• • • 参考文献（课程）

欠拟合：
模型学习能力不足
过拟合：
单纯只对一部分数据处理能力较强，对于其他数据无处理能力
泛化能力：
指处理未被观察过的数据的能力
损失函数：
交叉熵误差和均方误差
激活函数：
主要是提供非线性因素，避免单纯线性组合
梯度：
各个量的偏导数的集合
计算图：
只需要局部计算，通过传递计算结果，可以获得全局的复杂的计算结果
误差反向传播算法：
就是反向链式求导法则
四维数组：
x = np.random.rand(10, 1, 28, 28)对应10个高为28，长为28，通道数为1的数据

1. 全连接层的数据的形状会被忽视，而卷积神经网络可以解决这一问题，比如minist手写字体的识别全连接层会把28*28变成一个长度为784的数据。
2. 通过加深神经网络，可以减少学习数据，通过叠加小型滤波器叠加非线性函数，可以表现更加复杂的东西

前提
神经网络存在合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为“学习”。神经网络的学习分成下面4个步骤。
步骤1(mini-batch)
从训练数据中随机选出一部分数据，这部分数据称为mini-batch。我们的目标是减小mini-batch的损失函数的值。
步骤2(计算梯度)
为了减小mini-batch的损失函数的值，需要求出各个权重参数的梯度。梯度表示损失函数的值减小最多的方向。
步骤3(更新参数)
将权重参数沿梯度方向进行微小更新。

卷积是什么，卷积就是特征提取器CBAPD
池化层的作用总结：
在卷积神经网络中通常会在相邻的卷积层之间加入一个池化层，池化层可以有效的缩小参数矩阵的尺寸，从而减少最后连接层的中的参数数量。所以加入池化层可以加快计算速度和防止过拟合的作用。
BN层总结：
最重要的作用是让加速网络的收敛速度，调整归一化力度

人工智能实践：Tensorflow笔记
深度学习入门：基于python的理论与实现