-
卷积神经网络(CNN)介绍09-BN层
BN层BN —- Batch Normalization详情见论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》文章暂未更完。。。。。。为什么深度网络会需要batchnorm？我们都知道，深度学习的话尤其是在CV上都需要对数据做归一化，因为深度神经网络主要就是为了学习训练数据的分布，并在测试集上达到很好的泛化效果，但是，如果我们每一个batch输入的...…
-
卷积神经网络(CNN)介绍08-Dropout层
Dropout详情见论文Improving neural networks by preventing co-adaptation of feature DetectorsDropout原理如上图左，为没有Dropout的普通2层全连接结构，记为 r=a(Wv)，其中a为激活函数。如上图右，为在第2层全连接后添加Dropout层的示意图。即在模型训练时随机让网络的某些节点不工作输出置0），其它过程不变。对于Dropout这样的操作为何可以防止训练过拟合，原作者也没有给出数学证明，只是有一些...…
-
卷积神经网络(CNN)介绍07-正则化
L1正则化L1范数是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）(任何的规则化算子，如果他在Wi=0的地方不可微，并且可以分解为一个“求和”的形式，那么这个规则化算子就可以实现稀疏。)既然L0可以实现稀疏，为什么不用L0，而要用L1呢？个人理解一是因为L0范数很难优化求解（NP难问题），二是L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解。L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优化求解特性而被广泛应用。L...…
-
卷积神经网络(CNN)介绍06-损失函数
常见的损失函数和代价函数分类和回归常用的损失函数如下：公式见网页或者博客损失函数修改策略 针对利用Loss修正存在类别不平衡问题的情况，详见本人博客《类别不平衡策略》文章的介绍。 针对利用修改Loss来训练差异性较小的样本，如人脸等。为了同一类的特征更近，不同的类的特征更远，在人脸识别领域已提出多种loss。 文章人脸的各种loss中简介了人脸识别领域大部分有名的loss函数以及论文目录，有需要的自行查看。 loss曲线★ 太高的学习率，loss曲线会很奇怪，很容...…
-
卷积神经网络(CNN)介绍05-优化器
常见优化器介绍Batch Gradient Descent（BGD）★ 梯度更新规则:BGD 采用整个训练集的数据来计算 cost function 对参数的梯度。★ 缺点：由于这种方法是在一次更新中，就对整个数据集计算梯度，所以计算起来非常慢，遇到很大量的数据集也会非常棘手，而且不能投入新数据实时更新模型。Batch gradient descent 对于凸函数可以收敛到全局极小值，对于非凸函数可以收敛到局部极小值。** Stochastic Gradient Descent (SGD)...…
-
卷积神经网络(CNN)介绍04-激活函数
激活函数为什么要用激活函数？如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。常用的激活函数Sigmoid：用于二分类神经网络输出sigmoid函数也叫 Logistic 函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。函数表达式：sigmoid的导数：s...…
-
卷积神经网络(CNN)介绍03-卷积操作
卷积目录 2D卷积操作 网络层参数计算 CNN反向传播 补充3D卷积 2D卷积操作我们用一个简单的例子来讲述如何计算卷积，然后，我们抽象出卷积层的一些重要概念和计算方法。假设有一个（5，5）的图像，使用一个（3，3）的filter进行卷积，想得到一个（3，3）的feature map，如下所示：Stride=1， padding=1的卷积如下图所示：由图中可以看到图像大小、步幅和卷积后的Feature Map大小是有关系的。W2 = (W1 - F + 2P)/S + 1H2 = ...…
-
卷积神经网络(CNN)介绍02-数据预处理
数据预处理输入网络之前通常会对图片进行一些预处理操作，例如：滤波去噪(均值滤波、中值滤波、高斯滤波等)，去均值，归一化，白化等操作。标准化需要消除样本不同属性具有不同量级时的影响：1) 数量级的差异将导致量级较大的属性占据主导地位；2) 数量级的差异将导致迭代收敛速度减慢；3) 依赖于样本距离的算法对于数据的数量级非常敏感。min-max标准化（归一化）归一化为了让不同维度的数据具有相同的分布。对于每个属性，设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过min-m...…
-
卷积神经网络(CNN)介绍01
卷积神经网络(CNN)CNN —- Convolutional Neural Networks1.介绍卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。卷积网络通过一系列方法，成功将数据量庞大的图像识别问题不断降维，最终使其能够被训练。CNN最早由Yann LeCun提出并应用在手写字体识别上（MINST）。LeCun提出的网络称为LeNet，其网络结构如下：典型的卷积网络，由卷积层、池化层、全连接层组成。其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终...…
