广度残差网络怎么设置

❶ 残差网络ResNet笔记

作者根据输入将层表示为学习 残差函数 。实验表明，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。
核心是解决了增加深度带来的副作用（退化问题），这样能够通过单纯地增加网络深度，来提高网络性能。

网络的深度为什么重要？

因为CNN能够提取low/mid/high-level的特征，网络的层数越多，意味着能够提取到不同level的特征越丰富。并且，越深的网络提取的特征越抽象，越具有语义信息。

为什么不能简单地增加网络层数？

怎么解决退化问题？

深度残差网络。如果深层网络的后面那些层是恒等映射，那么模型就退化为一个浅层网络。那现在要解决的就是学习恒等映射函数了。 但是直接让一些层去拟合一个潜在的恒等映射函数H(x) = x，比较困难，这可能就是深层网络难以训练的原因。但是，如果把网络设计为H(x) = F(x) + x,如下图。我们可以转换为学习一个残差函数F(x) = H(x) - x. 只要F(x)=0，就构成了一个恒等映射H(x) = x. 而且，拟合残差肯定更加容易。

其他的参考解释

这种残差学习结构可以通过前向神经网络+shortcut连接实现，如结构图所示。而且shortcut连接相当于简单执行了同等映射，不会产生额外的参数，也不会增加计算复杂度。 而且，整个网络可以依旧通过端到端的反向传播训练。

ImageNet上的实验证明了作者提出的加深的残差网络能够比简单叠加层生产的深度网络更容易优化，而且，因为深度的增加，结果得到了明显提升。另外在CIFAR-10数据集上相似的结果以及一系列大赛的第一名结果表明ResNet是一个通用的方法。

F(x)与x相加就是就是逐元素相加，但是如果两者维度不同，需要给x执行一个线性映射来匹配维度：

用来学习残差的网络层数应当大于1，否则退化为线性。文章实验了layers = 2或3，更多的层也是可行的。
用卷积层进行残差学习： 以上的公式表示为了简化，都是基于全连接层的，实际上当然可以用于卷积层。加法随之变为对应channel间的两个feature map逐元素相加。

key point：

key point：

❷ 残差网络(ResNet)

残差操作这一思想起源于论文《Deep Resial Learning for Image Recognition》。如果存在某个K层的网络f是当前最优的网络，那么可以构造一个更深的网络，其最后几层仅是该网络f第K层输出的恒等映射（IdentityMapping），就可以取得与f一致的结果；也许K还不是所谓“最佳层数”，那么更深的网络就可以取得更好的结果。 总而言之，与浅层网络相比，更深的网络的表现不应该更差。但是如下图所示，56层的神经网络表现明显要比20层的差。 证明更深的网络在训练过程中的难度更大，因此作者提出了残差网络的思想。+

ResNet 的作者将这些问题归结成了一个单一的假设：直接映射是难以学习的。而且他们提出了一种修正方法： 不再学习从 x 到 H(x) 的基本映射关系，而是学习这两者之间的差异，也就是“残差（resial）”。然后，为了计算 H(x)，我们只需要将这个残差加到输入上即可。假设残差为 F(x)=H(x)-x，那么现在我们的网络不会直接学习 H(x) 了，而是学习 F(x)+x。

这就带来了你可能已经见过的着名 ResNet（残差网络）模块：

ResNet 的每一个“模块（block）”都由一系列层和一个“捷径（shortcut）”连接组成，这个“捷径”将该模块的输入和输出连接到了一起。然后在元素层面上执行“加法（add）”运算，如果输入和输出的大小不同，那就可以使用零填充或投射（通过 1×1 卷积）来得到匹配的大小。

回到我们的思想实验，这能大大简化我们对恒等层的构建。直觉上就能知道，比起从头开始学习一个恒等变换，学会使 F(x) 为 0 并使输出仍为 x 要容易得多。一般来说，ResNet 会给层一个“参考”点 x，以 x 为基础开始学习。

在此之前，深度神经网络常常会有梯度消失问题的困扰，因为 ResNet 的梯度信号可以直接通过捷径连接回到更早的层，而且它们的表现依然良好。

ResNet本质上就干了一件事：降低数据中信息的冗余度具体说来，就是对非冗余信息采用了线性激活（通过skip connection获得无冗余的identity部分），然后对冗余信息采用了非线性激活（通过ReLU对identity之外的其余部分进行信息提取/过滤，提取出的有用信息即是残差）。
其中，提取identity这一步，就是ResNet思想的核心。 对ResNet本质的一些思考

一方面是残差网络更好的拟合分类函数以获得更高的分类精度，另一方面是残差网络如何解决网络在层数加深时优化训练上的难题。

首先从万能近似定理（Universal Approximation Theorem）入手。这个定理表明，一个前馈神经网络（feedforward neural network）如果具有线性输出层，同时至少存在一层具有任何一种“挤压”性质的激活函数（例如logistic sigmoid激活函数）的隐藏层，那么只要给予这个网络足够数量的隐藏单元，它就可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的波莱尔可测函数(Borel Measurable Function)。
万能近似定理意味着我们在构建网络来学习什么函数的时候，我们知道一定存在一个多层感知机（Multilayer Perceptron Model，MLP）能够表示这个函数。然而，我们不能保证训练算法能够学得这个函数。因为即使多层感知机能够表示该函数，学习也可能会失败，可能的原因有两种。

第二种过拟合情况不在我们的讨论范围之内，因此我们聚焦在前一种情况，为何残差网络相比简单的多层网络能更好的拟合分类函数，即找到期望函数的参数值。
对于普通的不带短连接的神经网络来说，存在这样一个命题。

事实上对于高维函数，这一特点依然适用。因此，当函数的输入维度非常高时，这一做法就变的非常有意义。尽管在高维空间这一特点很难被可视化，但是这个理论给了一个很合理的启发，就是原则上，带短连接的网络的拟合高维函数的能力比普通连接的网络更强。这部分我们讨论了残差网络有能力拟合更高维的函数，但是在实际的训练过程中仍然可能存在各种各样的问题使得学习到最优的参数非常困难，因此下一小节讨论残差在训练过程中的优越性。

这个部分我们讨论为什么残差能够缓解深层网络的训练问题，以及探讨可能的短连接方式和我们最终选择的残差的理由。正如本章第三部分讨论的一样，整个残差卷积神经网络是由以上的残差卷积子模块堆积而成。如上一小节所定义的，假设第 层的残差卷积字子模块的映射为

❸ 十分钟一起学会ResNet残差网络

深度卷积网络自然的整合了低中高不同层次的特征，特征的层次可以靠加深网络的层次来丰富。从而，在构建卷积网络时，网络的深度越高，可抽取的特征层次就越丰富。所以一般我们会倾向于使用更深层次的网络结构，以便取得更高层次的特征。但是在使用深层次的网络结构时我们会遇到两个问题，梯度消失，梯度爆炸问题和网络退化的问题。

但是当使用更深层的网络时，会发生梯度消失、爆炸问题，这个问题很大程度通过标准的初始化和正则化层来基本解决，这样可以确保几十层的网络能够收敛，但是随着网络层数的增加，梯度消失或者爆炸的问题仍然存在。

还有一个问题就是网络的退化，举个例子，假设已经有了一个最优化的网络结构，是18层。当我们设计网络结构的时候，我们并不知道具体多少层次的网络时最优化的网络结构，假设设计了34层网络结构。那么多出来的16层其实是冗余的，我们希望训练网络的过程中，模型能够自己训练这五层为恒等映射，也就是经过这层时的输入与输出完全一样。但是往往模型很难将这16层恒等映射的参数学习正确，那么就一定会不比最优化的18层网络结构性能好，这就是随着网络深度增加，模型会产生退化现象。它不是由过拟合产生的，而是由冗余的网络层学习了不是恒等映射的参数造成的。

ResNet是在2015年有何凯明，张翔宇，任少卿，孙剑共同提出的，ResNet使用了一个新的思想，ResNet的思想是假设我们涉及一个网络层，存在最优化的网络层次，那么往往我们设计的深层次网络是有很多网络层为冗余层的。那么我们希望这些冗余层能够完成恒等映射，保证经过该恒等层的输入和输出完全相同。具体哪些层是恒等层，这个会有网络训练的时候自己判断出来。将原网络的几层改成一个残差块，残差块的具体构造如下图所示：

可以看到X是这一层残差块的输入，也称作F(x)为残差，x为输入值，F（X）是经过第一层线性变化并激活后的输出，该图表示在残差网络中，第二层进行线性变化之后激活之前，F(x)加入了这一层输入值X，然后再进行激活后输出。在第二层输出值激活前加入X，这条路径称作shortcut连接。

我们发现，假设该层是冗余的，在引入ResNet之前，我们想让该层学习到的参数能够满足h(x)=x，即输入是x，经过该冗余层后，输出仍然为x。但是可以看见，要想学习h(x)=x恒等映射时的这层参数时比较困难的。ResNet想到避免去学习该层恒等映射的参数，使用了如上图的结构，让h(x)=F(x)+x;这里的F(x)我们称作残差项，我们发现，要想让该冗余层能够恒等映射，我们只需要学习F(x)=0。学习F(x)=0比学习h(x)=x要简单，因为一般每层网络中的参数初始化偏向于0，这样在相比于更新该网络层的参数来学习h(x)=x，该冗余层学习F(x)=0的更新参数能够更快收敛，如图所示：

假设该曾网络只经过线性变换，没有bias也没有激活函数。我们发现因为随机初始化权重一般偏向于0，那么经过该网络的输出值为[0.6 0.6]，很明显会更接近与[0 0]，而不是[2 1]，相比与学习h(x)=x，模型要更快到学习F(x)=0。

并且ReLU能够将负数激活为0，过滤了负数的线性变化，也能够更快的使得F(x)=0。这样当网络自己决定哪些网络层为冗余层时，使用ResNet的网络很大程度上解决了学习恒等映射的问题，用学习残差F(x)=0更新该冗余层的参数来代替学习h(x)=x更新冗余层的参数。

这样当网络自行决定了哪些层为冗余层后，通过学习残差F(x)=0来让该层网络恒等映射上一层的输入，使得有了这些冗余层的网络效果与没有这些冗余层的网络效果相同，这样很大程度上解决了网络的退化问题。

我们发现很深的网络层，由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。

可以看到，假设现在需要更新 参数因为随机初始化偏向于0，通过链式求导我们会发现， 相乘会得到更加接近于0的数，那么所求的这个 的梯度就接近于0，也就产生了梯度消失的现象。

ResNet最终更新某一个节点的参数时，由于 ，由于链式求导后的结果如图所示，不管括号内右边部分的求导参数有多小，因为左边的1的存在，并且将原来的链式求导中的连乘变成了连加状态（正是 ），都能保证该节点参数更新不会发生梯度消失或梯度爆炸现象。

这样ResNet在解决了阻碍更深层次网络优化问题的两个重要问题后，ResNet就能训练更深层次几百层乃至几千层的网络并取得更高的精确度了。

这里是应用了ResNet的网络图，这里如果遇到了h(x)=F(x)+x中x的维度与F(x)不同的维度时，我们需要对identity加入Ws来保持Ws*x的维度与F(x)的维度一致。

x与F(x)维度相同时：

x与F(x)维度不同时：

下边是ResNet的网络结构图：

使用1*1卷积减少参数和计算量：

如果用了更深层次的网络时，考虑到计算量，会先用1 * 1的卷积将输入的256维降到64维，然后通过1*1恢复。这样做的目的是减少参数量和计算量。

左图是ResNet34，右图是ResNet50/101/152。这一个模块称作building block，右图称之为bottleneck design。在面对50，101,152层的深层次网络，意味着有很大的计算量，因此这里使用1 * 1卷积先将输入进行降维，然后再经过3 * 3卷积后再用 卷积进行升维。使用1*1卷积的好处是大大降低参数量计算量。

通过上述的学习，你应该知道了，现如今大家普遍认为更好的网络是建立在更宽更深的网络基础上，当你需要设计一个深度网络结构时，你永远不知道最优的网络层次结构是多少层，一旦你设计的很深入了，那势必会有很多冗余层，这些冗余层一旦没有成功学习恒等变换 ,那就会影响网络的预测性能，不会比浅层的网络学习效果好从而产生退化问题。

ResNet的过人之处，是他很大程度上解决了当今深度网络头疼的网络退化问题和梯度消失问题。使用残差网络结构 代替原来的没有shortcut连接的 ,这样更新冗余层的参数时需要学习 比学习 要容易得多。而shortcut连接的结构也保证了反向传播更新参数时，很难有梯度为0的现象发生，不会导致梯度消失。

这样，ResNet的构建，使我们更朝着符合我们的直觉走下去，即越深的网络对于高级抽象特征的提取和网络性能更好，不用在担心随着网络的加深发生退化问题了。

近段时间，准备持续发表一些CNN常见的网络模型讲解。好了，今天的十分钟就带你一起学会ResNet，下次的十分钟我们再见。

❹ 吴教授的CNN课堂：进阶 | 从LeNet到残差网络(ResNet)和Inception Net

第二周是关于卷积网梁丛络(CNN)进阶部分，学到挺多新东西。因为之前了解过CNN基础后，就大多在用RNN进行自然语言处理方面的研究，很多CNN的最新进展虽有耳闻，但是并不清楚。

特别是各个论文模型又喜欢取一些奇怪的名字(比如昨天读的两篇论文，一个叫NTT，一个叫TMD)，如果没读过论文，不了解一些缘由，真是傻傻分不清。

之前看视觉问答时，预处理图片部分需选择训练好的网络，结果一看，一大堆什么 VGG、Res、Incept 这些看不懂的名词，而且后面还加着16、19、101等数字和V1、V2、V3这样的版本数。结果只能两眼一抹黑，参考别人的论文，瞎选了一个。

闲话不多说，开始吧。

在提到之后的ResNet和Inception Net前，最好先回顾一下CNN里面成功架构的发展，这样就可以把握住一条清晰的发展脉络，之后讲解进阶网络的时候也能很快理解。

首先是爷爷级的 LeNet-5 ，因为这大概是20年前提出来的了。是当时尚且青涩，而现在已是深度学习四大天王里的LeCun提出的，LeNet也是取自他名字前半截，5表示只有五层，当时用于处理MNIST这样的手写数字识别。

在基础课里面吴教授也有亲手把整个架构画出来，所以并不是很复杂。分别卷积和池化两次后，然后直接输入全连接网络就可以了。

LeNet后，因为人工智能寒冬，所以很长时间并没有太大发展。

直到13年的时候，后起之秀Alex Krizhevsky (相信不少人也看过他的博客，听过他有名的Stanford cs231) 提出了AlexNet，在ImageNet比赛上取得了很大的成功，向大家展示了深度学习的力量，从此掀起一次浪潮。

AlexNet和LeNet差别并不是很大，主要不同有以下三点。

在AlexNet展示了深度学习在图像处理上的成功后，大家也就开始不断在其之上完善图像处理的CNN构架。而VGG就是第一个 非常简洁又系统化，提出了一套怎么使用更深的网络来训练的网络架构 。

VGG的创举之点在于，比起之前那些网络其中参数的混杂，它很有计划和条理地布置了架构中各个层的结构。比如说可以列举出一下几点：

VGG是当时参赛组(Visual Geometry Group)的名称。一般现在大家用到的都是VGG-16或者VGG-19，16和19也正如所想枯嫌，分别是对应的VGG版本中的层数。

看上去16和19层好像也很多了，但和之后ResNet这样的动不动就101，152层的巨无霸相比，还是小巫见大巫。

那为什么不也增加VGG的层数呢？

这里要提到深层神经网络训练中的一个大问题了，那就是当层数过大时，会产生所谓的 梯度爆炸(Exploding Gradients)和梯度消失(Vanishing Gradients) 现象。

打个比方，如果每次的梯度相乘的系数都是小于1的数，假如说0.6, 那么19 层算下来，0.6的19次方就已经是0.00061了，更别提上百层了。这样传播到最底层的时候，能够 学习到的参数就很小 了，这就是梯度消失。

反过来，梯度爆炸的情况，如果系数大于1，多次累乘后就橡败樱会得到一个很大的数，也会造成不好的结果。有点像是复利的概念，也就是那个和国王打赌要一棋盘稻子的故事。

梯度爆炸还好解决，可以用 梯度修剪(Gradient Clipping) 修剪一下就好了。而梯度消失就有点难解决了。

因为这样的问题，所以虽然理论上普通的深处网络是越深学的越好，但是实际上却事与愿违。下图横轴是网络层数，竖轴是训练误差(越小越好)。 理论上随着层数增加，误差就减小，但是实际是过了某个点之后，误差反而会增大。

那么ResNet是怎么训练到上百层的呢，难道它就不怕上面的问题吗？

它用一个很简单的方法解决了上面的问题。

有很多很棒的论文，没读之前，看名字觉得很厉害的。但结果一看论文，才发现方法非常之简洁，特别是有一些利用数学知识推导出的简单解决方法，让人不得不一边拍手称赞，一边感叹自己数学渣。

ResNet也是这样子的，看名字很酷炫，但是打开论文一看，才发现原来是这样啊。

ResNet的最主要就是 Shortcut(捷径) 这个概念。来看看这到底是什么吧，首先假设我们从一个神经网络中取出两层，当做是一个块(block)，先不管中间是MLP或者是CNN。

而shortcut就如下图一样，从第一层的输入直接建立一条捷径到第二层的输出，激活函数前。

也就是说第二层激活后的输出可以会发生这样的变化。

由

变成

这样子处理之后，我们得到的这一小块就叫做 Resial Block（残差块） ，而把这些块堆叠起来就是我们的残差网络了。很简单吧，像下面这样，一个34层的残差网络。

这样子我们就得到残差网络，那么实际上训练会怎么样呢。

正是我们想要的模型，也非常符合理论。

最后再提一下残差网络背后的原理，为什么这样简单改一下就能够有这么好的表现呢。

原因是捷径的建立，使得每一个残差块可以 很容易地学习到恒等函数 ，也就是f(x)=x。也就是说加入残差块之后，再差也能学会恒等函数，保留信息，把之前的结果直接这样传下去，所以也就不用担心之前提到的 梯度消失 问题了。

介绍Inception网络前，先介绍一下其中一个很重要的概念1x1卷积。

初看1x1卷积的概念会觉得很奇怪，这样子每次对一个像素进行卷积有什么用，我们本来不就是想检测局部的特征吗。但是如果理解了 通道 概念的话，就能很好理解了。

因为，如果说普通的 大窗口卷积更注重一个通道内各个特征的互动 的话，那么1x1卷积就是只在通道与通道进行卷积运算，加强了通道之间的互动。

这就是第一点， 加强了通道与通道之间的交流 。用这个就可以只对通道进行一些操作，如用1x1卷积增加通道数，减少通道数，也可以不增不减，但是对之前的通道进行整理。

1x1卷积网络还有一个好处，那就是 通过合理运用可以减少整体网络的运算量 。

还是来举例子吧，假设有以下一个卷积过程。

那么上面这个过程所需要的运算量大约一亿两千万次。

而如果我们巧妙地利用1x1卷积来对通道进行合理处理的话，像下面这样。

运算量会变得只有大概一千二百万左右，一下子就缩小了十倍。

有了上面的知识以后，一切就简单多了。Inception网络的核心概念是，既然在选择CNN架构的时候要为了过滤器的窗口大小考虑半天，那么 何不把各个尺寸都用上去，最后再把结果接起来就好了呢 。

于是就有了下面这样的 Inception模块 。有用1x1、3x3、5x5各个尺寸的卷积，而且还用到之前讲到的利用1x1卷积减少运算量的技巧。

最后至于整个Inception网络，就像之前残差网络一样，把 Inception模块 堆叠起来就好了。

当然论文中还有一些次要细节，这里就不多说了。

而且自最初的论文之后，Inception网络也有很多改进，加入了很多技巧，比如之前的残差网络中的技巧。所以现在网上的Inception网络，后面会有V1、V2、V3之类后缀，表示的就是各个版本。

最后，作为余谈，说说为什么Inception网络要叫做 Inception 网络。

因为在这篇正经的学术论文里面，作者引用了一个链接，点开后会出现这张图片。

❺ iPad无线WiFi信号不好怎么办

1、点击设置图标。

❻ ResNet网络

ResNet (Resial Neural Network，残差网络)由微软研究院何凯明等人提出的，通过在深度神经网络中加入残差单元（Resial Unit）使得训练深度比以前更加高效。ResNet在2015年的ILSVRC比赛中夺得冠军，ResNet的结构可以极快的加速超深神经网络的训练，模型准确率也有非常大的提升。

在ResNet之前，瑞士教授Schimidhuber提出了Highway Network，其原理与ResNet非常相似。通常认为神经网络的深度对其性能非常重要，但是网络越深训练越困难，Highway Network的目标就是解决极深的神经网络难以训练的问题。

Highway Network相当于修改了每一层激活函数，此前激活函数只是对输入做一次非线性变换y=H(x, Wh), 而Highway Network则允许保留一部分比例的原始输入x，即y=H(x, Wh)* T(x , Wt)+x*C(x, Wc)，其中T为变换系数，C为保留系数，论文中令C=1-T。这样前面一层的信息，有一定比例可以不经过矩阵乘法和非线性变换，直接传输到下一层，仿佛一条信息高速公路，因此得名Highway Network。

结果显示，B比A略好，这是因为A中的零填充确实没有残差学习。而C比B稍好，这是由于投影快捷连接引入了额外参数。但A、B、C之间的细微差异表明投影连接对于解决退化问题不是至关重要的，而不/少使用投影连接可以减少内存/时间复杂性和模型大小。而且无参数恒等快捷连接对于瓶颈架构（3层残差学习单元）尤为重要，因为瓶颈架构中层具有较小的输入输出，快捷连接是连接到两个高维端，此时恒等快捷连接无需参数，而使用投影的话则会显示时间和模型复杂度加倍。因此，恒等快捷连接可以为瓶颈设计得到更有效的模型。

最后，作者尝试了更深的1000层以上的神经网络，发现神经网络仍然能够较好的学习，但是其测试误差比100多层的残差网络要差，而训练误差则与100多层的残差网络相似，作者认为这可能是由于过拟合导致的，可通过加大正则化来解决这一问题。

在ResNet V1中，作者研究通过加入残差单元使得训练深度达到上百层的神经网络成为可能，解决了梯度消失/爆炸的问题。而在ResNet V2中作者进一步证明了恒等映射（Identity mapping）的重要性。同时作者还提出了一种新的残差单元（采用了预激活）使得训练变得更简单，同时还提高了模型的泛化能力。

在ResNet V2中，作者提出了不止在残差单元内部，而是在整个神经网络中都创建了‘直接’的计算传播路径。在ResNet V1中，残差学习单元的

上式同样表明了在一个mini-batch中不可能出现梯度消失的现象，因为上式求导的第二部分对于一个mini-batch来说，不可能所有样本其导数都为-1，因此，可能会出现权重很小的情况，但是不会出现梯度消失的情况。

通过研究这些不同的快捷连接，作者发现大部分快捷连接方式无法很好地收敛，其中很大部分是由于使用这些快捷连接后或多或少会出现梯度消失或者梯度爆炸的现象，最后结果显示恒等映射效果最好。

虽然恒等映射在这些方法中表写结果最好，仍需引起注意的是1×1的卷积捷径连接引入了更多的参数，本应该比恒等捷径连接具有更加强大的表达能力。事实上，shortcut-only gating 和1×1的卷积涵盖了恒等捷径连接的解空间(即，他们能够以恒等捷径连接的形式进行优化)。然而，它们的训练误差比恒等捷径连接的训练误差要高得多，这表明了这些模型退化问题的原因是优化问题，而不是表达能力的问题。

在上图b中，采用先加后BN再激活的方法，此时f(x)就包含了BN和ReLU。这样的结果比原始a要差。这主要是因为BN层改变了流经快捷连接的信号，阻碍了信息的传递。

在c中，ReLU在相加之前，此时f(x)=x，为恒等映射。此时残差单元中的F(x)输出经由ReLU后变为非负，然而一个“残差”函数的输出应该是(−∞,+∞) 的。造成的结果就是，前向传递的信号是单调递增的。这会影响表达能力，结果也变得更差了。

结果显示，只使用ReLU预激活（d）的结果与原始ResNet结果很接近，这个与ReLU层不与BN层连接使用，因此无法获得BN所带来的好处。而当BN和ReLU都使用在预激活上时（e），结果得到了可观的提升。

预激活的影响有两个方面：第一，由于f(x)也是恒等映射，相比于V1优化变得更加简单；第二，在预激活中使用BN能提高模型的正则化。

对于f(x)为恒等映射的好处：一方面若使用f= ReLU，如果信号是负的时候会造成一定的影响，无法传递有用的负信号，而当残差单元很多时，这个影响将会变得尤为突出；另一方面当f是一个恒等映射时，信号在两个单元间能够很直接的传递。

在ResNet V1中作者提出了残差学习单元，并从理论和实验上证明使用直连的shortcuts有助于解决深度达到上百层的神经网络的训练问题。而在ResNet V2中作者证明了在shortcuts中使用直接映射（即H(x) = h(x) + F(x)中h(x) = x）得到的效果最好。在ResNext中作者将bottleneck拆分成多个分支，提出了神经网络中的第三个维度（另外两个维度分别为depth，神经网络层数深度，width，宽度，channel数），命名为 Cardinality ，并在多个数据集中证明了将bottleneck拆分能够降低训练错误率和提高准确率。

ResNext的灵感来源于VGG/ResNet和Inception：（1）在VGG、ResNet中，作者使用了相同结构的卷积层进行了堆叠，构建了层数很深但是结构简单的神经网络；（2）而在Inception中，提出了一种叫做 split-transform-merge 的策略，将输入（采用1x1 卷积核）分裂为几个低维 embedding，再经过一系列特定卷积层的变换，最后连接在一起。

而在ResNet中，作者将原ResNet bottleneck中的一条path拆分为多个分支（multi branch），以此分支数量提出神经网络中的第三个重要维度——Cardinality。这一想法结合了VGG中的相同结构堆叠和Inception中的split-transform-merge策略，即如上图所示，每个bottleneck 拆分为多个分支进行堆叠，这些分支的结构相同（这里借鉴了VGG的思想），而具体到分支的结构时又采用了Inception的split-transform-merge策略。与Inception不同的是Inception的每个分支结构都是需要认为的设计，而在ResNext中每个分支结构都相同。最终每个bottleneck的输出就变成了：

这些所有的bottlenecks结构都遵循两个原则：

作者提出了 三种效果相同的ResNext的表示方法，如下图所示：

其中a,b 结构相似，只是在merge这一步的地方不同，而c则借鉴了AlexNet中分组卷积的思想，将输入和输出都分为多个组。

作者首先评估权衡了cardinality和width的关系。

接着，作者又评估了使用增加cardinality和depth/width来增加模型复杂度后的效果：

最后，作者还研究了shortcuts对于ResNext的重要性，在ResNet-50中，不使用shortcuts准确率下降了7%，而在ResNext-50中准确率也下降了4%，说明shortcuts对于残差网络来说确实是非常重要的。

简言之，增加cardinality比增加depth和width效果要好，同时，shortcuts对于模型的准确率也是至关重要的。

参考：
Deep Resial Learning for Image Recognition.
Aggregated Resial Transformations for Deep Neural Networks.
Identity Mappings in Deep Resial Networks.
ResNet论文翻译——中文版
Identity Mappings in Deep Resial Networks（译）
TensorFlow实现经典卷积网络. 黄文坚，唐源

❼ 残差网络

残差网络（Resial Network简称ResNet）是在2015年继Alexnet Googlenet VGG三个经典的CNN网络之后提出的，并在ImageNet比赛classification任务上拔得头筹，ResNet因其简单又实用的优点，现已在检测，分割，识别等领域被广泛的应用。
ResNet可以说是过去几年中计算机视觉和深度学习领域最具开创性的工作,有效的解决了随着网络的加深，出现了训练集准确率下降的问题，如下图所示：

做过深度学习的同学应该都知道，随着网络层数的增加而导致训练效果变差的一个原因是梯度弥散和梯度爆炸问题(vanishing/exploding gradients)，这个问题抑制了浅层网络参数的收敛。但是这个问题已经通过一些参数初始化的技术较好的解决了，有兴趣的同学可以看参考文献中的以下几篇文章：[2][3][4][5][6]。
但是即便如此，在网络深度较高的时候(例如图中的56层网络)任然会出现效果变差的问题，我们在先前的Alexnet Googlenet VGG三个模型中可以看出，网络的深度在图片的识别中有着至关重要的作用，深度越深能自动学习到的不同层次的特征可能就越多，那到底是什么原因导致了效果变差呢？

Fig. 3
左侧19层的VGG模型的计算量是 19.6 billion FLOPs 中间是34层的普通卷积网络计算量是3.6 billion FLOPs。
右边是34层的ResNet计算量是3.6billion FLOPs，图中实线的箭头是没有维度变化的直接映射，虚线是有维度变化的映射。通过对比可以看出VGG虽然层数不多但是计算量还是很大的，后面我们可以通过实验数据看到34层的ResNet的表现会比19层的更好。

从图中可以看出在效果上，34层的残差网络比VGG和GoogleNet都要好，A，B，C三种方案中C方案效果最好，但是B，C方案在计算量上比A方案要大很多，而效果提升的又很少，所以论文作者建议还是使用A方案较为实用。
下面我们介绍层数在50及以上的残差网络的结构: Deeper Bottleneck Architectures。这种结构是作者为了降低训练时间所设计的，结构对比如下图所示：

ResNet通过残差学习解决了深度网络的退化问题，让我们可以训练出更深的网络，这称得上是深度网络的一个历史大突破吧。也许不久会有更好的方式来训练更深的网络，让我们一起期待吧！
目前，您可以在 人工智能建模平台 Mo 找到基于tensorflow 的34层的残差网络（ResNet）实现样例，数据集是CIFAR-10 （CIFAR的十分类数据集），这个样例在测试集上的精度为90%，验证集上的精度为98%。主程序在ResNet_Operator.py中,网络的Block结构在ResNet_Block.py中，训练完的模型保存在results文件夹中。
项目源码地址： http://momodel.cn/explore/5d1b0a031afd944132a0797d?type=app
参考文献：
[1] _K. He, X. Zhang, S. Ren, and J. Sun. Deep resial learning for image recognition. arXiv preprint arXiv:1512.03385,2015.
[2] Y. LeCun, L. Bottou, G. B. Orr, and K.-R.M¨uller. Efficient backprop.In Neural Networks: Tricks of the Trade, pages 9–50. Springer, 1998.
[3] X. Glorot and Y. Bengio. Understanding the difficulty of training deep feedforward neural networks. In AISTATS, 2010.
[4] A. M. Saxe, J. L. McClelland, and S. Ganguli. Exact solutions to the nonlinear dynamics of learning in deep linear neural networks.arXiv:1312.6120, 2013.
[5] K. He, X. Zhang, S. Ren, and J. Sun. Delving deep into rectifiers:Surpassing human-level performance on imagenet classification. In ICCV, 2015.
[6] S. Ioffe and C. Szegedy. Batch normalization: Accelerating deep network training by recing internal covariate shift. In ICML, 2015.

Mo （网址： momodel.cn ）是一个支持 Python 的 人工智能在线建模平台 ，能帮助你快速开发、训练并部署模型。

Mo 人工智能俱乐部 是由网站的研发与产品设计团队发起、致力于降低人工智能开发与使用门槛的俱乐部。团队具备大数据处理分析、可视化与数据建模经验，已承担多领域智能项目，具备从底层到前端的全线设计开发能力。主要研究方向为大数据管理分析与人工智能技术，并以此来促进数据驱动的科学研究。

❽ 一个残差网络的简介【MATLAB】

对于许多应用来说，使用由一个简单的层序列组成的网络就已足够。但是，某些应用要求网络具有更复杂的层次图结构，其中的层可接收来自多个层的输入，也可以输出到多个层。这些类型的网络通常称为有向无环图 (DAG) 网络。残差网络就是一种 DAG 网络，其中的残差（或快捷）连接会绕过主网络层。残差连接让参数梯度可以更轻松地从输出层传播到较浅的网络层，从而能够训练更深的网络。增加网络深度可在执行更困难的任务时获得更高的准确度。

主分支 - 顺序连接的卷积层、批量归一化层和 ReLU 层。

残差连接 - 绕过主分支的卷积单元。残差连接和卷积单元的输出按元素相加。当激活区域的大小变化时，残差连接也必须包含 1×1 卷积层。残差连接让参数梯度可以更轻松地从输出层流到较浅的网络层，从而能够训练更深的网络。

首先创建网络的主分支。主分支包含五部分。

初始部分 - 包含图像输入层和带激活函数的初始卷积层。

三个卷积层阶段 - 分别具有不同的特征大小（32×32、16×16 和 8×8）。每个阶段包含 N 个卷积单元。在示例的这一部分中，N = 2。每个卷积单元包含两个带激活函数的 3×3 卷积层。netWidth 参数是网络宽度，定义为网络第一卷积层阶段中的过滤器数目。第二阶段和第三阶段中的前几个卷积单元会将空间维度下采样二分之一。为了使整个网络中每个卷积层所需的计算量大致相同，每次执行空间下采样时，都将过滤器的数量增加一倍。

最后部分 - 包含全局平均池化层、全连接层、softmax 层和分类层。

使用 convolutionalUnit(numF,stride,tag) 创建一个卷积单元。numF 是每一层中卷积过滤器的数量，stride 是该单元第一个卷积层的步幅，tag 是添加在层名称前面的字符数组。convolutionalUnit 函数在示例末尾定义。

为所有层指定唯一名称。卷积单元中的层的名称以 'SjUk' 开头，其中 j 是阶段索引，k 是该阶段内卷积单元的索引。例如，'S2U1' 表示第 2 阶段第 1 单元。

❾ 吴恩达 卷积神经网络 CNN

应用计算机视觉时要面临的一个挑战是数据的输入可能会非常大。例如一张 1000x1000x3 的图片，神经网络输入层的维度将高达三百万，使得网络权重 W 非常庞大。这样会造成两个后果：

神经网络结构复杂，数据量相对较少，容易出现过拟合；
所需内存和计算量巨大。
因此，一般的神经网络很难处理蕴含着大量数据的图像。解决这一问题的方法就是使用卷积神经网络

我们之前提到过，神经网络由浅层到深层，分别可以检测出图片的边缘特征、局部特征（例如眼睛、鼻子等），到最后面的一层就可以根据前面检测的特征来识别整体面部轮廓。这些工作都是依托卷积神经网络来实现的。

卷积运算（Convolutional Operation）是卷积神经网络最基本的组成部分。我们以边缘检测为例，来解释卷积是怎样运算的。

图片最常做的边缘检测有两类：垂直边缘（Vertical Edges）检测和水平边缘（Horizontal Edges）检测。

比如检测一张6x6像素的灰度图片的vertical edge，设计一个3x3的矩阵（称之为filter或kernel），让原始图片和filter矩阵做卷积运算（convolution），得到一个4x4的图片。 具体的做法是，将filter矩阵贴到原始矩阵上（从左到右从上到下），依次可以贴出4x4种情况。 让原始矩阵与filter重合的部分做element wise的乘积运算再求和 ，所得的值作为4x4矩阵对应元素的值。如下图是第一个元素的计算方法，以此类推。

可以看到，卷积运算的求解过程是从左到右，由上到下，每次在原始图片矩阵中取与滤波器同等大小的一部分，每一部分中的值与滤波器中的值对应相乘后求和，将结果组成一个矩阵。

下图对应一个垂直边缘检测的例子：

如果将最右边的矩阵当作图像，那么中间一段亮一些的区域对应最左边的图像中间的垂直边缘。

下图3x3滤波器，通常称为垂直 索伯滤波器 （Sobel filter）：

看看用它来处理知名的Lena照片会得到什么：

现在可以解释卷积操作的用处了：用输出图像中更亮的像素表示原始图像中存在的边缘。

你能看出为什么边缘检测图像可能比原始图像更有用吗？

回想一下MNIST手写数字分类问题。在MNIST上训练的CNN可以找到某个特定的数字。比如发现数字1，可以通过使用边缘检测发现图像上两个突出的垂直边缘。

通常，卷积有助于我们找到特定的局部图像特征（如边缘），用在后面的网络中。

假设输入图片的大小为 n×n，而滤波器的大小为 f×f，则卷积后的输出图片大小为 (n−f+1)×(n−f+1)。

这样就有两个问题：

为了解决这些问题，可以在进行卷积操作前，对原始图片在边界上进行填充（Padding），以增加矩阵的大小。通常将 0 作为填充值。

设每个方向扩展像素点数量为 p，则填充后原始图片的大小为 (n+2p)×(n+2p)，滤波器大小保持 f×f不变，则输出图片大小为 (n+2p−f+1)×(n+2p−f+1)。

因此，在进行卷积运算时，我们有两种选择：

在计算机视觉领域，f通常为奇数。原因包括 Same 卷积中 p=（f−1）/ 2 能得到自然数结果，并且滤波器有一个便于表示其所在位置的中心点。

卷积过程中，有时需要通过填充来避免信息损失，有时也需要通过设置 步长（Stride） 来压缩一部分信息。

步长表示滤波器在原始图片的水平方向和垂直方向上每次移动的距离。之前，步长被默认为 1。而如果我们设置步长为 2，则卷积过程如下图所示：

设步长为 s，填充长度为p, 输入图片大小为n x n, 滤波器大小为f x f, 则卷积后图片的尺寸为：

注意公式中有一个向下取整的符号，用于处理商不为整数的情况。向下取整反映着当取原始矩阵的图示蓝框完全包括在图像内部时，才对它进行运算。

如果我们想要对三通道的 RGB 图片进行卷积运算，那么其对应的滤波器组也同样是三通道的。过程是将每个单通道（R，G，B）与对应的滤波器进行卷积运算求和，然后再将三个通道的和相加，将 27 个乘积的和作为输出图片的一个像素值。

如果想同时检测垂直和水平边缘，或者更多的边缘检测，可以增加更多的滤波器组。例如设置第一个滤波器组实现垂直边缘检测，第二个滤波器组实现水平边缘检测。设输入图片的尺寸为 n×n×nc（nc为通道数），滤波器尺寸为 f×f×nc，则卷积后的输出图片尺寸为 (n−f+1)×(n−f+1)×n′c，n′c为滤波器组的个数。

与之前的卷积过程相比较，卷积神经网络的单层结构多了激活函数和偏移量；而与标准神经网络相比，滤波器的数值对应着权重 W[l]，卷积运算对应着 W[l]与 A[l−1]的乘积运算，所选的激活函数变为 ReLU。

对于一个 3x3x3 的滤波器，包括偏移量 b（27+1）在内共有 28 个参数。不论输入的图片有多大，用这一个滤波器来提取特征时，参数始终都是 28 个，固定不变。即选定滤波器组后，参数的数目与输入图片的尺寸无关。因此，卷积神经网络的参数相较于标准神经网络来说要少得多。这是 CNN 的优点之一。

图像中的相邻像素倾向于具有相似的值，因此通常卷积层相邻的输出像素也具有相似的值。这意味着，卷积层输出中包含的大部分信息都是冗余的。如果我们使用边缘检测滤波器并在某个位置找到强边缘，那么我们也可能会在距离这个像素1个偏移的位置找到相对较强的边缘。但是它们都一样是边缘，我们并没有找到任何新东西。池化层解决了这个问题。这个网络层所做的就是通过减小输入的大小降低输出值的数量。池化一般通过简单的最大值、最小值或平均值操作完成。以下是池大小为2的最大池层的示例:

在计算神经网络的层数时，通常只统计具有权重和参数的层，因此池化层通常和之前的卷积层共同计为一层。

图中的 FC3 和 FC4 为全连接层，与标准的神经网络结构一致。

个人推荐 一个直观感受卷积神经网络的网站 。

相比标准神经网络，对于大量的输入数据，卷积过程有效地减少了 CNN 的参数数量，原因有以下两点：

-参数共享（Parameter sharing）：特征检测如果适用于图片的某个区域，那么它也可能适用于图片的其他区域。即在卷积过程中，不管输入有多大，一个特征探测器（滤波器）就能对整个输入的某一特征进行探测。

-稀疏连接（Sparsity of connections）：在每一层中，由于滤波器的尺寸限制，输入和输出之间的连接是稀疏的，每个输出值只取决于输入在局部的一小部分值。

池化过程则在卷积后很好地聚合了特征，通过降维来减少运算量。

由于 CNN 参数数量较小，所需的训练样本就相对较少，因此在一定程度上不容易发生过拟合现象。并且 CNN 比较擅长捕捉区域位置偏移。即进行物体检测时，不太受物体在图片中位置的影响，增加检测的准确性和系统的健壮性。

在神经网络可以收敛的前提下，随着网络深度增加，网络的表现先是逐渐增加至饱和，然后迅速下降

需要注意，网络退化问题不是过拟合导致的，即便在模型训练过程中，同样的训练轮次下，退化的网络也比稍浅层的网络的训练错误更高，如下图所示。

这一点并不符合常理：如果存在某个 K层网络是当前F的最优的网络，我们构造更深的网络。那么K之后的层数可以拟合成恒等映射，就可以取得和F一直的结果。如果K不是最佳层数，那么我们比K深，可以训练出的一定会不差于K的。总而言之，与浅层网络相比，更深的网络的表现不应该更差。因此，一个合理的猜测就是， 对神经网络来说，恒等映射并不容易拟合。

也许我们可以对网络单元进行一定的改造，来改善退化问题？这也就引出了残差网络的基本思路

既然神经网络不容易拟合一个恒等映射，那么一种思路就是构造天然的恒等映射。

实验表明，残差网络 很好地解决了深度神经网络的退化问题 ，并在ImageNet和CIFAR-10等图像任务上取得了非常好的结果，同等层数的前提下残差网络也 收敛得更快 。这使得前馈神经网络可以采用更深的设计。除此之外， 去除个别神经网络层，残差网络的表现不会受到显着影响 ，这与传统的前馈神经网络大相径庭。

2018年的一篇论文，The Shattered Gradients Problem: If resnets are the answer, then what is the question，指出了一个新的观点，尽管残差网络提出是为了解决梯度弥散和网络退化的问题， 它解决的实际上是梯度破碎问题

作者通过可视化的小型实验(构建和训练一个神经网络发现，在浅层神经网络中，梯度呈现为棕色噪声(brown noise)，深层神经网络的梯度呈现为白噪声。在标准前馈神经网络中，随着深度增加， 神经元梯度的相关性(corelation)按指数级减少 (1 / 2^L) ；同时， 梯度的空间结构也随着深度增加被逐渐消除 。这也就是梯度破碎现象。

梯度破碎为什么是一个问题呢？这是因为许多优化方法假设梯度在相邻点上是相似的，破碎的梯度会大大减小这类优化方法的有效性。另外，如果梯度表现得像白噪声，那么某个神经元对网络输出的影响将会很不稳定。

相较标准前馈网络， 残差网络中梯度相关性减少的速度从指数级下降到亚线性级 ) (1 / sqrt(L)) ，深度残差网络中，神经元梯度介于棕色噪声与白噪声之间(参见上图中的c,d,e)；残差连接可以 极大地保留梯度的空间结构 。残差结构缓解了梯度破碎问题。

1x1 卷积指滤波器的尺寸为 1。当通道数为 1 时，1x1 卷积意味着卷积操作等同于乘积操作。
而当通道数更多时，1x1 卷积的作用实际上类似全连接层的神经网络结构，从而降低（或升高，取决于滤波器组数）数据的维度。

池化能压缩数据的高度（nH）及宽度（nW），而 1×1 卷积能压缩数据的通道数（nC）。在如下图所示的例子中，用 filters个大小为 1×1×32 的滤波器进行卷积，就能使原先数据包含的 32个通道压缩为 filters 个。

在这之前，网络大都是这样子的：

也就是卷积层和池化层的顺序连接。这样的话，要想提高精度，增加网络深度和宽度是一个有效途径，但也面临着参数量过多、过拟合等问题。（当然，改改超参数也可以提高性能）

有没有可能在同一层就可以提取不同（稀疏或不稀疏）的特征呢(使用不同尺寸的卷积核)？于是，2014年，在其他人都还在一味的增加网络深度时(比如vgg)，GoogleNet就率先提出了卷积核的并行合并（也称Bottleneck Layer），如下图。

和卷积层、池化层顺序连接的结构（如VGG网络）相比，这样的结构主要有以下改进：

按照这样的结构来增加网络的深度，虽然可以提升性能，但是还面临计算量大（参数多）的问题。为改善这种现象，GooLeNet借鉴Network-in-Network的思想，使用1x1的卷积核实现降维操作(也间接增加了网络的深度)，以此来减小网络的参数量(这里就不对两种结构的参数量进行定量比较了)，如图所示。

最后实现的inception v1网络是上图结构的顺序连接

由于卷积这门课的其他内容和计算机视觉关系比较密切。对我理解推荐系统帮助不大。所以这个系列就到这里。吴恩达的课还是很好的，作业和课和测验我都认真做啦。

❿ AI面试题第二弹(神经网络基础)

提取主要特征，减小网络参数量，减小计算量

层层传递的梯度>1 梯度爆炸

层层传递的梯度<1 梯度消失

与权重有很大关系，激活函数的影响较小。

每次训练一层隐节点，训练时将上一层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入，此过程就是逐层“预训练”（pre-training）；在预训练完成后，再对整个网络进行“微调”（fine-tunning）。Hinton在训练深度信念网络（Deep Belief Networks中，使用了这个方法，在各层预训练完成后，再利用BP算法对整个网络进行训练。

这个方案主要是针对梯度爆炸提出的，其思想是设置一个梯度剪切阈值，然后更新梯度的时候，如果梯度超过这个阈值，那么就将其强制限制在这个范围之内。这可以防止梯度爆炸。

比较常见的是l1l1l1正则，和l2l2l2正则，在各个深度框架中都有相应的API可以使用正则化

反向传播中，经过每一层的梯度会乘以该层的权重。

举个简单例子：

为了得到一致假设而使假设变得过度复杂称为过拟合(overfitting)， 过拟合表现在训练好的模型在训练集上效果很好，但是在测试集上效果差 。也就是说模型的泛化能力弱。

过拟合主要由两个原因造成，数据集太小或模型太复杂

（1）. 数据集扩增（Data Augmentation）

（2）. 改进模型

·Early Stopping。在模型效果比较好的时候便提前停止训练

 ·正则化（regularization）

L1：稀疏参数

L2：更小参数

·Dropout

·多任务学习

深度学习中两种多任务学习模式：隐层参数的硬共享和软共享

硬共享机制是指在所有任务中共享隐藏层，同时保留几个特定任务的输出层来实现。硬共享机制降低了过拟合的风险。多个任务同时学习，模型就越能捕捉到多个任务的同一表示，从而导致模型在原始任务上的过拟合风险越小。

软共享机制是指每个任务有自己的模型，自己的参数。模型参数之间的距离是正则化的，以便保障参数相似性。

见后文

leaky relu

输入是x输出是y，正常的流程是：我们首先把x通过网络前向传播，然后把误差反向传播以决定如何更新参数让网络进行学习。使用Dropout之后，过程变成如下：

（1）首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变（图中虚线为部分临时被删除的神经元）

（2） 然后把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数（w，b）。

（3）然后继续重复这一过程：

恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）

从隐藏层神经元中随机选择一个一半大小的子集临时删除掉（备份被删除神经元的参数）。

对一小批训练样本，先前向传播然后反向传播损失并根据随机梯度下降法更新参数（w，b） （没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果）。

不断重复这一过程。

没有对数据进行归一化

忘记检查输入和输出

没有对数据进行预处理

没有对数据正则化

使用过大的样本

使用不正确的学习率

在输出层使用错误的激活函数

网络中包含坏梯度

初始化权重错误

过深的网络

隐藏单元数量错误

网络设计不合理(任务-网络不匹配)

机器学习有个很重要的假设：就是假设训练数据和测试数据是满足独立同分布的，这保障了通过训练数据获得的优秀模型也能够在测试集获得好的效果。但是在机器学习训练中输入层的每个批量(X,Y)中X的分布是不一致的，并且神经网络的隐藏层的输入分布在每次训练迭代中发生变化。 BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。

BN的基本思想其实相当直观：因为深层神经网络在做非线性变换前(激活前)的 输入值 （就是那个x=WU+B，U是输入） 随着网络深度加深或者在训练过程中，其分布逐渐发生偏移或者变动，之所以训练收敛慢，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近 （对于Sigmoid函数来说，意味着激活输入值WU+B是大的负值或正值），所以这 导致反向传播时低层神经网络的梯度消失 ，这是训练深层神经网络收敛越来越慢的 本质原因 ， 而BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布 ，其实就是把越来越偏的分布强制拉回比较标准的分布，这样使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小变化就会导致损失函数较大的变化，意思是 这样让梯度变大，避免梯度消失问题产生，而且梯度变大意味着学习收敛速度快，能大大加快训练速度。

但是接下来的问题是：如果都通过BN，那么不就跟把非线性函数替换成线性函数效果相同了，意味着网络的非线性表达能力下降了， 所以BN为了保证非线性的获得，对变换后的满足均值为0方差为1的x又进行了scale加上shift操作(y=scale*x+shift)， 每个神经元增加了两个参数scale和shift参数，这两个参数是通过训练学习到的，意思是通过scale和shift把这个值从标准正态分布左移或者右移一点并长胖一点或者变瘦一点，每个实例挪动的程度不一样，这样等价于激活前的值经过标准正太分布归一化后再从正中心周围的线性区往非线性区动了动。核心思想应该是想找到一个线性和非线性的较好平衡点，既能享受非线性的较强表达能力的好处，又避免太靠非线性区两头使得网络收敛速度太慢

Batch Normalization 好处：（1）提高了训练速度，收敛速度也大大加快（2）另外调参过程也简单多了，对于初始化要求没那么高，而且可以使用大的学习率等 (3)可以防止梯度消失（4）BN类似于Dropout的一种防止过拟合的正则化表达方式，可以有效防止过拟合，不用太依赖dropou和正则化

以下情况最好不要使用BN：（1）数据不平衡（2）batch_size太小

batch_size是机器学习中的一个重要参数，决定了梯度下降的方向，如果数据集比较小，完全可以采用全数据集的形式计算梯度，由全数据集确定的梯度方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。对于大型数据集则需要使用mini-batch_size，因为随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。

当batch_size=1,即在线学习，模型难以达到收敛 。

合理增加batch_size好处 ：

（1）内存利用率提高了，大矩阵乘法的并行化效率提高

（2）跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。

（3）在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小

盲目增大 Batch_Size 坏处 ：

（1）内存利用率提高了，但是内存容量可能撑不住了

（2）跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同精度所需要的 epoch 数量越来越多，花费的时间越长

（3）大的batchsize收敛到sharp minimum，而小的batchsize收敛到flat minimum，后者具有更好的泛化能力。

总之batchsize在变得很大(超过一个临界点)时，会降低模型的泛化能力。在这个临界点之下，模型的性能变换随batch size通常没有学习率敏感

    目标所在的真实框(ground truth) 与算法预测的目标所在的框(bounding box)的交集与并集的比值，我们会用IOU阈值来判定预测的bounding box是否有效。一般阈值会设定在0.5，当IOU的值大于等于0.5时，我们会把这个预测的bounding box 归为正类，而小于0.5的归为负类。

牛顿法使用的是目标函数的二阶导数，在高维情况下这个Hessian（n*n维度）矩阵非常大，计算复杂度是n*n，计算和存储都是问题

（1） 通过控制卷积核个数实现升维或者降维，从而减少模型参数和计算量

（2） 用于不同channel上特征的融合

（3）1x1的卷积相当于全连接层的计算过程，并且加入了非线性激活函数，从而增加了网络的非线性，使得网络可以表达更加复杂的特征。

它能够把输入的连续实值变换为0和1之间的输出，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1

缺点：

（1）函数的饱和区，导致梯度几乎为0，造成梯度消失问题

（2）Sigmoid 的 output 不是0均值，具体解释见 https://blog.csdn.net/tyhj_sf/article/details/79932893

（3）其解析式中含有幂运算，计算机求解时相对来讲比较耗时。对于规模比较大的深度网络，这会较大地增加训练时间。

它解决了Sigmoid函数的不是零均值输出问题，然而，梯度消失（gradient vanishing）的问题和幂运算的问题仍然存在。

(1)在正区间解决了梯度消失的问题

(2）函数简单，计算速度快，收敛速度远快于sigmoid和tanh

缺点：

（1）Relu函数输出不是0均值

（2）神经元坏死问题：指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新，有两个主要原因导致这种状况发生

        (1) 非常不幸的参数初始化，这种情况比较少见 

        (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法

为了解决ReLU函数带来的神经元坏死问题 ， 提出了将ReLU的前半段设为αx，α通常设为0.01，，另外一种直观的想法是基于参数的方法PReLU函数， α可由方向传播算法学习出来。

ELU也是为解决ReLU存在的问题而提出，显然，ELU有ReLU的基本所有优点，以及：（1）不会有神经元坏死现象（2）函数输出均值接近于0

但是ELU的小问题就是计算量稍微有点大。

1、使用不同的激活函数，比如Relu，Leak-Relu，PRelu，elu等激活函数代替sigmoid函数

2、使用Batch Normalizaion(批量归一化)

3、使用残差网络

4、预训练加微调

1、梯度裁剪

2、权重正则化

两个3x3的卷积核的感受野比5x5的卷积核的感受野大，在保持相同感受野的同时，用3x3的卷积核可以提升网络的深度，可以很明显的减少计算量。

1、局部连接

2、权值共享：减小参数量

3、池化操作：增大感受野

4、多层次结构：可以提取low-level以及high-level的信息

1、数据集太小，数据样本不足时，深度学习相对其它机器学习算法，没有明显优势。

2、数据集没有局部相关特性，目前深度学习表现比较好的领域主要是图像／语音／自然语言处理等领域，这些领域的一个共性是局部相关性。图像中像素组成物体，语音信号中音位组合成单词，文本数据中单词组合成句子，这些特征元素的组合一旦被打乱，表示的含义同时也被改变。对于没有这样的局部相关性的数据集，不适于使用深度学习算法进行处理。举个例子：预测一个人的健康状况，相关的参数会有年龄、职业、收入、家庭状况等各种元素，将这些元素打乱，并不会影响相关的结果。

作用 ：对输入的特征图进行压缩，

一方面使特征图变小，简化网络计算复杂度；

一方面进行特征压缩，提取主要特征。

通常来讲，max-pooling的效果更好，虽然max-pooling和average-pooling都对数据做了下采样，但是 max-pooling感觉更像是做了特征选择，选出了分类辨识度更好的特征，提供了非线性 。 pooling的主要作用一方面是去掉冗余信息，一方面要保留feature map的特征信息，在分类问题中，我们需要知道的是这张图像有什么object，而不大关心这个object位置在哪，在这种情况下显然max pooling比average pooling更合适。在 网络比较深的地方，特征已经稀疏了，从一块区域里选出最大的，比起这片区域的平均值来，更能把稀疏的特征传递下去 。

average-pooling更强调对整体特征信息进行一层下采样，在减少参数维度的贡献上更大一点，更多的体现在 信息的完整传递这个维度 上，在一个很大很有代表性的模型中，比如说DenseNet中的模块之间的连接大多采用average-pooling，在减少维度的同时，更有利信息传递到下一个模块进行特征提取。

average-pooling在 全局平均池化操作 中应用也比较广，在ResNet和Inception结构中最后一层都使用了平均池化。有的时候在模型接近 分类器的末端使用全局平均池化还可以代替Flatten操作 ，使输入数据变成一位向量。

CNN网络中另外一个不可导的环节就是Pooling池化操作，因为Pooling操作使得feature map的尺寸变化，假如做2×2的池化（步长也为2），假设那么第l+1层的feature map有16个梯度，那么第l层就会有64个梯度，这使得梯度无法对位的进行传播下去。其实解决这个问题的思想也很简单，就是把1个像素的梯度传递给4个像素，但是需要保证传递的loss（或者梯度）总和不变。根据这条原则，mean pooling和max pooling的反向传播也是不同的

mean pooling的前向传播就是把一个patch中的值求取平均来做pooling，那么反向传播的过程也就是把 某个元素的梯度等分为n份分配给前一层，这样就保证池化前后的梯度（残差）之和保持不变 ，图示如下 ：

（2） max pooling

max pooling也要满足梯度之和不变的原则 ，max pooling的前向传播是把patch中最大的值传递给后一层，而其他像素的值直接被舍弃掉。那么 反向传播也就是把梯度直接传给前一层某一个像素，而其他像素不接受梯度，也就是为0。 所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大，也就是max id，这个变量就是记录最大值所在位置的，因为在反向传播中要用到，那么假设前向传播和反向传播的过程就如下图所示 ：

28、细粒度分类

29、LSTM&RNN

30、解释LSTM结构（相对于RNN）的好处

31、RNN的梯度消失原因和解决办法

32、Object Detection

33、Unet的介绍

34、FCN和Unet的区别

35、RCNN系列的算法流程和区别

36、Fast RCNN中 bbox 回归的损失函数什么

37、解释 ROI Pooling 和 ROI Align

38、Mask RCNN中 mask branch 如何接入 Faster RCNN中

39、解释 FPN

40、解释 ROI Align

41、简述 YOLO 和 SSD

42、简述 Hough 直线检测、Sobel 边缘检测算法流程

43、Mask RCNN中的anchors如何判定为正负样本

44、简述 NMS 算法流程

45、attention起源是用在哪里？pixel还是frame，是soft还是hard

46、anchor的正负样本比是多少

47、算法和激活函数等

48、BN的原理和作用

49、BN层反向传播，怎么求导

50、BN 的作用和缺陷，以及针对batch_size小的情况的改进（GN）

51、BN层，先加BN还是激活，有什么区别

52、手推BP

53、优化算法举例和他们的区别（SGD、SGDM、RMSprop、Adam）

54、随机梯度下降和梯度下降

55、训练不收敛的原因有哪些

56、简述 SVM 流程、核函数寻参及常见的核函数举例

57、batch_size 和 learning rate 的关系（怎么平衡和调整二者）

58、解释过拟合和欠拟合，以及解决方法

59、激活函数有哪些，各自区别

60、损失函数有哪些

61、Sigmoid 和 ReLu 对比（各自优缺点）

62、为什么不用sigmoid而用relu？做出了哪些改进？

63、梯度消失和梯度爆炸的原因和解决方法

64、Precision 和 Recall 的定义

65、精确率高、召回率低是为什么

66、SVM，线性回归和逻辑回归的原理及区别

67、PCA原理，PCA和SVD的区别和联系

68、正则化怎么选择，有哪些方式

69、L1、L2范数，区别

70、boost、Adaboost

71、dropout和batch normalization

72、讲一下决策树和随机森林

73、讲一下GBDT的细节，写出GBDT的目标函数。 GBDT和Adaboost的区别与联系

74、偏差、方差

75、距离度量公式哪些，区别

76、多标签识别怎么做

77、data argumentation怎么处理的

78、数据不均衡怎么处理、只有少量带标签怎么处理

79、权重初始化方法都有哪些

80、权值衰减这个参数怎么设置

81、分类问题有哪些评价指标？每种的适用场景。

82、无监督学习了解哪些

83、图像处理Opencv

84、边缘检测算子有哪些

85、霍夫变换

86、直方图是什么

87、canny算子是怎么做的

88、图像的特征提取有哪些算法，适用范围、优缺点

参考：

https://blog.csdn.net/bluesliuf/article/details/89389117

https://zhuanlan.hu.com/p/107279000

https://zhuanlan.hu.com/p/56475281