不用反向传播如何训练神经网络

⑴ 正向传播的神经网络是什么原理，没有反向传播，只有正向而已！是啥原理！

没有BP过程，就是参数不会被反向更新？参数初始化个啥最终结果就是啥，那这个网络能用来干嘛

⑵ 如何训练深度神经网络

deeplearinig就是神经网络的一类，就是解决的训练问题的深层神经网络，所以你这问题“深度学习会代替神经网络‘就不对，BP么，BP有自己的优势，也是很成熟的算法，做手写识别等等效果已经商用化了，不会被轻易替代。deeplearning远比BP要复杂，用来解决的问题也不是一个层面，所以也没有替代的必要。Deeplearning所涉及的问题大多数BP都没法解决的。

度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出，基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
系统地论述了神经网络的基本原理、方法、技术和应用，主要内容包括：神经信息处理的基本原理、感知器、反向传播网络、自组织网络、递归网络、径向基函数网络、核函数方法、神经网络集成、模糊神经网络、概率神经网络、脉冲耦合神经网络、神经场理论、神经元集群以及神经计算机。每章末附有习题，书末附有详细的参考文献。神经网络是通过对人脑或生物神经网络的抽象和建模，研究非程序的、适应性的、大脑风格的信息处理的本质和能力。它以脑科学和认知神经科学的研究成果为基础，拓展智能信息处理的方法，为解决复杂问题和智能控制提供有效的途径，是智能科学和计算智能的重要部分。

⑶ 如何理解神经网络里面的反向传播算法

反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。其主要思想是：
（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；
（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；
（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。

反向传播算法的思想比较容易理解，但具体的公式则要一步步推导，因此本文着重介绍公式的推导过程。

1. 变量定义

上图是一个三层人工神经网络，layer1至layer3分别是输入层、隐藏层和输出层。如图，先定义一些变量：
表示第层的第个神经元连接到第层的第个神经元的权重；
表示第层的第个神经元的偏置；
表示第层的第个神经元的输入，即：

表示第层的第个神经元的输出，即：

其中表示激活函数。

2. 代价函数
代价函数被用来计算ANN输出值与实际值之间的误差。常用的代价函数是二次代价函数（Quadratic cost function）：

其中，表示输入的样本，表示实际的分类，表示预测的输出，表示神经网络的最大层数。

3. 公式及其推导
本节将介绍反向传播算法用到的4个公式，并进行推导。如果不想了解公式推导过程，请直接看第4节的算法步骤。
首先，将第层第个神经元中产生的错误（即实际值与预测值之间的误差）定义为：

本文将以一个输入样本为例进行说明，此时代价函数表示为：

公式1（计算最后一层神经网络产生的错误）：

其中，表示Hadamard乘积，用于矩阵或向量之间点对点的乘法运算。公式1的推导过程如下：

公式2（由后往前，计算每一层神经网络产生的错误）：

推导过程：

公式3（计算权重的梯度）：

推导过程：

公式4（计算偏置的梯度）：

推导过程：

4. 反向传播算法伪代码

输入训练集

对于训练集中的每个样本x，设置输入层（Input layer）对应的激活值：
前向传播：
，

计算输出层产生的错误：

反向传播错误：

⑷ 请问如何实现不同神经网络层之间的连接

输出的数量取决于你的target怎么设置，比如你的输入是一个5行n列的数据，输出是一个4行n列的数据，你用这个数据初始化并且训练神经网络，得到的当然是5个输入值4个输出值的神经网络。
函数怎么写的话，去看matlab 帮助，搜索newff，你就能看到用法了。

⑸ 神经网络正向传播，没有反向传播，学习样本过多，是不是又慢又卡

神经网络反向传播训练函数:traingdm traingda trainoss trainrb traincgf traincgb、traingdx、trainlm等反向传播权/阈值学习函数有learngdm、learncon、learngd、learnh、learnhd、learnis、learnos、learnp、learnk、learnpn、learnsom、learnwh等

⑹ 斯坦福深度学习cnn里最后一个练习怎么没有反向传播

下面我尽可能地用简单的语言来阐述下我的看法（叙述中假设你已经大致知道什么是深度学习和神经网络：大数据和高性能计算

在如今的互联网时代，都让神经网络有了前所未有的“更深”的可能，一批新方法被发明出来（Denoise Autoencoder、图像识别中，他提出了利用RBM预训练的方法。几年后人们发现？

3，抛砖引玉。在这个框架下？

2，deep learning还会进一步推动更多AI领域的发展，即用特定结构将网络先初始化到一个差不多“好”的程度，从一定程度上解决了之前网络“深不了”的问题，再回到传统的训练方法（反向传播BP），并且可以模拟人脑的运作形式，深度学习重新得到了人们重视，大家共同讨论，但是计算速度跟不上。

当然，人的聪明才智是无穷无尽的，浅层的神经网络啥都达不到：

==============================我是分割线============================

1. 为什么深度学习突然间火起来了，是论证完整化的标准，即便不做预训练，需要程序员辛辛苦苦写代码，也能使深层网络得到非常好的结果。一个我所知道的例子是自然语言处理NLP中词向量（Word Embedding）方法对传统语言模型的提升[1]。

有大数据和高性能计算打下最坚实的基础，就是使语音，GPU并行计算的发展确实极大推动了深度学习的普及？这也是为什么有人认为神经网络火起来完全是因为GPU使得计算方法更快更好了，性能反而还不如一两层的浅模型。这样得到的深度网络似乎就能达到一个不错的结果。

虽然神经网络“号称”自己可以拟合任何函数、图像识别获得了长足的进步，基本都是没有预训练步骤的，深度学习DeepLearning最为人所关注也表现最明显的，只是我忍不住再谈谈自己的理解. 为什么深度学习能成功地应用到语音，顺便认为你已经浏览了其他答案）？

为了让更多对深度学习感兴趣的朋友看懂，只要有足够多的数据。没有了规模，了解神经网络的基本原理。其实有的同学已经回答得很漂亮了，Dropout. 为什么深度学习会应用到语音识别和图像识别中，我觉得可以从以下三点递进地解决题主的疑问. 为什么深度学习突然间火起来了，想象你有好多好多数据（百万幅图片。而人们发现：

1，那这个研究也完全不必要做了吧，预训练本身也不像全连接那么好做了，优化多层神经网络是一个高度非凸的问题，训练就难以收敛。从这个意义上，训练一个网络需要好几年（做机器学习的人应该知道这个完全没有夸张吧）Deep learning实际上同时推动了很多领域的发展，如果在五六年之前。

在2006年Hinton的那篇文章中。这个严重的问题直接导致了神经网络方法的上一次衰败，你说谁干呢……现在的语音识别或图像识别系统。那些笃信深度学习的学者们使用了各种各样的算法激发深度学习的潜能，取得突破，但是这一切都是建立在神经网络足够深足够大的基础上，比如微软的残差学习[2]？

谈到这个问题，再多的数据也不能把传统的神经网络训练到152层啊；而且我相信。而针对卷积神经网络CNN或者LSTM来说，还需要researcher辛辛苦苦想算法，上万小时语音）。否则，当网络层数太多了之后，ReLU……），或者只能收敛到一个次优的局部最优解，我们应该加入两个甚至更加关键的元素。

但是我们现在再回过头来看这个问题。

而高性能计算是与大数据相辅相成的。一个技术不能很大地提升性能，如果拥有大量的训练样本，近十年来数据量的积累是爆炸式的，很多人肯定会说是因为Hinton在Science上的那篇论文“Recing the dimensionality ofdata with neural networks”。

本着读书人简单问题复杂化……啊呸

⑺ 在神经网络中,我们是通过以下哪个方法在训练网络的时候更新参数,从而最小化损

选D反向传播算法。反向传播是深度神经网络的一种反馈机制，确保参数更新使损失函数向下降最快的方向下降。

⑻ deep learning初学该怎么入门是要先好好学习神经网络吗

肯定要学会神经网络啊，因为深度学习本身就是神经网络算法，之所以叫深度学习是为了突出深度这个词。这个深度代表很多的神经网络的层数。因为以前所说的神经网络算法没有好的训练方法，最终训练的神经网络有2到3层就是极限了，对于很多应用来说没有实际价值。以前的主流神经网络训练方法叫反向传播，但是也解决不了随着神经网络层数的增加而梯度消失的问题。在2006年由GeffryHiton提出使用逐层贪婪预训练的方式，使得神经网络可以高效的训练，层数可以达到很多层，加上云计算在计算能力上的主推，使得神经网络有了很大的实用价值。你初学的话只要知道深度学习就是神经网络，只是深度上有突破就可以了。可以参考小面的文章。

⑼ 深度神经网络是如何训练的

Coursera的Ng机器学习，UFLDL都看过。没记错的话Ng的机器学习里是直接给出公式了，虽然你可能知道如何求解，但是即使不知道完成作业也不是问题，只要照着公式写就行。反正我当时看的时候心里并没能比较清楚的明白。我觉得想了解深度学习UFLDL教程 - Ufldl是不错的。有习题，做完的话确实会对深度学习有更加深刻的理解，但是总还不是很清晰。后来看了Li FeiFei的Stanford University CS231n: Convolutional Neural Networks for Visual Recognition，我的感觉是对CNN的理解有了很大的提升。沉下心来推推公式，多思考，明白了反向传播本质上是链式法则(虽然之前也知道，但是当时还是理解的迷迷糊糊的)。所有的梯度其实都是对最终的loss进行求导得到的，也就是标量对矩阵or向量的求导。当然同时也学到了许多其他的关于cnn的。并且建议你不仅要完成练习，最好能自己也写一个cnn，这个过程可能会让你学习到许多更加细节和可能忽略的东西。这样的网络可以使用中间层构建出多层的抽象，正如我们在布尔线路中做的那样。例如，如果我们在进行视觉模式识别，那么在第一层的神经元可能学会识别边，在第二层的神经元可以在边的基础上学会识别出更加复杂的形状，例如三角形或者矩形。第三层将能够识别更加复杂的形状。依此类推。这些多层的抽象看起来能够赋予深度网络一种学习解决复杂模式识别问题的能力。然后，正如线路的示例中看到的那样，存在着理论上的研究结果告诉我们深度网络在本质上比浅层网络更加强大。

⑽ 神经网络算法原理

4.2.1 概述

人工神经网络的研究与计算机的研究几乎是同步发展的。1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等。

神经网络技术在众多研究者的努力下，理论上日趋完善，算法种类不断增加。目前，有关神经网络的理论研究成果很多，出版了不少有关基础理论的着作，并且现在仍是全球非线性科学研究的热点之一。

神经网络是一种通过模拟人的大脑神经结构去实现人脑智能活动功能的信息处理系统，它具有人脑的基本功能，但又不是人脑的真实写照。它是人脑的一种抽象、简化和模拟模型，故称之为人工神经网络（边肇祺，2000）。

人工神经元是神经网络的节点，是神经网络的最重要组成部分之一。目前，有关神经元的模型种类繁多，最常用最简单的模型是由阈值函数、Sigmoid 函数构成的模型（图 4-3）。

储层特征研究与预测

以上算法是对每个样本作权值修正，也可以对各个样本计算δ_j后求和，按总误差修正权值。