神经网络收敛到多少

1. 怎样可以提高神经网络的收敛速度

摘要 先确定神经网络的训练算法和神经元节点数。

2. 神经网络的初始权值和阈值为什么都归一化0到1之间呢

因为神经元的传输函数在[0,1]之间区别比较大，如果大于1以后，传输函数值变化不大（导数或斜率就比较小），不利于反向传播算法的执行。反向传播算法需要用到各个神经元传输函数的梯度信息，当神经元的输入太大时（大于1比如），相应的该点自变量梯度值就过小，就无法顺利实现权值和阈值的调整）。传输函数比如logsig或tansig，你可以把函数图像画出来，会发现，[-1,1]之间函数图像比较徒，一阶导数（梯度）比较大，如果在这个敬意范围之外，图像就比较平坦，一阶导数（梯度）就接近0了。

3. 神经网络训练loss收敛的问题

这个问题比较泛，因为网络的损失函数是由自己设计的，如果不特殊说明一般是有均方误差和交叉熵两种损失函数的。其中均方误差当然就是指的输出与标签的差的平方和的平均，计算方式如下： 而交叉熵则是为了防止网络在训练后期迟缓而提出的一种损失函数，计算方式如下：

4. 神经网络参数如何确定

神经网络各个网络参数设定原则：

①、网络节点  网络输入层神经元节点数就是系统的特征因子(自变量)个数，输出层神经元节点数就是系统目标个数。隐层节点选按经验选取，一般设为输入层节点数的75%。如果输入层有7个节点，输出层1个节点，那么隐含层可暂设为5个节点，即构成一个7-5-1 BP神经网络模型。在系统训练时，实际还要对不同的隐层节点数4、5、6个分别进行比较，最后确定出最合理的网络结构。

②、初始权值的确定  初始权值是不应完全相等的一组值。已经证明，即便确定  存在一组互不相等的使系统误差更小的权值，如果所设Wji的的初始值彼此相等，它们将在学习过程中始终保持相等。故而，在程序中，我们设计了一个随机发生器程序，产生一组一0.5~+0.5的随机数，作为网络的初始权值。

③、最小训练速率  在经典的BP算法中，训练速率是由经验确定，训练速率越大，权重变化越大，收敛越快；但训练速率过大，会引起系统的振荡，因此，训练速率在不导致振荡前提下，越大越好。因此，在DPS中，训练速率会自动调整，并尽可能取大一些的值，但用户可规定一个最小训练速率。该值一般取0.9。

④、动态参数  动态系数的选择也是经验性的，一般取0.6 ~0.8。

⑤、允许误差  一般取0.001~0.00001，当2次迭代结果的误差小于该值时，系统结束迭代计算，给出结果。

⑥、迭代次数  一般取1000次。由于神经网络计算并不能保证在各种参数配置下迭代结果收敛，当迭代结果不收敛时，允许最大的迭代次数。

⑦、Sigmoid参数 该参数调整神经元激励函数形式，一般取0.9~1.0之间。

⑧、数据转换。在DPS系统中，允许对输入层各个节点的数据进行转换，提供转换的方法有取对数、平方根转换和数据标准化转换。

(4)神经网络收敛到多少扩展阅读：

神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：

1.生物原型

从生理学、心理学、解剖学、脑科学、病理学等方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。

2.建立模型

根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。

3.算法

在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。

神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统方法的区别所在。

5. 神经网络能否较快收敛

要收敛快，就把学习步长设长一些、目标精度设低一些即可。

6. 神经网络算法原理

4.2.1 概述

人工神经网络的研究与计算机的研究几乎是同步发展的。1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等。

神经网络技术在众多研究者的努力下，理论上日趋完善，算法种类不断增加。目前，有关神经网络的理论研究成果很多，出版了不少有关基础理论的着作，并且现在仍是全球非线性科学研究的热点之一。

神经网络是一种通过模拟人的大脑神经结构去实现人脑智能活动功能的信息处理系统，它具有人脑的基本功能，但又不是人脑的真实写照。它是人脑的一种抽象、简化和模拟模型，故称之为人工神经网络（边肇祺，2000）。

人工神经元是神经网络的节点，是神经网络的最重要组成部分之一。目前，有关神经元的模型种类繁多，最常用最简单的模型是由阈值函数、Sigmoid 函数构成的模型（图 4-3）。

储层特征研究与预测

以上算法是对每个样本作权值修正，也可以对各个样本计算δ_j后求和，按总误差修正权值。

7. BP人工神经网络的收敛是什么

收敛和迭代算法有关。
反向传播算法是定义一个误差er（往往是输出结果与预想结果之间的某个范数），然后求出满足误差极小的权向量。如果把误差看成一个连续函数（泛函）的话，求对权向量各分量的偏导为0即可，但是实际上它是离散的，所以我们需要用迭代来求最小梯度。
如果是新定义算法的话理论上的收敛要证明，可以证明它在迭代次数趋近无穷的时候等于某一解，也可以证明它满足李普希兹条件（就是带有完备范数和李普希兹常数的那个），这种情形下我们叫做收敛，要是用已有算法或者干脆就是BP算法的时候不需要你证明。理论上不收敛的情况是这样，当迭代次数趋近无穷的时候，权向量的解不唯一。
实际上的收敛是这样，给定一个最大迭代次数n，一个误差限erl，反向传播算法应该很容易找，我不往上写了，每一步权值修正都会使er减小，直观的看就是权向量的分量沿着梯度减小的方向在前进，虽然理论上样本足够大并且n趋于无穷的时候会收敛，但是实际上有可能出现当迭代到第n次，误差er依然大于误差限erl的情况，也就是说我们没有解出来满足要求的权向量，所以网络训练失败，叫做不收敛。当然，也可以使用梯度限来作为迭代终止的条件，这种情况下不收敛就是梯度在迭代了n次以后没有小于某一值，从而没有求出满足要求的权向量；收敛就是求出了满足梯度限的权向量。