如何确定神经元数和网络深度

‘壹’ 深度学习，神经元 个数怎么确定

现在深度学习在机器学习领域是一个很热的概念，不过经过各种媒体的转载播报，这个概念也逐渐变得有些神话的感觉：例如，人们可能认为，深度学习是一种能够模拟出人脑的神经结构的机器学习方式，从而能够让计算机具有人一样的智慧；而这样一种技。

‘贰’ 神经网络输出神经元个数怎么确定

如果是RBF神经网络，那么只有3层，输入层，隐含层和输出层。确定神经元个数的方法有K-means,ROLS等算法。现在还没有什么成熟的定理能确定各层神经元的神经元个数和含有几层网络，大多数还是靠经验，不过3层网络可以逼近任意一个非线性网络，神经元个数越多逼近的效果越好。

神经网络可以指向两种，一个是生物神经网络，一个是人工神经网络。
生物神经网络：一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。
人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
人工神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。

‘叁’ 深度学习入门课程笔记 神经网络

深度学习入门课程笔记 神经网络
神经网络：

首先咱们先来回顾一下之前课程所讲前向传播和反向传播知识点，前往传播就是从输入X到最终得到LOSS值的过程，反向传播是从最终的LOSS值经过梯度的传播最终计算出权重矩阵W中所有参数对于最终的LOSS值影响大小，更新参数就是通过不同权重参数对终LOSS值的影响来调节参数，使得咱们的参数矩阵W能够更拟合咱们的数据，也就是使得最终的LOSS值能够降低。这一系列的过程就是相当于完成了一次迭代
神经网络本质

下面咱们就来看看神经网络跟传统的线性分类到底有什么区别，从公式中我们可以看出，一个最明显的区别就是神经网络函数多了一个MAX（）计算也就是说我们咱们现在的函数公式变成了一个非线性的操作，也正是这种非线性的函数使得神经网络相比于传统的线性分类更强大，因为非线性可以使得咱们的函数去拟合更复杂的数据。
神经网络结构

接下来咱们就来看一下神经网络的结构，从途中可以看出，神经网络是一个层次的结构
输入层也就是代表着数据源
隐层这个大家理解起来可能有些费劲，咱们可以把隐层当成是中间层也就是在这里对输入数据进行了非线性的变换
激活函数它是跟隐层在一起的，比如这个MAX（）函数就是一个激活函数，正是因为激活函数的存在才使得整个神经网络呈现出一种非线性的模式。
输出层这个就是最终得到的结果了，比如一个分类任务，最终的输出就是每个类别的概率值了

我们可以看到对应于多层的网络也就是有多个隐层，相当于咱们又加了一层非线性函数MAX（），这个理解起来很简单了吧，对于深层网络来说，它具有更好的非线性也就是说网络的层数越深就更能够去拟合更复杂的数据。
生物学上的结构

看过很多讲解都提高了把神经网络和人类的脑结构相对比，我觉得这有些增加了游戏难度，因为很多同学本身对生物学结构就不是很清楚，又搞了这多名词出来，理解起来好像更费劲了，这里咱们就不说生物学结构了，直接看右半部分，和之前的线性分类最大的区别就是我们多了一个activation function也就是咱们刚才所说的激活函数，可以说正是激活函数的存在使得整个神经网络变得强大起来。
神经元

那么神经网络能表达多复杂的数据信息是由什么决定的呢？这个例子给了咱们很好的解释，神经网络是表达能力是由神经元的个数，也就是每一个隐层所函数神经元的个数来决定的，神经元越多，层数越深表达的能力也就越强，理论上我们认为神经元越多越好！
防止过拟合

咱们刚才说了神经网络具有很强的表达能力，但是也很危险的，就是说神经网络很容易发成过拟合现象，因为咱们有大量的神经元也就是导致了我们需要的参数是极其多的，那么该怎么办呢？最直接的方法就是加上正则化项，它可以使得咱们的神经网络不至于过拟合很严重也是咱们训练神经网络必做的一项，图中显示了正则化的作用！

‘肆’ som神经网络中竞争层神经元数目怎么确定

输出层神经元数量设定和训练集样本的类别数相关，但是实际中我们往往不能清除地知道有多少类。如果神经元节点数少于类别数，则不足以区分全部模式，训练的结果势必将相近的模式类合并为一类；相反，如果神经元节点数多于类别数，则有可能分的过细，或者是出现“死节点”，即在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权值从未得到过更新。
不过一般来说，如果对类别数没有确定知识，宁可先设定较多的节点数，以便较好的映射样本的拓扑结构，如果分类过细再酌情减少输出节点。“死节点”问题一般可通过重新初始化权值得到解决。

‘伍’ 神经网络参数如何确定

神经网络各个网络参数设定原则：

①、网络节点  网络输入层神经元节点数就是系统的特征因子(自变量)个数，输出层神经元节点数就是系统目标个数。隐层节点选按经验选取，一般设为输入层节点数的75%。如果输入层有7个节点，输出层1个节点，那么隐含层可暂设为5个节点，即构成一个7-5-1 BP神经网络模型。在系统训练时，实际还要对不同的隐层节点数4、5、6个分别进行比较，最后确定出最合理的网络结构。

②、初始权值的确定  初始权值是不应完全相等的一组值。已经证明，即便确定  存在一组互不相等的使系统误差更小的权值，如果所设Wji的的初始值彼此相等，它们将在学习过程中始终保持相等。故而，在程序中，我们设计了一个随机发生器程序，产生一组一0.5~+0.5的随机数，作为网络的初始权值。

③、最小训练速率  在经典的BP算法中，训练速率是由经验确定，训练速率越大，权重变化越大，收敛越快；但训练速率过大，会引起系统的振荡，因此，训练速率在不导致振荡前提下，越大越好。因此，在DPS中，训练速率会自动调整，并尽可能取大一些的值，但用户可规定一个最小训练速率。该值一般取0.9。

④、动态参数  动态系数的选择也是经验性的，一般取0.6 ~0.8。

⑤、允许误差  一般取0.001~0.00001，当2次迭代结果的误差小于该值时，系统结束迭代计算，给出结果。

⑥、迭代次数  一般取1000次。由于神经网络计算并不能保证在各种参数配置下迭代结果收敛，当迭代结果不收敛时，允许最大的迭代次数。

⑦、Sigmoid参数 该参数调整神经元激励函数形式，一般取0.9~1.0之间。

⑧、数据转换。在DPS系统中，允许对输入层各个节点的数据进行转换，提供转换的方法有取对数、平方根转换和数据标准化转换。

(5)如何确定神经元数和网络深度扩展阅读：

神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：

1.生物原型

从生理学、心理学、解剖学、脑科学、病理学等方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。

2.建立模型

根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。

3.算法

在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。

神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统方法的区别所在。

‘陆’ 神经网络输出神经元个数如何确定

输出神经元个数是按你的需要确定的，比如你需要模拟函数y=1/x，那么你的输入向量就是x，输出就是y=1/x，也就是一个输出。再比如你需要模拟水体中的cod，bod参数值，那么你的输出就是两个。你的情况，比如说，你做符号识别的目的是将符号区分为正常符号和异常符号，那么你的输出就是2个，是由实际需要来的。

‘柒’ 深度神经网络 每层单元个数

深度神经网络每层单元个数是任意。
每层神经元个数决定你输入特征的多少，如果是28*28的图片，一下降低为10，那丢失的数据太多了.建议，神经元对半开，就是每层减半。或者三分之一，四分之一开，毕竟后面可能防止过拟合，还会扔神经元。

‘捌’ 关于神经网络请教

神经网络的隐含层的神经元个数是自己指定的。目前还没有一个广泛有用的公式来确定神经元个数，一般都是根据经验来指定的，或者通过试凑法得到。你后来的问题我也比较晕，不太懂。
你可以到一些matlab 论坛里去提问，会有很多专业性比较强的人回答你的问题的。我认为ilovematlab论坛不错，可以去问问。