如何確定神經元數和網路深度

『壹』 深度學習，神經元 個數怎麼確定

現在深度學習在機器學習領域是一個很熱的概念，不過經過各種媒體的轉載播報，這個概念也逐漸變得有些神話的感覺：例如，人們可能認為，深度學習是一種能夠模擬出人腦的神經結構的機器學習方式，從而能夠讓計算機具有人一樣的智慧；而這樣一種技。

『貳』 神經網路輸出神經元個數怎麼確定

如果是RBF神經網路，那麼只有3層，輸入層，隱含層和輸出層。確定神經元個數的方法有K-means,ROLS等演算法。現在還沒有什麼成熟的定理能確定各層神經元的神經元個數和含有幾層網路，大多數還是靠經驗，不過3層網路可以逼近任意一個非線性網路，神經元個數越多逼近的效果越好。

神經網路可以指向兩種，一個是生物神經網路，一個是人工神經網路。
生物神經網路：一般指生物的大腦神經元，細胞，觸點等組成的網路，用於產生生物的意識，幫助生物進行思考和行動。
人工神經網路（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網路（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
人工神經網路：是一種應用類似於大腦神經突觸聯接的結構進行信息處理的數學模型。在工程與學術界也常直接簡稱為「神經網路」或類神經網路。

『叄』 深度學習入門課程筆記 神經網路

深度學習入門課程筆記 神經網路
神經網路：

首先咱們先來回顧一下之前課程所講前向傳播和反向傳播知識點，前往傳播就是從輸入X到最終得到LOSS值的過程，反向傳播是從最終的LOSS值經過梯度的傳播最終計算出權重矩陣W中所有參數對於最終的LOSS值影響大小，更新參數就是通過不同權重參數對終LOSS值的影響來調節參數，使得咱們的參數矩陣W能夠更擬合咱們的數據，也就是使得最終的LOSS值能夠降低。這一系列的過程就是相當於完成了一次迭代
神經網路本質

下面咱們就來看看神經網路跟傳統的線性分類到底有什麼區別，從公式中我們可以看出，一個最明顯的區別就是神經網路函數多了一個MAX（）計算也就是說我們咱們現在的函數公式變成了一個非線性的操作，也正是這種非線性的函數使得神經網路相比於傳統的線性分類更強大，因為非線性可以使得咱們的函數去擬合更復雜的數據。
神經網路結構

接下來咱們就來看一下神經網路的結構，從途中可以看出，神經網路是一個層次的結構
輸入層也就是代表著數據源
隱層這個大家理解起來可能有些費勁，咱們可以把隱層當成是中間層也就是在這里對輸入數據進行了非線性的變換
激活函數它是跟隱層在一起的，比如這個MAX（）函數就是一個激活函數，正是因為激活函數的存在才使得整個神經網路呈現出一種非線性的模式。
輸出層這個就是最終得到的結果了，比如一個分類任務，最終的輸出就是每個類別的概率值了

我們可以看到對應於多層的網路也就是有多個隱層，相當於咱們又加了一層非線性函數MAX（），這個理解起來很簡單了吧，對於深層網路來說，它具有更好的非線性也就是說網路的層數越深就更能夠去擬合更復雜的數據。
生物學上的結構

看過很多講解都提高了把神經網路和人類的腦結構相對比，我覺得這有些增加了游戲難度，因為很多同學本身對生物學結構就不是很清楚，又搞了這多名詞出來，理解起來好像更費勁了，這里咱們就不說生物學結構了，直接看右半部分，和之前的線性分類最大的區別就是我們多了一個activation function也就是咱們剛才所說的激活函數，可以說正是激活函數的存在使得整個神經網路變得強大起來。
神經元

那麼神經網路能表達多復雜的數據信息是由什麼決定的呢？這個例子給了咱們很好的解釋，神經網路是表達能力是由神經元的個數，也就是每一個隱層所函數神經元的個數來決定的，神經元越多，層數越深表達的能力也就越強，理論上我們認為神經元越多越好！
防止過擬合

咱們剛才說了神經網路具有很強的表達能力，但是也很危險的，就是說神經網路很容易發成過擬合現象，因為咱們有大量的神經元也就是導致了我們需要的參數是極其多的，那麼該怎麼辦呢？最直接的方法就是加上正則化項，它可以使得咱們的神經網路不至於過擬合很嚴重也是咱們訓練神經網路必做的一項，圖中顯示了正則化的作用！

『肆』 som神經網路中競爭層神經元數目怎麼確定

輸出層神經元數量設定和訓練集樣本的類別數相關，但是實際中我們往往不能清除地知道有多少類。如果神經元節點數少於類別數，則不足以區分全部模式，訓練的結果勢必將相近的模式類合並為一類；相反，如果神經元節點數多於類別數，則有可能分的過細，或者是出現「死節點」，即在訓練過程中，某個節點從未獲勝過且遠離其他獲勝節點，因此它們的權值從未得到過更新。
不過一般來說，如果對類別數沒有確定知識，寧可先設定較多的節點數，以便較好的映射樣本的拓撲結構，如果分類過細再酌情減少輸出節點。「死節點」問題一般可通過重新初始化權值得到解決。

『伍』 神經網路參數如何確定

神經網路各個網路參數設定原則：

①、網路節點  網路輸入層神經元節點數就是系統的特徵因子(自變數)個數，輸出層神經元節點數就是系統目標個數。隱層節點選按經驗選取，一般設為輸入層節點數的75%。如果輸入層有7個節點，輸出層1個節點，那麼隱含層可暫設為5個節點，即構成一個7-5-1 BP神經網路模型。在系統訓練時，實際還要對不同的隱層節點數4、5、6個分別進行比較，最後確定出最合理的網路結構。

②、初始權值的確定  初始權值是不應完全相等的一組值。已經證明，即便確定  存在一組互不相等的使系統誤差更小的權值，如果所設Wji的的初始值彼此相等，它們將在學習過程中始終保持相等。故而，在程序中，我們設計了一個隨機發生器程序，產生一組一0.5~+0.5的隨機數，作為網路的初始權值。

③、最小訓練速率  在經典的BP演算法中，訓練速率是由經驗確定，訓練速率越大，權重變化越大，收斂越快；但訓練速率過大，會引起系統的振盪，因此，訓練速率在不導致振盪前提下，越大越好。因此，在DPS中，訓練速率會自動調整，並盡可能取大一些的值，但用戶可規定一個最小訓練速率。該值一般取0.9。

④、動態參數  動態系數的選擇也是經驗性的，一般取0.6 ~0.8。

⑤、允許誤差  一般取0.001~0.00001，當2次迭代結果的誤差小於該值時，系統結束迭代計算，給出結果。

⑥、迭代次數  一般取1000次。由於神經網路計算並不能保證在各種參數配置下迭代結果收斂，當迭代結果不收斂時，允許最大的迭代次數。

⑦、Sigmoid參數 該參數調整神經元激勵函數形式，一般取0.9~1.0之間。

⑧、數據轉換。在DPS系統中，允許對輸入層各個節點的數據進行轉換，提供轉換的方法有取對數、平方根轉換和數據標准化轉換。

(5)如何確定神經元數和網路深度擴展閱讀：

神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：

1.生物原型

從生理學、心理學、解剖學、腦科學、病理學等方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。

2.建立模型

根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

3.演算法

在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。

神經網路用到的演算法就是向量乘法，並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性，是神經網路的幾個基本優點，也是神經網路計算方法與傳統方法的區別所在。

『陸』 神經網路輸出神經元個數如何確定

輸出神經元個數是按你的需要確定的，比如你需要模擬函數y=1/x，那麼你的輸入向量就是x，輸出就是y=1/x，也就是一個輸出。再比如你需要模擬水體中的cod，bod參數值，那麼你的輸出就是兩個。你的情況，比如說，你做符號識別的目的是將符號區分為正常符號和異常符號，那麼你的輸出就是2個，是由實際需要來的。

『柒』 深度神經網路 每層單元個數

深度神經網路每層單元個數是任意。
每層神經元個數決定你輸入特徵的多少，如果是28*28的圖片，一下降低為10，那丟失的數據太多了.建議，神經元對半開，就是每層減半。或者三分之一，四分之一開，畢竟後面可能防止過擬合，還會扔神經元。

『捌』 關於神經網路請教

神經網路的隱含層的神經元個數是自己指定的。目前還沒有一個廣泛有用的公式來確定神經元個數，一般都是根據經驗來指定的，或者通過試湊法得到。你後來的問題我也比較暈，不太懂。
你可以到一些matlab 論壇里去提問，會有很多專業性比較強的人回答你的問題的。我認為ilovematlab論壇不錯，可以去問問。