神經網路大小由什麼決定

❶ 神經網路的具體演算法

神經網路和粗集理論是智能信息處理的兩種重要的方法,其任務是從大量觀察和實驗數據中獲取知識、表達知識和推理決策規則。粗集理論是基於不可分辯性思想和知識簡化方法,從數據中推理邏輯規則,適合於數據簡化、數據相關性查找、發現數據模式、從數據中提取規則等。神經網路是利用非線性映射的思想和並行處理方法,用神經網路本身的結構表達輸入與輸出關聯知識的隱函數編碼,具有較強的並行處理、逼近和分類能力。在處理不準確、不完整的知識方面,粗集理論和神經網路都顯示出較強的適應能力,然而兩者處理信息的方法是不同的,粗集方法模擬人類的抽象邏輯思維,神經網路方法模擬形象直覺思維,具有很強的互補性。
首先,通過粗集理論方法減少信息表達的屬性數量,去掉冗餘信息,使訓練集簡化,減少神經網路系統的復雜性和訓練時間;其次利用神經網路優良的並行處理、逼近和分類能力來處理風險預警這類非線性問題,具有較強的容錯能力;再次,粗集理論在簡化知識的同時,很容易推理出決策規則,因而可以作為後續使用中的信息識別規則,將粗集得到的結果與神經網路得到的結果相比較,以便相互驗證;最後,粗集理論的方法和結果簡單易懂,而且以規則的形式給出,通過與神經網路結合,使神經網路也具有一定的解釋能力。因此,粗集理論與神經網路融合方法具有許多優點,非常適合處理諸如企業戰略風險預警這類非結構化、非線性的復雜問題。

關於輸入的問題--輸入模塊。
這一階段包括初始指標體系確定，根據所確定的指標體系而形成的數據採集系統及數據預處理。企業戰略風險的初始評價指標如下：
企業外部因素：政治環境(法律法規及其穩定性)，經濟環境（社會總體收入水平，物價水平，經濟增長率），產業結構（進入產業障礙，競爭對手數量及集中程度），市場環境（市場大小）。
企業內部因素：企業盈利能力（銷售利潤率，企業利潤增長率），產品競爭能力（產品銷售率，市場佔有率），技術開發能力（技術開發費比率，企業專業技術人才比重），資金籌措能力（融資率）,企業職工凝聚力（企業員工流動率），管理人才資源，信息資源；戰略本身的風險因素（戰略目標，戰略重點，戰略措施，戰略方針）。
本文所建立的預警指標系統是針對普遍意義上的企業，當該指標系統運用於實際企業時，需要對具體指標進行適當的增加或減少。因為各個企業有其具體的戰略目標、經營活動等特性。
計算處理模塊。這一模塊主要包括粗集處理部分和神經網路處理部分。
粗集處理階段。根據粗集的簡化規則及決策規則對數據進行約簡，構造神經網路的初始結構，便於神經網路的訓練。
企業戰略風險分析需要解決的問題是在保證對戰略風險狀態評價一致的情況下,選擇最少的特徵集,以便減少屬性維數、降低計算工作量和減少不確定因素的影響,粗集理論中的屬性約簡演算法可以很好地解決這個問題。

然後是輸出模塊~
該模塊是對將發生的戰略風險問題發出警報。
按照戰略風險大小強弱程度的不同，可將其分為三個層次。第一層次是輕微戰略風險，是損失較小、後果不甚明顯，對企業的戰略管理活動不構成重要影響的各類風險。這類風險一般情況下無礙大局，僅對企業形成局部和微小的傷害。第二層次是一般戰略風險，是損失適中、後果明顯但不構成致命性威脅的各類風險。這類風險的直接後果使企業遭受一定損失，並對其戰略管理的某些方面帶來較大的不利影響或留有一定後遺症。第三層次是致命性戰略風險，指損失較大，後果嚴重的風險。這類風險的直接後果往往會威脅企業的生存，導致重大損失，使之一時不能恢復或遭受破產。在實際操作中，每個企業應根據具體的狀況，將這三個層次以具體的數值表現出來。

下面回答你的問題：

總的來說，神經網路輸入的是初始指標體系；輸出的是風險。

你所說的風險應該說屬於輸出范疇，具體等級分為三級:無警、輕警、重警，並用綠、黃、紅三種顏色燈號表示。其中綠燈區表示企業綜合指標所反映的實際運行值與目標值基本一致，運行良好;黃燈區表示企業綜合指標所反映的實際運行值與目標值偏離較大，要引起企業的警惕。若採取一定的措施可轉為綠燈區，若不重視可在短期內轉為紅燈區;紅燈區則表示這種偏離超過企業接受的可能，並給企業帶來整體性的重大損失。例如:銷售利潤率極低、資產負債率過高，資源配置不合理、缺乏發展後勁等，必須找出原因，繼而採取有效措施，使企業的戰略管理活動始終處於「安全」的狀態。

希望以上答案能夠幫到你，祝你好運~

❷ 關於神經網路，生物神經學，人工智慧學的幫忙看下

1。高等動物神經系統中是沒有神經迴路的。神經迴路雖然能夠加快反應的速度，但是難以保證反應的准確度和精巧性。有迴路的神經系統僅見於腔腸動物（水螅、水母、珊瑚等）的網狀神經系統。這種神經系統沒有一個中樞，所有的神經細胞的地位是對等的，一個受到刺激，其他的都會做出相同的反應，神經細胞之間是網路狀連在一起的。
2。人腦功能區其實是人為為了研究方便劃分的，他們之所以執行不同的功能，主要原因是他們每一個神經元所連接的神經元不同。倒不是因為它們連接結構的不同，准確的說是因為他們之間的組織關系不同。例如聽覺中樞的細胞就和聽覺器官形成連接，視覺中樞就和視覺器官形成連接。這些連接的不同是在胚胎初期神經系統發育時形成的。大體上來說，就是靶細胞分泌特定的吸引激素，吸引著神經細胞的突觸朝著自己生長。
3。單個神經細胞無法儲存信息，或者准確的說，單的神經細胞儲存的信息沒有意義。現在人們往往以二極體來模擬一個腦細胞。人有100億個腦細胞，則人腦殼儲存的信息為2的100億次方個比特。其實，這只是個估算。人腦的存儲系統不同於二極體，一個細胞可能肩負的任務遠遠不止這么多，但是記憶的具體機理還是未知的。
4。人腦識別立體圖像是因為雙眼的圖像區域部分疊加形成的。這一點是沒錯的，但為什麼單眼也能夠識別立體的圖像呢？那是因為人腦可以根據已經習慣化的視覺經驗（例如遠近大小、邏輯分析、陰影、遮擋等）對圖像進行加工，這就是人的精神干預認識的一種表現。這就像是人腦可以自動忽略噪音而聽到有用信息一樣，是屬於人腦對於感官獲得信息的一種加工處理。不信你可以試試：你用一隻眼鏡肯定不能看出3D的立體照片。
5。不明白你第一個問題是什麼意思。記憶的進化是什麼意思？至於第二個問題，人的中樞神經系統是在胚胎早期就開始發育的。它的生成在胚胎很早起就開始了，是基因不同表達體系的結果。至於連接，它涉及復雜的調控過程和細胞遷移過程，但是又極其精巧。主要是靶細胞分泌物質來吸引特定細胞向著它生長。
6。從生物上來說，中樞神經系統的發育可以說是大同小異。而且，神經系統在出生前僅僅發育完成了很小的部分。大部分的神經系統發育是在出生後進行的。因此，神經網路結構的不同不是關鍵，而後天的發育才是關鍵。
7。人的神經細傳遞信息，絕大部分情況下是單向的。因為突出結構是有前後之分的。但是也有很小部分是可以回傳的。
8。個人不建議把神經細胞的工作原理和電子計算機相比擬。但是現在的研究來看，應該是大多數神經元沒有多輸入單輸出，或者說雖然有多輸入，但是他們不同時輸入信息，也就是說這幾個輸入之間有互斥性。至少我是沒有見過同時接受多種信息的報道。不過單輸入多輸出還是很常見的。

❸ 神經網路ART1模型

一、ART1模型概述

自適應共振理論(Adaptive Resonance Theory)簡稱ART，是於1976年由美國Boston大學S.Grossberg提出來的。

這一理論的顯著特點是，充分利用了生物神經細胞之間自興奮與側抑制的動力學原理，讓輸入模式通過網路雙向連接權的識別與比較，最後達到共振來完成對自身的記憶，並以同樣的方法實現網路的回想。當提供給網路回想的是一個網路中記憶的、或是與已記憶的模式十分相似的模式時，網路將會把這個模式回想出來，提出正確的分類。如果提供給網路回想的是一個網路中不存在的模式，則網路將在不影響已有記憶的前提下，將這一模式記憶下來，並將分配一個新的分類單元作為這一記憶模式的分類標志。

S.Grossberg和G.A.Carpenter經過多年研究和不斷發展，至今已提出了ART1，ART2和ART3三種網路結構。

ART1網路處理雙極型(或二進制)數據，即觀察矢量的分量是二值的，它只取0或1。

二、ART1模型原理

ART1網路是兩層結構，分輸入層(比較層)和輸出層(識別層)。從輸入層到輸出層由前饋連接權連接，從輸出層到輸入層由反饋連接權連接。

設網路輸入層有N個神經元，網路輸出層有M個神經元，二值輸入模式和輸出向量分別為：X_p=(

，

，…，

)，Y_p=(

，

，…，

)，p=1，2，…，P，其中P為輸入學習模式的個數。設前饋連接權和反饋連接權矩陣分別為W=(w_nm)_N×M，T=(t_nm)_N×M，n=1，2，…，N，m=1，2，…，M。

ART1網路的學習及工作過程，是通過反復地將輸入學習模式由輸入層向輸出層自下而上的識別和由輸出層向輸入層自上而下的比較過程來實現的。當這種自下而上的識別和自上而下的比較達到共振，即輸出向量可以正確反映輸入學習模式的分類，且網路原有記憶沒有受到不良影響時，網路對一個輸入學習模式的記憶分類則告完成。

ART1網路的學習及工作過程，可以分為初始化階段、識別階段、比較階段和探尋階段。

1.初始化階段

ART1網路需要初始化的參數主要有3個：

即W=(w_nm)_N×M，T=(t_nm)_N×M和ρ。

反饋連接權T=(t_nm)_N×M在網路的整個學習過程中取0或1二值形式。這一參數實際上反映了輸入層和輸出層之間反饋比較的范圍或強度。由於網路在初始化前沒有任何記憶，相當於一張白紙，即沒有選擇比較的余的。因此可將T的元素全部設置為1，即

t_nm=1，n=1，2，…，N，m=1，2，…，M。(1)

這意味著網路在初始狀態時，輸入層和輸出層之間將進行全范圍比較，隨著學習過程的深入，再按一定規則選擇比較范圍。

前饋連接權W=(w_nm)_N×M在網路學習結束後，承擔著對學習模式的記憶任務。在對W初始化時，應該給所有學習模式提供一個平等競爭的機會，然後通過對輸入模式的競爭，按一定規則調整W。W的初始值按下式設置：

中國礦產資源評價新技術與評價新模型

ρ稱為網路的警戒參數，其取值范圍為0＜ρ≤1。

2.識別階段

ART1網路的學習識別階段發生在輸入學習模式由輸入層向輸出層的傳遞過程中。在這一階段，首先將一個輸入學習模式X_p=(

，

，…，

)提供給網路的輸入層，然後把作為輸入學習模式的存儲媒介的前饋連接權W=(w_nm)_N×M與表示對這一輸入學習模式分類結果的輸出層的各個神經元進行比較，以尋找代表正確分類結果的神經元g。這一比較與尋找過程是通過尋找輸出層神經元最大加權輸入值，即神經元之間的競爭過程實現的，如下式所示：

中國礦產資源評價新技術與評價新模型

中國礦產資源評價新技術與評價新模型

中國礦產資源評價新技術與評價新模型

至此，網路的識別過程只是告一段落，並沒有最後結束。此時，神經元m=g是否真正有資格代表對輸入學習模式X_p的正確分類，還有待於下面的比較和尋找階段來進一步確定。一般情況下需要對代表同一輸入學習模式的分類結果的神經元進行反復識別。

3.比較階段

ART1網路的比較階段的主要職能是完成以下檢查任務，每當給已學習結束的網路提供一個供識別的輸入模式時，首先檢查一下這個模式是否是已學習過的模式，如果是，則讓網路回想出這個模式的分類結果；如果不是，則對這個模式加以記憶，並分配一個還沒有利用過的輸出層神經元來代表這個模式的分類結果。

具體過程如下：把由輸出層每個神經元反饋到輸入層的各個神經元的反饋連接權向量T_m=(t_1m，t_2m，…，t_Nm)，m=1，2，…，M作為對已學習的輸入模式的一條條記錄，即讓向量T_m=(t_1m，t_2m，…，t_Nm)與輸出層第m個神經元所代表的某一學習輸入模式X_p=(

，

，…，

)完全相等。

當需要網路對某個輸入模式進行回想時，這個輸入模式經過識別階段，競爭到神經元g作為自己的分類結果後，要檢查神經元g反饋回來的向量T_g是否與輸入模式相等。如果相等，則說明這是一個已記憶過的模式，神經元g代表了這個模式的分類結果，識別與比較產生了共振，網路不需要再經過尋找階段，直接進入下一個輸入模式的識別階段；如果不相符，則放棄神經元g的分類結果，進入尋找階段。

在比較階段，當用向量T_g與輸入模式X_P進行比較時，允許二者之間有一定的差距，差距的大小由警戒參數ρ決定。

首先計算

中國礦產資源評價新技術與評價新模型

C_g表示向量T_g與輸入模式X_P的擬合度。

在式中，

(t_ng*x_n)表示向量T_g=(t_1g，t_2g，…，t_Ng)與輸入模式X_p=(

，

，…，

)的邏輯「與」。

當T_g=X_P時，C_g=1。

當C_g≥ρ時，說明擬合度大於要求，沒有超過警戒線。

以上兩種情況均可以承認識別結果。

當C_g≠1且C_g＞ρ時，按式(6)式(7)將前饋連接權W_g=(w_1g，w_2g，…，w_Ng)和反饋連接權T_g=(t_1g，t_2g，…，t_Ng)向著與X_P更接近的方向調整。

中國礦產資源評價新技術與評價新模型

t_ng(t+1)=t_ng(t)*x_n，n=1，2，…，N。(7)

當C_g＜ρ時，說明擬合度小於要求，超過警戒線，則拒絕識別結果，將神經元g重新復位為0，並將這個神經元排除在下次識別范圍之外，網路轉入尋找階段。

4.尋找階段

尋找階段是網路在比較階段拒絕識別結果之後轉入的一個反復探尋的階段，在這一階段中，網路將在餘下的輸出層神經元中搜索輸入模式X_p的恰當分類。只要在輸出向量Y_p=(

，

，…

)中含有與這一輸入模式X_p相對應、或在警戒線以內相對應的分類單元，則網路可以得到與記憶模式相符的分類結果。如果在已記憶的分類結果中找不到與現在輸入的模式相對應的分類，但在輸出向量中還有未曾使用過的單元，則可以給這個輸入模式分配一個新的分類單元。在以上兩種情況下，網路的尋找過程總能獲得成功，也就是說共振終將發生。

三、總體演算法

設網路輸入層有N個神經元，網路輸出層有M個神經元，二值輸入模式和輸出向量分別為：X_p=(

，

，…，

)，Y_p=(

，

，…，

)p=1，2，…，p，其中p為輸入學習模式的個數。設前饋連接權和反饋連接權矩陣分別為W=(w_nm)_N×M，T=(t_nm)_N×M，n=1，2，…，N，m=1，2，…，M。

(1)網路初始化

t_nm(0)=1，

中國礦產資源評價新技術與評價新模型

n=1，2，…，N，m=1，2，…，M。

0＜ρ≤1。

(2)將輸入模式X_p=(

，

，…，

)提供給網路的輸入層

(3)計算輸出層各神經元輸入加權和

中國礦產資源評價新技術與評價新模型

(4)選擇X_P的最佳分類結果

中國礦產資源評價新技術與評價新模型

令神經元g的輸出為1。

(5)計算

中國礦產資源評價新技術與評價新模型

中國礦產資源評價新技術與評價新模型

判斷

中國礦產資源評價新技術與評價新模型

當式(8)成立，轉到(7)，否則，轉到(6)。

(6)取消識別結果，將輸出層神經元g的輸出值復位為0，並將這一神經元排除在下一次識別的范圍之外，返回步驟(4)。當所有已利用過的神經元都無法滿足式(8)，則選擇一個新的神經元作為分類結果，轉到步驟(7)。

(7)承認識別結果，並按下式調整連接權

中國礦產資源評價新技術與評價新模型

t_ng(t+1)=t_ng(t)*x_n，n=1，2，…，N。

(8)將步驟(6)復位的所有神經元重新加入識別范圍之內，返回步驟(2)對下一模式進行識別。

(9)輸出分類識別結果。

(10)結束。

四、實例

實例為ART1神經網路模型在柴北緣-東昆侖造山型金礦預測的應用。

1.建立綜合預測模型

柴北緣—東昆侖地區位於青海省的西部，是中央造山帶的西部成員——秦祁昆褶皺系的一部分，是典型的復合造山帶(殷鴻福等，1998)。根據柴北緣—東昆侖地區地質概括以及造山型金礦成礦特點，選擇與成礦相關密切的專題數據，建立柴北緣—東昆侖地區的綜合信息找礦模型：

1)金礦重砂異常數據是金礦的重要找礦標志。

2)金礦水化異常數據是金礦的重要找礦標志。

3)金礦的化探異常數據控制金礦床的分布。

4)金礦的空間分布與通過該區的深大斷裂有關。

5)研究區內斷裂密集程度控制金礦的產出。

6)重力構造的存在與否是金礦存在的一個標志。

7)磁力構造線的存在也是金礦存在的一個重要標志。

8)研究區地質復雜程度也對金礦的產出具有重要的作用。

9)研究區存在的礦(化)點是一個重要的標志。

2.劃分預測單元

預測工作是在單元上進行的，預測工作的結果是與單元有著較為直接的聯系，在找礦模型指導下，以最大限度地反映成礦信息和預測單元面積最小為原則，通過對研究區內地質、地球物理、地球化學等的綜合資料分析，對可能的成礦地段圈定了預測單元。採用網格化單元作為本次研究的預測單元，網格單元的大小是，40×40，將研究區劃分成774個預測單元。

3.變數選擇(表8-6)

4.ART1模型預測結果

ART1神經網路模型演算法中，給定不同的閾值，將改變預測分類的結果。本次實驗選取得閾值為ρ=0.41，系統根據此閾值進行計算獲得計算結果，並通過將不同的分類結果賦予不同的顏色，最終獲得ART模型預測單元的分類結果。分類的結果是形成29個類別。分類結果用不同的顏色表示，其具體結果地顯示見圖8-5。圖形中顏色只代表類別號，不代表分類的好壞。將礦點專題圖層疊加以後，可以看出，顏色為灰色的單元與礦的關系更為密切。

表8-6 預測變數標志的選擇表

圖8-5 東昆侖—柴北緣地區基於ARTL模型的金礦分類結果圖

❹ bp神經網路中學習速率的大小如何確定

一般大家都用的是變速率的演算法，直接確定需要很豐富的經驗的，或者用其他演算法先無縫搜索，再用bp精確搜索

❺ matlab——神經網路

newff建立網路，train訓練網路，sim模擬進行預測
具體help以上三個函數
[nb,minb,maxb,na,mina,maxa]=premnmx(traindata,trainlabels);
[nc]=tramnmx(test_patterns,minb,maxb);
net=newff(minmax(traindata),[4，6,1],{'tansig',tansig','purelin'});
net=train(net,nb,na);
nd= sim(net,nc);

❻ 神經網路優缺點，

優點：

（1）具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。

自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、市場預測、效益預測，其應用前途是很遠大的。

（2）具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

（3）具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

缺點：

（1）最嚴重的問題是沒能力來解釋自己的推理過程和推理依據。

（2）不能向用戶提出必要的詢問，而且當數據不充分的時候，神經網路就無法進行工作。

（3）把一切問題的特徵都變為數字，把一切推理都變為數值計算，其結果勢必是丟失信息。

（4）理論和學習演算法還有待於進一步完善和提高。

(6)神經網路大小由什麼決定擴展閱讀：

神經網路發展趨勢

人工神經網路特有的非線性適應性信息處理能力，克服了傳統人工智慧方法對於直覺，如模式、語音識別、非結構化信息處理方面的缺陷，使之在神經專家系統、模式識別、智能控制、組合優化、預測等領域得到成功應用。

人工神經網路與其它傳統方法相結合，將推動人工智慧和信息處理技術不斷發展。近年來，人工神經網路正向模擬人類認知的道路上更加深入發展，與模糊系統、遺傳演算法、進化機制等結合，形成計算智能，成為人工智慧的一個重要方向，將在實際應用中得到發展。

將信息幾何應用於人工神經網路的研究，為人工神經網路的理論研究開辟了新的途徑。神經計算機的研究發展很快，已有產品進入市場。光電結合的神經計算機為人工神經網路的發展提供了良好條件。

神經網路在很多領域已得到了很好的應用，但其需要研究的方面還很多。其中，具有分布存儲、並行處理、自學習、自組織以及非線性映射等優點的神經網路與其他技術的結合以及由此而來的混合方法和混合系統，已經成為一大研究熱點。

由於其他方法也有它們各自的優點，所以將神經網路與其他方法相結合，取長補短，繼而可以獲得更好的應用效果。目前這方面工作有神經網路與模糊邏輯、專家系統、遺傳演算法、小波分析、混沌、粗集理論、分形理論、證據理論和灰色系統等的融合。

參考資料：網路-人工神經網路

❼ Hopfield神經網路

Hopfield神經網路(Hopfield Neural Network，簡稱 HNN)，是美國加州理工學院物理學家Hopfield教授1982年提出的一種反饋型神經網路，信號不但能向前，還能向後傳遞(輸出信號又反饋回來變成輸入信號。而前面所介紹的BP網路是一種前饋網路，信號只能向前傳遞)。他在Hopfield神經網路中引入了「能量函數」概念，使網路的運行穩定性的判斷有了可靠依據。Hopfield神經網路的權值不是經過反復學習獲得的，而是按照一定規則計算出來的，一經確定就不再改變，而Hopfield神經網路的狀態(輸入、輸出信號)會在運行過程中不斷更新，網路演變到穩態時各神經元的狀態便是問題的解。

1985年，Hopfield和Tank研製了電子線路來模擬Hopfield網路，較好地解決了優化組合問題中著名的TSP(旅行商)問題，找到了最佳解的近似解，為神經網路的復興建立了不可磨滅的功勞。

對於地球物理反演這種最優化問題，可以很方便地用Hopfield網路來實現。反演的目標函數等於Hopfield網路的「能量函數」，網路的狀態(輸入、輸出信號)就是模型的參數，網路演變到穩態時各神經元的輸入輸出值便是反演問題的解。

Hopfield神經網路分為離散型和連續型兩種網路模型，分別記為DHNN(Discrete Hopfield Neural Network)和CHNN(Continues Hopfield Neural Network)。

在前饋型網路中無論是離散的還是連續的，一般均不考慮輸入與輸出之間在時間上的滯後性，而只表達兩者之間的映射關系。但在連續Hopfield神經網路中，考慮了輸出與輸入之間的延遲因素，因此需要用微分方程或差分方程來描述網路的動態數學模型。

8.5.4.1 離散Hopfield神經網路

離散Hopfield神經網路的拓撲結構如圖8.12所示。這是一種單層全反饋網路，共有n個神經元。圖8.12的特點是任意一個神經元的輸出x_i只能是0或1，均通過連接權w_ij反饋至所有神經元j作為它的輸入x_j。也就是說，每個神經元都通過連接權接收所有其他神經元輸出反饋的信息，這樣每一個神經元的輸出都受其他所有神經元輸出的控制，從而每個神經元的輸出相互制約。每個神經元均設一個閥值T_i，以反映對輸入雜訊的控制。

圖8.12 離散Hopfield神經網路的拓撲結構^[8]

8.5.4.1.1 網路的狀態

離散Hopfield神經網路任意一個神經元的輸出x_j稱為網路的狀態，它只能是0或1。變化規律由下式規定:

x_j=f(net_j) j=1，2，…，n(8.33)

f( )為轉移函數，離散 Hopfield神經網路的轉移函數常用符號函數表示:

地球物理反演教程

其中netj為凈輸入:

地球物理反演教程

對離散Hopfield神經網路，一般有

w_ij=0，w_ij=w_ji (8.36)

這說明神經元沒有自反饋，兩個神經元的相互控制權值相同。

離散Hopfield神經網路穩定時，每個神經元的狀態都不再改變。此時的穩定狀態就是網路的輸出，記為

地球物理反演教程

8.5.4.1.2 網路的非同步工作方式

它是一種串列方式，網路運行時每次只改變一個神經元的狀態，其他神經元的狀態保持不變。

8.5.4.1.3 網路的同步工作方式

它是一種並行同步工作方式，所有神經元同時調整狀態。

8.5.4.1.4 網路的吸引子

網路達到穩定狀態時的輸出X，稱為網路的吸引子。

8.5.4.1.5 網路的能量函數

網路的能量函數定義為

地球物理反演教程

以上是矩陣形式，考慮無自反饋的具體展開形式為

地球物理反演教程

當網路收斂到穩定狀態時，有

ΔE(t)=E(t+1)-E(t)=0 (8.40)

或者說:

地球物理反演教程

理論證明了如下兩個定理^[8]:

定理1.對於DHNN，若按非同步方式調整網路狀態，且連接權矩陣W為對稱陣，則對任意初始狀態，網路都能最終收斂到一個吸引子。

定理2.對於DHNN，若按同步方式調整網路狀態，且連接權矩陣W為非負定對稱陣，則對任意初始狀態，網路都能最終收斂到一個吸引子。

8.5.4.1.6 利用離散Hopfield神經網路進行反演

在地球物理線性反演中，設有如下目標函數:

地球物理反演教程

對比式(8.38)和式(8.42)發現它們在形式上有很多相似之處。王家映的《地球物理反演理論》一書中，直接用式(8.42)和式(8.38)類比，公式顯得復雜。本書設立一個新的目標函數ϕ，公式將會變得簡潔得多:

地球物理反演教程

再對比式(8.38)和式(8.43)，發現它們完全一樣，只要設:

X(t)=m，W=G^TG，T=G^Td (8.44)

注意:式(8.43)的目標函數ϕ的極大值解就是原來目標函數φ極小值的解，它們是同解的。

如果待反演的模型參數是離散的0或1值，那麼可以直接應用離散Hopfield神經網路進行反演。但是一般它們都是連續的數值，所以還要將模型參數表示為二進制^[1]:

地球物理反演教程

其中:B_ij=0或1為二進制數;D和U為整數，取決於模型參數的大小和精度。這樣第i個模型參數就用B_ij表示為了二進制數。將式(8.45)代入目標函數式(8.43)後再與離散Hopfield神經網路的能量函數進行對比，確立新的等價關系後，就可以進行反演了。

這個新的等價關系式可以參見王家映的《地球物理反演理論》_[1]一書。

反演的過程大致如下:

(1)根據模型參數的大小范圍和精度確定D和U，將初始輸入模型參數變為二進制數。設立一個擬合精度標准，如相對均方差ε，設定一個最大迭代次數N(所有神經元的輸出都修改一次稱為一次迭代)。

(2)利用數據方程的G矩陣(在一般情況下需用偏導數矩陣獲得)計算網路的權值和閥值。

(3)將二進制初始模型參數輸入網路並運行網路。

(4)把每次迭代網路輸出值變為十進制模型參數，進行正演計算。如果擬合滿足精度ε，則停止網路運行並輸出反演結果。否則重復(2)~(4)步直到滿足精度或達到最多迭代次數N為止。

在一般情況下，地球物理數據方程的G矩陣是無法用解析式寫出的，需要用偏導數矩陣獲得，它是依賴於輸入參數的，因此網路的每次迭代都要重新計算偏導數矩陣。這個計算量是很大的。因此他的反演過程和最小二乘法相似。此外，用Hopfield神經網路進行反演同樣有可能陷入局部極值點(吸引子)。因此同樣受初始模型的影響，需要盡量讓初始模型接近真實模型。

8.5.4.2 連續Hopfield神經網路(CHNN)_[8]

1984年，Hopfield把離散Hopfield神經網路發展為連續Hopfield神經網路。但所有神經元都同步工作，各輸入輸出量為隨時間變化的連續的模擬量，這就使得CHNN比DHNN在信息處理的並行性、實時性方面更接近實際的生物神經網路工作機理。因此利用CHNN進行地球物理反演更加方便。

CHNN可以用常系數微分方程來描述，但用模擬電子線路來描述，則更加形象直觀，易於理解。圖8.13為連續Hopfield神經網路的拓撲結構^[8]。

圖8.13 連續Hopfield神經網路的拓撲結構^[8]

圖8.13中每個神經元用一個運算放大器模擬，神經元的輸入輸出用放大器的輸入輸出電壓表示，連接權用電導表示。每個放大器有一個正向輸出和一個反向輸出，分別表示興奮和抑制。每個神經元還有一個用於設置激活電平的外界輸入偏置電流作為閥值。

這里由於篇幅關系不再累述。感興趣的讀者可以參考其他文獻。

❽ 什麼是神經網路

隱層節點數在BP 網路中，隱層節點數的選擇非常重要，它不僅對建立的神經網路模型的性能影響很大，而且是訓練時出現「過擬合」的直接原因，但是目前理論上還沒有一種科學的和普遍的確定方法。 目前多數文獻中提出的確定隱層節點數的計算公式都是針對訓練樣本任意多的情況，而且多數是針對最不利的情況，一般工程實踐中很難滿足，不宜採用。事實上，各種計算公式得到的隱層節點數有時相差幾倍甚至上百倍。為盡可能避免訓練時出現「過擬合」現象，保證足夠高的網路性能和泛化能力，確定隱層節點數的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節點數。研究表明，隱層節點數不僅與輸入/輸出層的節點數有關，更與需解決的問題的復雜程度和轉換函數的型式以及樣本數據的特性等因素有關。在確定隱層節點數時必須滿足下列條件：（1）隱層節點數必須小於N-1（其中N為訓練樣本數），否則，網路模型的系統誤差與訓練樣本的特性無關而趨於零，即建立的網路模型沒有泛化能力，也沒有任何實用價值。同理可推得：輸入層的節點數（變數數）必須小於N-1。(2) 訓練樣本數必須多於網路模型的連接權數，一般為2~10倍，否則，樣本必須分成幾部分並採用「輪流訓練」的方法才可能得到可靠的神經網路模型。 總之，若隱層節點數太少，網路可能根本不能訓練或網路性能很差；若隱層節點數太多，雖然可使網路的系統誤差減小，但一方面使網路訓練時間延長，另一方面，訓練容易陷入局部極小點而得不到最優點，也是訓練時出現「過擬合」的內在原因。因此，合理隱層節點數應在綜合考慮網路結構復雜程度和誤差大小的情況下用節點刪除法和擴張法確定。