神經網路的3種連接形式

① 卷積神經網路的 卷積層、激活層、池化層、全連接層

數據輸入的是一張圖片（輸入層），CONV表示卷積層，RELU表示激勵層，POOL表示池化層，Fc表示全連接層

全連接神經網路需要非常多的計算資源才能支撐它來做反向傳播和前向傳播，所以說全連接神經網路可以存儲非常多的參數，如果你給它的樣本如果沒有達到它的量級的時候，它可以輕輕鬆鬆把你給他的樣本全部都記下來，這會出現過擬合的情況。

所以我們應該把神經元和神經元之間的連接的權重個數降下來，但是降下來我們又不能保證它有較強的學習能力，所以這是一個糾結的地方，所以有一個方法就是 局部連接+權值共享 ，局部連接+權值共享不僅權重參數降下來了，而且學習能力並沒有實質的降低，除此之外還有其它的好處，下來看一下，下面的這幾張圖片：

一個圖像的不同表示方式

這幾張圖片描述的都是一個東西，但是有的大有的小，有的靠左邊，有的靠右邊，有的位置不同，但是我們構建的網路識別這些東西的時候應該是同一結果。為了能夠達到這個目的，我們可以讓圖片的不同位置具有相同的權重（權值共享），也就是上面所有的圖片，我們只需要在訓練集中放一張，我們的神經網路就可以識別出上面所有的，這也是 權值共享 的好處。

而卷積神經網路就是局部連接+權值共享的神經網路。

現在我們對卷積神經網路有一個初步認識了，下面具體來講解一下卷積神經網路，卷積神經網路依舊是層級結構，但層的功能和形式做了改變，卷積神經網路常用來處理圖片數據，比如識別一輛汽車：

在圖片輸出到神經網路之前，常常先進行圖像處理，有 三種 常見的圖像的處理方式：

均值化和歸一化

去相關和白化

圖片有一個性質叫做局部關聯性質，一個圖片的像素點影響最大的是它周邊的像素點，而距離這個像素點比較遠的像素點二者之間關系不大。這個性質意味著每一個神經元我們不用處理全局的圖片了（和上一層全連接），我們的每一個神經元只需要和上一層局部連接，相當於每一個神經元掃描一小區域，然後許多神經元（這些神經元權值共享）合起來就相當於掃描了全局，這樣就構成一個特徵圖，n個特徵圖就提取了這個圖片的n維特徵，每個特徵圖是由很多神經元來完成的。

在卷積神經網路中，我們先選擇一個局部區域（filter），用這個局部區域（filter）去掃描整張圖片。 局部區域所圈起來的所有節點會被連接到下一層的 一個節點上 。我們拿灰度圖（只有一維）來舉例：

局部區域

圖片是矩陣式的，將這些以矩陣排列的節點展成了向量。就能更好的看出來卷積層和輸入層之間的連接，並不是全連接的，我們將上圖中的紅色方框稱為filter，它是2*2的，這是它的尺寸，這不是固定的，我們可以指定它的尺寸。

我們可以看出來當前filter是2*2的小窗口，這個小窗口會將圖片矩陣從左上角滑到右下角，每滑一次就會一下子圈起來四個，連接到下一層的一個神經元，然後產生四個權重，這四個權重(w1、w2、w3、w4)構成的矩陣就叫做卷積核。

卷積核是演算法自己學習得到的，它會和上一層計算，比如，第二層的0節點的數值就是局部區域的線性組合（w1 0+w2 1+w3 4+w4 5），即被圈中節點的數值乘以對應的權重後相加。

卷積核計算

卷積操作

我們前面說過圖片不用向量表示是為了保留圖片平面結構的信息。 同樣的，卷積後的輸出若用上圖的向量排列方式則丟失了平面結構信息。 所以我們依然用矩陣的方式排列它們，就得到了下圖所展示的連接，每一個藍色結點連接四個黃色的結點。

卷積層的連接方式

圖片是一個矩陣然後卷積神經網路的下一層也是一個矩陣，我們用一個卷積核從圖片矩陣左上角到右下角滑動，每滑動一次，當然被圈起來的神經元們就會連接下一層的一個神經元，形成參數矩陣這個就是卷積核，每次滑動雖然圈起來的神經元不同，連接下一層的神經元也不同，但是產生的參數矩陣確是一樣的，這就是 權值共享 。

卷積核會和掃描的圖片的那個局部矩陣作用產生一個值，比如第一次的時候，（w1 0+w2 1+w3 4+w4 5），所以，filter從左上到右下的這個過程中會得到一個矩陣（這就是下一層也是一個矩陣的原因），具體過程如下所示：

卷積計算過程

上圖中左邊是圖矩陣，我們使用的filter的大小是3 3的，第一次滑動的時候，卷積核和圖片矩陣作用（1 1+1 0+1 1+0 0+1 1+1 0+0 1+0 0+1 1）=4，會產生一個值，這個值就是右邊矩陣的第一個值，filter滑動9次之後，會產生9個值，也就是說下一層有9個神經元，這9個神經元產生的值就構成了一個矩陣，這矩陣叫做特徵圖，表示image的某一維度的特徵，當然具體哪一維度可能並不知道，可能是這個圖像的顏色，也有可能是這個圖像的輪廓等等。

單通道圖片總結 ：以上就是單通道的圖片的卷積處理，圖片是一個矩陣，我們用指定大小的卷積核從左上角到右下角來滑動，每次滑動所圈起來的結點會和下一層的一個結點相連，連接之後就會形成局部連接，每一條連接都會產生權重，這些權重就是卷積核，所以每次滑動都會產生一個卷積核，因為權值共享，所以這些卷積核都是一樣的。卷積核會不斷和當時卷積核所圈起來的局部矩陣作用，每次產生的值就是下一層結點的值了，這樣多次產生的值組合起來就是一個特徵圖，表示某一維度的特徵。也就是從左上滑動到右下這一過程中會形成一個特徵圖矩陣（共享一個卷積核），再從左上滑動到右下又會形成另一個特徵圖矩陣（共享另一個卷積核），這些特徵圖都是表示特徵的某一維度。

三個通道的圖片如何進行卷積操作？

至此我們應該已經知道了單通道的灰度圖是如何處理的，實際上我們的圖片都是RGB的圖像，有三個通道，那麼此時圖像是如何卷積的呢？

彩色圖像

filter窗口滑的時候，我們只是從width和height的角度來滑動的，並沒有考慮depth，所以每滑動一次實際上是產生一個卷積核，共享這一個卷積核，而現在depth=3了，所以每滑動一次實際上產生了具有三個通道的卷積核（它們分別作用於輸入圖片的藍色、綠色、紅色通道），卷積核的一個通道核藍色的矩陣作用產生一個值，另一個和綠色的矩陣作用產生一個值，最後一個和紅色的矩陣作用產生一個值，然後這些值加起來就是下一層結點的值，結果也是一個矩陣，也就是一張特徵圖。

三通道的計算過程

要想有多張特徵圖的話，我們可以再用新的卷積核來進行左上到右下的滑動，這樣就會形成 新的特徵圖 。

三通道圖片的卷積過程

也就是說增加一個卷積核，就會產生一個特徵圖，總的來說就是輸入圖片有多少通道，我們的卷積核就需要對應多少通道，而本層中卷積核有多少個，就會產生多少個特徵圖。這樣卷積後輸出可以作為新的輸入送入另一個卷積層中處理，有幾個特徵圖那麼depth就是幾，那麼下一層的每一個特徵圖就得用相應的通道的卷積核來對應處理，這個邏輯要清楚，我們需要先了解一下 基本的概念：

卷積計算的公式

4x4的圖片在邊緣Zero padding一圈後，再用3x3的filter卷積後，得到的Feature Map尺寸依然是4x4不變。

填充

當然也可以使用5x5的filte和2的zero padding可以保持圖片的原始尺寸，3x3的filter考慮到了像素與其距離為1以內的所有其他像素的關系，而5x5則是考慮像素與其距離為2以內的所有其他像素的關系。

規律： Feature Map的尺寸等於

(input_size + 2 * padding_size − filter_size)/stride+1

我們可以把卷積層的作用 總結一點： 卷積層其實就是在提取特徵，卷積層中最重要的是卷積核（訓練出來的），不同的卷積核可以探測特定的形狀、顏色、對比度等，然後特徵圖保持了抓取後的空間結構，所以不同卷積核對應的特徵圖表示某一維度的特徵，具體什麼特徵可能我們並不知道。特徵圖作為輸入再被卷積的話，可以則可以由此探測到"更大"的形狀概念，也就是說隨著卷積神經網路層數的增加，特徵提取的越來越具體化。

激勵層的作用可以理解為把卷積層的結果做 非線性映射 。

激勵層

上圖中的f表示激勵函數，常用的激勵函數幾下幾種：

常用的激勵函數

我們先來看一下激勵函數Sigmoid導數最小為0，最大為1/4，

激勵函數Sigmoid

Tanh激活函數：和sigmoid相似，它會關於x軸上下對應，不至於朝某一方面偏向

Tanh激活函數

ReLU激活函數（修正線性單元)：收斂快，求梯度快，但較脆弱，左邊的梯度為0

ReLU激活函數

Leaky ReLU激活函數：不會飽和或者掛掉，計算也很快，但是計算量比較大

Leaky ReLU激活函數

一些激勵函數的使用技巧 ：一般不要用sigmoid，首先試RELU，因為快，但要小心點，如果RELU失效，請用Leaky ReLU，某些情況下tanh倒是有不錯的結果。

這就是卷積神經網路的激勵層，它就是將卷積層的線性計算的結果進行了非線性映射。可以從下面的圖中理解。它展示的是將非線性操作應用到一個特徵圖中。這里的輸出特徵圖也可以看作是"修正"過的特徵圖。如下所示：

非線性操作

池化層：降低了各個特徵圖的維度，但可以保持大分重要的信息。池化層夾在連續的卷積層中間，壓縮數據和參數的量，減小過擬合，池化層並沒有參數，它只不過是把上層給它的結果做了一個下采樣（數據壓縮）。下采樣有 兩種 常用的方式：

Max pooling ：選取最大的，我們定義一個空間鄰域（比如，2x2 的窗口），並從窗口內的修正特徵圖中取出最大的元素，最大池化被證明效果更好一些。

Average pooling ：平均的，我們定義一個空間鄰域（比如，2x2 的窗口），並從窗口內的修正特徵圖算出平均值

Max pooling

我們要注意一點的是：pooling在不同的depth上是分開執行的，也就是depth=5的話，pooling進行5次，產生5個池化後的矩陣，池化不需要參數控制。池化操作是分開應用到各個特徵圖的，我們可以從五個輸入圖中得到五個輸出圖。

池化操作

無論是max pool還是average pool都有分信息被舍棄，那麼部分信息被舍棄後會損壞識別結果嗎？

因為卷積後的Feature Map中有對於識別物體不必要的冗餘信息，我們下采樣就是為了去掉這些冗餘信息，所以並不會損壞識別結果。

我們來看一下卷積之後的冗餘信息是怎麼產生的？

我們知道卷積核就是為了找到特定維度的信息，比如說某個形狀，但是圖像中並不會任何地方都出現這個形狀，但卷積核在卷積過程中沒有出現特定形狀的圖片位置卷積也會產生一個值，但是這個值的意義就不是很大了，所以我們使用池化層的作用，將這個值去掉的話，自然也不會損害識別結果了。

比如下圖中，假如卷積核探測"橫折"這個形狀。 卷積後得到3x3的Feature Map中，真正有用的就是數字為3的那個節點，其餘數值對於這個任務而言都是無關的。 所以用3x3的Max pooling後，並沒有對"橫折"的探測產生影響。 試想在這里例子中如果不使用Max pooling，而讓網路自己去學習。 網路也會去學習與Max pooling近似效果的權重。因為是近似效果，增加了更多的參數的代價，卻還不如直接進行最大池化處理。

最大池化處理

在全連接層中所有神經元都有權重連接，通常全連接層在卷積神經網路尾部。當前面卷積層抓取到足以用來識別圖片的特徵後，接下來的就是如何進行分類。 通常卷積網路的最後會將末端得到的長方體平攤成一個長長的向量，並送入全連接層配合輸出層進行分類。比如，在下面圖中我們進行的圖像分類為四分類問題，所以卷積神經網路的輸出層就會有四個神經元。

四分類問題

我們從卷積神經網路的輸入層、卷積層、激活層、池化層以及全連接層來講解卷積神經網路，我們可以認為全連接層之間的在做特徵提取，而全連接層在做分類，這就是卷積神經網路的核心。

② 模糊神經網路的基本形式

模糊神經網路有如下三種形式：
1．邏輯模糊神經網路
2．算術模糊神經網路
3．混合模糊神經網路
模糊神經網路就是具有模糊權系數或者輸入信號是模糊量的神經網路。上面三種形式的模糊神經網路中所執行的運算方法不同。
模糊神經網路無論作為逼近器，還是模式存儲器，都是需要學習和優化權系數的。學習演算法是模糊神經網路優化權系數的關鍵。對於邏輯模糊神經網路，可採用基於誤差的學習演算法，也即是監視學習演算法。對於算術模糊神經網路，則有模糊BP演算法，遺傳演算法等。對於混合模糊神經網路，目前尚未有合理的演算法；不過，混合模糊神經網路一般是用於計算而不是用於學習的，它不必一定學習。

③ 神經網路具體是什麼

神經網路由大量的神經元相互連接而成。每個神經元接受線性組合的輸入後，最開始只是簡單的線性加權，後來給每個神經元加上了非線性的激活函數，從而進行非線性變換後輸出。每兩個神經元之間的連接代表加權值，稱之為權重（weight）。不同的權重和激活函數，則會導致神經網路不同的輸出。 舉個手寫識別的例子，給定一個未知數字，讓神經網路識別是什麼數字。此時的神經網路的輸入由一組被輸入圖像的像素所激活的輸入神經元所定義。在通過非線性激活函數進行非線性變換後，神經元被激活然後被傳遞到其他神經元。重復這一過程，直到最後一個輸出神經元被激活。從而識別當前數字是什麼字。 神經網路的每個神經元如下

基本wx + b的形式，其中 x1、x2表示輸入向量 w1、w2為權重，幾個輸入則意味著有幾個權重，即每個輸入都被賦予一個權重 b為偏置bias g(z) 為激活函數 a 為輸出 如果只是上面這樣一說，估計以前沒接觸過的十有八九又必定迷糊了。事實上，上述簡單模型可以追溯到20世紀50/60年代的感知器，可以把感知器理解為一個根據不同因素、以及各個因素的重要性程度而做決策的模型。 舉個例子，這周末北京有一草莓音樂節，那去不去呢？決定你是否去有二個因素，這二個因素可以對應二個輸入，分別用x1、x2表示。此外，這二個因素對做決策的影響程度不一樣，各自的影響程度用權重w1、w2表示。一般來說，音樂節的演唱嘉賓會非常影響你去不去，唱得好的前提下 即便沒人陪同都可忍受，但如果唱得不好還不如你上台唱呢。所以，我們可以如下表示： x1：是否有喜歡的演唱嘉賓。x1 = 1 你喜歡這些嘉賓，x1 = 0 你不喜歡這些嘉賓。嘉賓因素的權重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 沒人陪你同去。是否有人陪同的權重w2 = 3。 這樣，咱們的決策模型便建立起來了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函數，這里的b可以理解成 為更好達到目標而做調整的偏置項。 一開始為了簡單，人們把激活函數定義成一個線性函數，即對於結果做一個線性變化，比如一個簡單的線性激活函數是g(z) = z，輸出都是輸入的線性變換。後來實際應用中發現，線性激活函數太過局限，於是引入了非線性激活函數。

④ 什麼是全連接神經網路怎麼理解「全連接」

1、全連接神經網路解析：對n-1層和n層而言，n-1層的任意一個節點，都和第n層所有節點有連接。即第n層的每個節點在進行計算的時候，激活函數的輸入是n-1層所有節點的加權。

2、全連接的神經網路示意圖：

3、「全連接」是一種不錯的模式，但是網路很大的時候，訓練速度回很慢。部分連接就是認為的切斷某兩個節點直接的連接，這樣訓練時計算量大大減小。

⑤ 一文看懂四種基本的神經網路架構

原文鏈接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/

更多干貨就在我的個人博客 http://blackblog.tech 歡迎關注

剛剛入門神經網路，往往會對眾多的神經網路架構感到困惑，神經網路看起來復雜多樣，但是這么多架構無非也就是三類，前饋神經網路，循環網路，對稱連接網路，本文將介紹四種常見的神經網路，分別是CNN，RNN，DBN，GAN。通過這四種基本的神經網路架構，我們來對神經網路進行一定的了解。

神經網路是機器學習中的一種模型，是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
一般來說，神經網路的架構可以分為三類：

前饋神經網路：
這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。

循環網路：
循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。
循環網路的目的使用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。
循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。

對稱連接網路：
對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。

其實之前的帖子講過一些關於感知機的內容，這里再復述一下。
首先還是這張圖
這是一個M-P神經元

一個神經元有n個輸入，每一個輸入對應一個權值w，神經元內會對輸入與權重做乘法後求和，求和的結果與偏置做差，最終將結果放入激活函數中，由激活函數給出最後的輸出，輸出往往是二進制的，0 狀態代表抑制，1 狀態代表激活。

可以把感知機看作是 n 維實例空間中的超平面決策面，對於超平面一側的樣本，感知器輸出 1，對於另一側的實例輸出 0，這個決策超平面方程是 w⋅x=0。 那些可以被某一個超平面分割的正反樣例集合稱為線性可分(linearly separable)樣例集合，它們就可以使用圖中的感知機表示。
與、或、非問題都是線性可分的問題，使用一個有兩輸入的感知機能容易地表示，而異或並不是一個線性可分的問題，所以使用單層感知機是不行的，這時候就要使用多層感知機來解決疑惑問題了。

如果我們要訓練一個感知機，應該怎麼辦呢？
我們會從隨機的權值開始，反復地應用這個感知機到每個訓練樣例，只要它誤分類樣例就修改感知機的權值。重復這個過程，直到感知機正確分類所有的樣例。每一步根據感知機訓練法則來修改權值，也就是修改與輸入 xi 對應的權 wi，法則如下：

這里 t 是當前訓練樣例的目標輸出，o 是感知機的輸出，η 是一個正的常數稱為學習速率。學習速率的作用是緩和每一步調整權的程度，它通常被設為一個小的數值（例如 0.1），而且有時會使其隨著權調整次數的增加而衰減。

多層感知機，或者說是多層神經網路無非就是在輸入層與輸出層之間加了多個隱藏層而已，後續的CNN，DBN等神經網路只不過是將重新設計了每一層的類型。感知機可以說是神經網路的基礎，後續更為復雜的神經網路都離不開最簡單的感知機的模型，

談到機器學習，我們往往還會跟上一個詞語，叫做模式識別，但是真實環境中的模式識別往往會出現各種問題。比如：
圖像分割：真實場景中總是摻雜著其它物體。很難判斷哪些部分屬於同一個對象。對象的某些部分可以隱藏在其他對象的後面。
物體光照：像素的強度被光照強烈影響。
圖像變形：物體可以以各種非仿射方式變形。例如，手寫也可以有一個大的圓圈或只是一個尖頭。
情景支持：物體所屬類別通常由它們的使用方式來定義。例如，椅子是為了讓人們坐在上面而設計的，因此它們具有各種各樣的物理形狀。
卷積神經網路與普通神經網路的區別在於，卷積神經網路包含了一個由卷積層和子采樣層構成的特徵抽取器。在卷積神經網路的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特徵平面(featureMap)，每個特徵平面由一些矩形排列的的神經元組成，同一特徵平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網路的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網路各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。
卷積神經網路由三部分構成。第一部分是輸入層。第二部分由n個卷積層和池化層的組合組成。第三部分由一個全連結的多層感知機分類器構成。
這里舉AlexNet為例：

·輸入：224×224大小的圖片，3通道
·第一層卷積：11×11大小的卷積核96個，每個GPU上48個。
·第一層max-pooling：2×2的核。
·第二層卷積：5×5卷積核256個，每個GPU上128個。
·第二層max-pooling：2×2的核。
·第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。
·第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。
·第五層卷積：3×3的卷積核256個，兩個GPU上個128個。
·第五層max-pooling：2×2的核。
·第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。
·第二層全連接：4096維
·Softmax層：輸出為1000，輸出的每一維都是圖片屬於該類別的概率。

卷積神經網路在模式識別領域有著重要應用，當然這里只是對卷積神經網路做了最簡單的講解，卷積神經網路中仍然有很多知識，比如局部感受野，權值共享，多卷積核等內容，後續有機會再進行講解。

傳統的神經網路對於很多問題難以處理，比如你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。RNN之所以稱為循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNN能夠對任何長度的序列數據進行處理。
這是一個簡單的RNN的結構，可以看到隱藏層自己是可以跟自己進行連接的。

那麼RNN為什麼隱藏層能夠看到上一刻的隱藏層的輸出呢，其實我們把這個網路展開來開就很清晰了。

從上面的公式我們可以看出，循環層和全連接層的區別就是循環層多了一個權重矩陣 W。
如果反復把式2帶入到式1，我們將得到：

在講DBN之前，我們需要對DBN的基本組成單位有一定的了解，那就是RBM，受限玻爾茲曼機。
首先什麼是玻爾茲曼機？
[圖片上傳失敗...(image-d36b31-1519636788074)]
如圖所示為一個玻爾茲曼機，其藍色節點為隱層，白色節點為輸入層。
玻爾茲曼機和遞歸神經網路相比，區別體現在以下幾點：
1、遞歸神經網路本質是學習一個函數，因此有輸入和輸出層的概念，而玻爾茲曼機的用處在於學習一組數據的「內在表示」，因此其沒有輸出層的概念。
2、遞歸神經網路各節點鏈接為有向環，而玻爾茲曼機各節點連接成無向完全圖。

而受限玻爾茲曼機是什麼呢？
最簡單的來說就是加入了限制，這個限制就是將完全圖變成了二分圖。即由一個顯層和一個隱層構成，顯層與隱層的神經元之間為雙向全連接。

h表示隱藏層，v表示顯層
在RBM中，任意兩個相連的神經元之間有一個權值w表示其連接強度，每個神經元自身有一個偏置系數b（對顯層神經元）和c（對隱層神經元）來表示其自身權重。
具體的公式推導在這里就不展示了

DBN是一個概率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察數據和標簽之間的聯合分布，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了後者，也就是P(Label|Observation)。
DBN由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經網路類型如圖所示。這些網路被「限制」為一個可視層和一個隱層，層間存在連接，但層內的單元間不存在連接。隱層單元被訓練去捕捉在可視層表現出來的高階數據的相關性。

生成對抗網路其實在之前的帖子中做過講解，這里在說明一下。
生成對抗網路的目標在於生成，我們傳統的網路結構往往都是判別模型，即判斷一個樣本的真實性。而生成模型能夠根據所提供的樣本生成類似的新樣本，注意這些樣本是由計算機學習而來的。
GAN一般由兩個網路組成，生成模型網路，判別模型網路。
生成模型 G 捕捉樣本數據的分布，用服從某一分布（均勻分布，高斯分布等）的雜訊 z 生成一個類似真實訓練數據的樣本，追求效果是越像真實樣本越好；判別模型 D 是一個二分類器，估計一個樣本來自於訓練數據（而非生成數據）的概率，如果樣本來自於真實的訓練數據，D 輸出大概率，否則，D 輸出小概率。
舉個例子：生成網路 G 好比假幣製造團伙，專門製造假幣，判別網路 D 好比警察，專門檢測使用的貨幣是真幣還是假幣，G 的目標是想方設法生成和真幣一樣的貨幣，使得 D 判別不出來，D 的目標是想方設法檢測出來 G 生成的假幣。
傳統的判別網路：

生成對抗網路：

下面展示一個cDCGAN的例子（前面帖子中寫過的）
生成網路

判別網路

最終結果，使用MNIST作為初始樣本，通過學習後生成的數字，可以看到學習的效果還是不錯的。

本文非常簡單的介紹了四種神經網路的架構，CNN，RNN，DBN，GAN。當然也僅僅是簡單的介紹，並沒有深層次講解其內涵。這四種神經網路的架構十分常見，應用也十分廣泛。當然關於神經網路的知識，不可能幾篇帖子就講解完，這里知識講解一些基礎知識，幫助大家快速入（zhuang）門（bi）。後面的帖子將對深度自動編碼器，Hopfield 網路長短期記憶網路（LSTM）進行講解。

⑥ 神經網路有哪些主要分類規則並如何分類

神經網路模型的分類
人工神經網路的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網路連接的拓樸結構分類和按照網路內部的信息流向分類。
1 按照網路拓樸結構分類
網路的拓樸結構，即神經元之間的連接方式。按此劃分，可將神經網路結構分為兩大類：層次型結構和互聯型結構。
層次型結構的神經網路將神經元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經元負責接收來自外界的輸入信息，並傳給中間各隱層神經元；隱層是神經網路的內部信息處理層，負責信息變換。根據需要可設計為一層或多層；最後一個隱層將信息傳遞給輸出層神經元經進一步處理後向外界輸出信息處理結果。

而互連型網路結構中，任意兩個節點之間都可能存在連接路徑，因此可以根據網路中節點的連接程度將互連型網路細分為三種情況：全互連型、局部互連型和稀疏連接型
2 按照網路信息流向分類
從神經網路內部信息傳遞方向來看，可以分為兩種類型：前饋型網路和反饋型網路。
單純前饋網路的結構與分層網路結構相同，前饋是因網路信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名的。前饋型網路中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環路。因此這類網路很容易串聯起來建立多層前饋網路。
反饋型網路的結構與單層全互連結構網路相同。在反饋型網路中的所有節點都具有信息處理功能，而且每個節點既可以從外界接受輸入，同時又可以向外界輸出。

⑦ 神經網路模型有幾種分類方法，試給出一種分類

神經網路模型的分類人工神經網路的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網路連接的拓樸結構分類和按照網路內部的信息流向分類。1 按照網路拓樸結構分類網路的拓樸結構，即神經元之間的連接方式。按此劃分，可將神經網路結構分為兩大類：層次型結構和互聯型結構。層次型結構的神經網路將神經元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經元負責接收來自外界的輸入信息，並傳給中間各隱層神經元；隱層是神經網路的內部信息處理層，負責信息變換。根據需要可設計為一層或多層；最後一個隱層將信息傳遞給輸出層神經元經進一步處理後向外界輸出信息處理結果。 而互連型網路結構中，任意兩個節點之間都可能存在連接路徑，因此可以根據網路中節點的連接程度將互連型網路細分為三種情況：全互連型、局部互連型和稀疏連接型2 按照網路信息流向分類從神經網路內部信息傳遞方向來看，可以分為兩種類型：前饋型網路和反饋型網路。單純前饋網路的結構與分層網路結構相同，前饋是因網路信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名的。前饋型網路中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環路。因此這類網路很容易串聯起來建立多層前饋網路。反饋型網路的結構與單層全互連結構網路相同。在反饋型網路中的所有節點都具有信息處理功能，而且每個節點既可以從外界接受輸入，同時又可以向外界輸出。

⑧ 一個完整的人工神經網路包括

人工神經網路主要架構是由神經元、層和網路三個部分組成。整個人工神經網路包含一系列基本的神經元、通過權重相互連接。
神經元是人工神經網路最基本的單元。單元以層的方式組，每一層的每個神經元和前一層、後-層的神經元連接，共分為輸入層、輸出層和隱藏層，三層連接形成一-個神經網路。
輸入層只從外部環境接收信息，是由輸入單元組成，而這些輸入單元可接收樣本中各種不同的特徵信息。該層的每個神經元相當於自變數，不完成任何計算，只為下一層傳遞信息；隱藏層介於輸入層和輸出層之間，這些層完全用於分析，其函數聯系輸入層變數和輸出層變數，使其更配適數據。
而最後，輸出層生成最終結果，每個輸出單元會對應到某一種特定的分類，為網路送給外部系統的結果值，，整個網路由調整鏈接強度的程序來達成學習的目的。

⑨ 人工神經元網路的拓撲結構主要有哪幾種謝謝大俠~~~

神經網路的拓撲結構包括網路層數、各層神經元數量以及各神經元之間相互連接的方式。

人工神經網路的模型從其拓撲結構角度去看，可分為層次型和互連型。層次型模型是將神經網路分為輸入層（Input Layer）、隱層（Hidden Layer）和輸出層（Output Layer），各層順序連接。其中，輸入層神經元負責接收來自外界的輸入信息，並將其傳遞給隱層神經元。隱層負責神經網路內部的信息處理、信息變換。通常會根據變換的需要，將隱層設計為一層或多層。

(9)神經網路的3種連接形式擴展閱讀：

人工神經網路模型主要考慮網路連接的拓撲結構、神經元的特徵、學習規則等。目前，已有近40種神經網路模型，其中有反傳網路、感知器、自組織映射、Hopfield網路、波耳茲曼機、適應諧振理論等。

人工神經網路採用了與傳統人工智慧和信息處理技術完全不同的機理，克服了傳統的基於邏輯符號的人工智慧在處理直覺、非結構化信息方面的缺陷，具有自適應、自組織和實時學習的特點。

⑩ 神經網路連接方式分為哪幾類每一類有哪些特點

神經網路模型的分類
人工神經網路的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網路連接的拓樸結構分類和按照網路內部的信息流向分類。
1 按照網路拓樸結構分類
網路的拓樸結構，即神經元之間的連接方式。按此劃分，可將神經網路結構分為兩大類：層次型結構和互聯型結構。
層次型結構的神經網路將神經元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經元負責接收來自外界的輸入信息，並傳給中間各隱層神經元；隱層是神經網路的內部信息處理層，負責信息變換。根據需要可設計為一層或多層；最後一個隱層將信息傳遞給輸出層神經元經進一步處理後向外界輸出信息處理結果。

而互連型網路結構中，任意兩個節點之間都可能存在連接路徑，因此可以根據網路中節點的連接程度將互連型網路細分為三種情況：全互連型、局部互連型和稀疏連接型
2 按照網路信息流向分類
從神經網路內部信息傳遞方向來看，可以分為兩種類型：前饋型網路和反饋型網路。
單純前饋網路的結構與分層網路結構相同，前饋是因網路信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名的。前饋型網路中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環路。因此這類網路很容易串聯起來建立多層前饋網路。
反饋型網路的結構與單層全互連結構網路相同。在反饋型網路中的所有節點都具有信息處理功能，而且每個節點既可以從外界接受輸入，同時又可以向外界輸出。