⑴ 如何用keras實現多變數輸入神經網路
要點如下：
1、神經網路基本結構，應該是輸入層-若干個隱含層-輸出層。
2、輸入層應該有7個輸入變數。
3、隱含層層數自定，但每層要超過7個神經元。
4、輸出層可以用softmax之類的函數，將隱含層的輸出歸並成一個。
代碼請自行編寫。
⑵ Keras快速構建神經網路模型
用Keras搭建神經網路的步驟：
深度學習框架Keras——像搭積木般構建神經網路，主要分為7個部分，每個部分只需要幾個keras API函數就能實現，用戶即可像搭積木般一層層構建神經網路模型。
1. 創建模型 Create model
2. 添加層級 Add Layer
3. 模型編譯 Compile
4. 數據填充 Fit
5. 模型評估 Evaluate
6. 模型預測 Predict
7. 模型保存 Save model
下面章節會對每一部分具體來介紹。。。
Keras 中主要有三類模型：Sequential model, Functional model, Subclass model
在開始創建模型之前，首先需要引入tensorflow和keras模塊，然後再創建一個Sequential model
Sequential API定義如下:
layers參數可以為空， 然後通過add method向模型中添加layer，相對應的通過pop method移除模型中layer。
創建Function API模型，可以調用Keras.Model來指定多輸入多數出。
Keras.Model定義:
Layers是神經網路基本構建塊。一個Layer包含了tensor-in/tensor-out的計算方法和一些狀態，並保存在TensorFlow變數中（即layers的權重weights）。
Layers主要分為6個類別，基礎層，核心層，卷基層，池化層，循環層，融合層。
對派生類的實現可以用以下方法：
** init (): 定義layer的屬性，創建layer的靜態變數。
** build(self, input_shape): 創建依賴於輸入的變數，可以調用add_weight()。
** call(self, *args, **kwargs): 在確保已調用build()之後，在 call 中調用。
** get_config(self): 返回包含用於初始化此層的配置的字典類型。
創建SimpleDense派生類，在build()函數里添加trainable weights。實現y=input*w +b
結果輸出：
創建ComputeSum派生類，在 init 函數里添加 non-trainable weights。實現輸入矩陣沿軸0元素相加後，x=x+self.total
結果輸出：
核心層是最常用的層，涉及到數據的轉換和處理的時候都會用到這些層。
Dense層就是所謂的全連接神經網路層，簡稱全連接層。全連接層中的每個神經元與其前一層的所有神經元進行全連接。
Dense 實現以下操作： output = activation(dot(input, kernel) + bias) 其中 activation 是按逐個元素計算的激活函數，kernel 是由網路層創建的權值矩陣，以及 bias 是其創建的偏置向量 (只在 use_bias 為 True 時才有用)。
將激活函數應用於輸出。輸入信號進入神經元後進行的運算處理。
sigmoid、tanh、ReLU、softplus的對比曲線如下圖所示：
激活函數可以通過設置單獨的激活層Activation實現，也可以在構造層對象時通過傳遞 activation 參數實現：
Dropout在訓練中每次更新時，將輸入單元的按比率隨機設置為0，這有助於防止過擬合。未設置為0的輸入將按1 /（1-rate）放大，以使所有輸入的總和不變。
請注意，僅當訓練設置為True時才應用Dropout層，以便在推理過程中不會丟棄任何值。 使用model.fit時，訓練將自動適當地設置為True。
將輸入展平。不影響批量大小。注意：如果輸入的形狀是(batch,)沒有特徵軸，則展平會增加通道尺寸，而輸出的形狀是(batch, 1)。
將輸入重新調整為特定的尺寸
將任意表達式封裝為Layer對象。在Lambda層，以便在構造模型時可以使用任意TensorFlow函數。 Lambda層最適合簡單操作或快速實驗。 Lambda層是通過序列化Python位元組碼來保存的。
使用覆蓋值覆蓋序列，以跳過時間步。
對於輸入張量的每一個時間步（張量的第一個維度），如果所有時間步中輸入張量的值與mask_value相等，則將在所有下游層中屏蔽（跳過）該時間步。如果任何下游層不支持覆蓋但仍然收到此類輸入覆蓋信息，會引發異常。
舉例說明：
Embedding 是一個將離散變數轉為連續向量表示的一個方式。該層只能用作模型中的第一層。
Embedding 有以下3個主要目的： 在 embedding 空間中查找最近鄰，這可以很好的用於根據用戶的興趣來進行推薦。 作為監督性學習任務的輸入。 用於可視化不同離散變數之間的關系.
舉例說明：
輸出結果：
由維基網路的介紹我們可以得知，卷積是一種定義在兩個函數(𝑓跟𝑔)上的數學操作，旨在產生一個新的函數。那麼𝑓和𝑔的卷積就可以寫成𝑓∗𝑔，數學定義如下：
對應到不同方面，卷積可以有不同的解釋：𝑔 既可以看作我們在深度學習里常說的核(Kernel)，也可以對應到信號處理中的濾波器(Filter)。而 𝑓 可以是我們所說的機器學習中的特徵(Feature)，也可以是信號處理中的信號(Signal)。f和g的卷積 (𝑓∗𝑔)就可以看作是對𝑓的加權求和。
一維時域卷積操作：
二維圖像卷積操作：
卷積運算的目的是提取輸入的不同特徵，第一層卷積層可能只能提取一些低級的特徵如邊緣、線條和角等層級，更多層的網路能從低級特徵中迭代提取更復雜的特徵。
一維卷積層（即時域卷積），用以在一維輸入信號上進行鄰域濾波。
舉例說明：
結果輸出：
2D 卷積層 (例如對圖像的空間卷積)。
舉例說明：
結果輸出：
3D卷積層（例如體積上的空間卷積）
舉例說明：
結果輸出：
深度可分離1D卷積。該層執行分別作用在通道上的深度卷積，然後是混合通道的逐點卷積。 如果use_bias為True並提供了一個偏差初始值設定項，則它將偏差向量添加到輸出中。 然後，它可選地應用激活函數以產生最終輸出。
深度可分離的2D卷積。可分離的卷積包括首先執行深度空間卷積（它分別作用於每個輸入通道），然後是點向卷積，它將混合所得的輸出通道。 depth_multiplier參數控制在深度步驟中每個輸入通道生成多少個輸出通道。
直觀上，可分離的卷積可以理解為將卷積內核分解為兩個較小內核的一種方式，或者是Inception塊的一種極端版本。
轉置卷積層 (有時被成為反卷積)。對轉置卷積的需求一般來自希望使用 與正常卷積相反方向的變換，將具有卷積輸出尺寸的東西 轉換為具有卷積輸入尺寸的東西， 同時保持與所述卷積相容的連通性模式。
池化層是模仿人的視覺系統對數據進行降維，用更高層次的特徵表示圖像。實施池化的目的：降低信息冗餘；提升模型的尺度不變性、旋轉不變性。 防止過擬合。
通常有最大池化層，平均池化層。
池化層有三種形態：1D 用於一維數據，2D 一般用於二維圖像數據，3D 帶時間序列數據的圖像數據
循環神經網路（Recurrent Neural Network, 簡稱 RNN），循環神經網路的提出便是基於記憶模型的想法，期望網路能夠記住前面出現的特徵，並依據特徵推斷後面的結果，而且整體的網路結構不斷循環，因此得名為循環神經網路。
長短期記憶網路（Long-Short Term Memory, LSTM ）論文首次發表於1997年。由於獨特的設計結構，LSTM適合於處理和預測時間序列中間隔和延遲非常長的重要事件。
舉例說明：
結果輸出：
GRU 門控循環單元- Cho et al. 2014.
在LSTM中引入了三個門函數：輸入門、遺忘門和輸出門來控制輸入值、記憶值和輸出值。而在GRU模型中只有兩個門：分別是更新門和重置門。與LSTM相比，GRU內部少了一個」門控「，參數比LSTM少，但是卻也能夠達到與LSTM相當的功能。考慮到硬體的計算能力和時間成本，因而很多時候我們也就會選擇更加」實用「的GRU。
舉例說明：
結果輸出：
循環神經網路層基類。
關於指定 RNN 初始狀態的說明
您可以通過使用關鍵字參數 initial_state 調用它們來符號化地指定 RNN 層的初始狀態。 initial_state 的值應該是表示 RNN 層初始狀態的張量或張量列表。
可以通過調用帶有關鍵字參數 states 的 reset_states 方法來數字化地指定 RNN 層的初始狀態。 states 的值應該是一個代表 RNN 層初始狀態的 Numpy 數組或者 Numpy 數組列表。
關於給 RNN 傳遞外部常量的說明
可以使用 RNN. call （以及 RNN.call）的 constants 關鍵字參數將「外部」常量傳遞給單元。 這要求 cell.call 方法接受相同的關鍵字參數 constants。 這些常數可用於調節附加靜態輸入（不隨時間變化）上的單元轉換，也可用於注意力機制。
舉例說明：
在訓練模型之前，我們需要配置學習過程，這是通過compile方法完成的。
他接收三個參數：優化器 opt
⑶ keras怎麼可視化神經網路的結構
可以用summary，也可以用plot_model 畫出更直觀的結構圖。
⑷ 卷積神經網路
卷積神經網路 （Convolutional Neural Networks，CNN）是一種前饋神經網路。卷積神經網路是受生物學上感受野（Receptive Field）的機制而提出的。感受野主要是指聽覺系統、本體感覺系統和視覺系統中神經元的一些性質。比如在視覺神經系統中，一個神經元的感受野是指視網膜上的特定區域，只有這個區域內的刺激才能夠激活該神經元。
卷積神經網路又是怎樣解決這個問題的呢？主要有三個思路：
在使用CNN提取特徵時，到底使用哪一層的輸出作為最後的特徵呢？
答：倒數第二個全連接層的輸出才是最後我們要提取的特徵，也就是最後一個全連接層的輸入才是我們需要的特徵。
全連接層會忽視形狀。卷積層可以保持形狀不變。當輸入數據是圖像時，卷積層會以3維數據的形式接收輸入數據，並同樣以3維數據的形式輸出至下一層。因此，在CNN中，可以（有可能）正確理解圖像等具有形狀的數據。
CNN中，有時將 卷積層的輸入輸出數據稱為特徵圖（feature map） 。其中， 卷積層的輸入數據稱為輸入特徵圖（input feature map） ， 輸出數據稱為輸出特徵圖（output feature map）。
卷積層進行的處理就是 卷積運算 。卷積運算相當於圖像處理中的「濾波器運算」。
濾波器相當於權重或者參數，濾波器數值都是學習出來的。 卷積層實現的是垂直邊緣檢測 。
邊緣檢測實際就是將圖像由亮到暗進行區分，即邊緣的過渡(edge transitions)。
卷積層對應到全連接層，左上角經過濾波器，得到的3，相當於一個神經元輸出為3.然後相當於，我們把輸入矩陣拉直為36個數據，但是我們只對其中的9個數據賦予了權重。
步幅為1 ，移動一個，得到一個1，相當於另一個神經單元的輸出是1.
並且使用的是同一個濾波器，對應到全連接層，就是權值共享。
在這個例子中，輸入數據是有高長方向的形狀的數據，濾波器也一樣，有高長方向上的維度。假設用（height, width）表示數據和濾波器的形狀，則在本例中，輸入大小是(4, 4)，濾波器大小是(3, 3)，輸出大小是(2, 2)。另外，有的文獻中也會用「核」這個詞來表示這里所說的「濾波器」。
對於輸入數據，卷積運算以一定間隔滑動濾波器的窗口並應用。這里所說的窗口是指圖7-4中灰色的3 × 3的部分。如圖7-4所示，將各個位置上濾
波器的元素和輸入的對應元素相乘，然後再求和（有時將這個計算稱為乘積累加運算）。然後，將這個結果保存到輸出的對應位置。將這個過程在所有位置都進行一遍，就可以得到卷積運算的輸出。
CNN中，濾波器的參數就對應之前的權重。並且，CNN中也存在偏置。
在進行卷積層的處理之前，有時要向輸入數據的周圍填入固定的數據（比如0等），這稱為填充（padding），是卷積運算中經常會用到的處理。比如，在圖7-6的例子中，對大小為(4, 4)的輸入數據應用了幅度為1的填充。「幅度為1的填充」是指用幅度為1像素的0填充周圍。
應用濾波器的位置間隔稱為 步幅（stride） 。
假設輸入大小為(H, W)，濾波器大小為(FH, FW)，輸出大小為(OH, OW)，填充為P，步幅為S。
但是所設定的值必須使式（7.1）中的 和 分別可以除盡。當輸出大小無法除盡時（結果是小數時），需要採取報錯等對策。順便說一下，根據深度學習的框架的不同，當值無法除盡時，有時會向最接近的整數四捨五入，不進行報錯而繼續運行。
之前的卷積運算的例子都是以有高、長方向的2維形狀為對象的。但是，圖像是3維數據，除了高、長方向之外，還需要處理通道方向。
在3維數據的卷積運算中，輸入數據和濾波器的通道數要設為相同的值。
因此，作為4維數據，濾波器的權重數據要按(output_channel, input_channel, height, width)的順序書寫。比如，通道數為3、大小為5 × 5的濾
波器有20個時，可以寫成(20, 3, 5, 5)。
對於每個通道，均使用自己的權值矩陣進行處理，輸出時將多個通道所輸出的值進行加和即可。
卷積運算的批處理，需要將在各層間傳遞的數據保存為4維數據。具體地講，就是按(batch_num, channel, height, width)的順序保存數據。
這里需要注意的是，網路間傳遞的是4維數據，對這N個數據進行了卷積運算。也就是說，批處理將N次的處理匯總成了1次進行。
池化是縮小高、長方向上的空間的運算。比如，如圖7-14所示，進行將2 × 2的區域集約成1個元素的處理，縮小空間大小。
圖7-14的例子是按步幅2進行2 × 2的Max池化時的處理順序。「Max池化」是獲取最大值的運算，「2 × 2」表示目標區域的大小。如圖所示，從
2 × 2的區域中取出最大的元素。此外，這個例子中將步幅設為了2，所以2 × 2的窗口的移動間隔為2個元素。另外，一般來說，池化的窗口大小會和步幅設定成相同的值。比如，3 × 3的窗口的步幅會設為3，4 × 4的窗口的步幅會設為4等。
除了Max池化之外，還有Average池化等。相對於Max池化是從目標區域中取出最大值，Average池化則是計算目標區域的平均值。 在圖像識別領域，主要使用Max池化。 因此，本書中說到「池化層」時，指的是Max池化。
池化層的特徵
池化層有以下特徵。
沒有要學習的參數
池化層和卷積層不同，沒有要學習的參數。池化只是從目標區域中取最大值（或者平均值），所以不存在要學習的參數。
通道數不發生變化
經過池化運算，輸入數據和輸出數據的通道數不會發生變化。如圖7-15所示，計算是按通道獨立進行的。
對微小的位置變化具有魯棒性（健壯）
輸入數據發生微小偏差時，池化仍會返回相同的結果。因此，池化對輸入數據的微小偏差具有魯棒性。比如，3 × 3的池化的情況下，如圖
7-16所示，池化會吸收輸入數據的偏差（根據數據的不同，結果有可能不一致）。
經過卷積層和池化層之後，進行Flatten，然後丟到全連接前向傳播神經網路。
（找到一張圖片使得某個filter響應最大。相當於filter固定，未知的是輸入的圖片。）未知的是輸入的圖片？？？
k是第k個filter，x是我們要找的參數。?這里我不是很明白。我得理解應該是去尋找最具有代表性的特徵。
使用im2col來實現卷積層
卷積層的參數是需要學習的，但是池化層沒有參數需要學習。全連接層的參數需要訓練得到。
池化層不需要訓練參數。全連接層的參數最多。卷積核的個數逐漸增多。激活層的size，逐漸減少。
最大池化只是計算神經網路某一層的靜態屬性，沒有什麼需要學習的，它只是一個靜態屬性 。
像這樣展開之後，只需對展開的矩陣求各行的最大值，並轉換為合適的形狀即可（圖7-22）。
參數
• input_dim ― 輸入數據的維度：（ 通道，高，長 ）
• conv_param ― 卷積層的超參數（字典）。字典的關鍵字如下：
filter_num ― 濾波器的數量
filter_size ― 濾波器的大小
stride ― 步幅
pad ― 填充
• hidden_size ― 隱藏層（全連接）的神經元數量
• output_size ― 輸出層（全連接）的神經元數量
• weitght_int_std ― 初始化時權重的標准差
LeNet
LeNet在1998年被提出，是進行手寫數字識別的網路。如圖7-27所示，它有連續的卷積層和池化層（正確地講，是只「抽選元素」的子采樣層），最後經全連接層輸出結果。
和「現在的CNN」相比，LeNet有幾個不同點。第一個不同點在於激活函數。LeNet中使用sigmoid函數，而現在的CNN中主要使用ReLU函數。
此外，原始的LeNet中使用子采樣（subsampling）縮小中間數據的大小，而現在的CNN中Max池化是主流。
AlexNet
在LeNet問世20多年後，AlexNet被發布出來。AlexNet是引發深度學習熱潮的導火線，不過它的網路結構和LeNet基本上沒有什麼不同，如圖7-28所示。
AlexNet疊有多個卷積層和池化層，最後經由全連接層輸出結果。雖然結構上AlexNet和LeNet沒有大的不同，但有以下幾點差異。
• 激活函數使用ReLU。
• 使用進行局部正規化的LRN（Local Response Normalization）層。
• 使用Dropout
TF2.0實現卷積神經網路
valid意味著不填充，same是填充
or the SAME padding, the output height and width are computed as:
out_height = ceil(float(in_height) / float(strides[1]))
out_width = ceil(float(in_width) / float(strides[2]))
And
For the VALID padding, the output height and width are computed as:
out_height = ceil(float(in_height - filter_height + 1) / float(strides[1]))
out_width = ceil(float(in_width - filter_width + 1) / float(strides[2]))
因此，我們可以設定 padding 策略。在 tf.keras.layers.Conv2D 中，當我們將 padding 參數設為 same 時，會將周圍缺少的部分使用 0 補齊，使得輸出的矩陣大小和輸入一致。
⑸ 入門 | 一文簡述循環神經網路
入門 | 一文簡述循環神經網路
本文簡要介紹了什麼是循環神經網路及其運行原理，並給出了一個 RNN 實現示例。
什麼是循環神經網路（RNN）？它們如何運行？可以用在哪裡呢？本文試圖回答上述這些問題，還展示了一個 RNN 實現 demo，你可以根據自己的需要進行擴展。
循環神經網路架構
基礎知識。Python、CNN 知識是必備的。了解 CNN 的相關知識，是為了與 RNN 進行對比：RNN 為什麼以及在哪些地方比 CNN 更好。
我們首先從「循環」（Recurrent）這個詞說起。為什麼將其稱為循環？循環的意思是：
經常或重復出現
將這類神經網路稱為循環神經網路是因為它對一組序列輸入重復進行同樣的操作。本文後續部分將討論這種操作的意義。
我們為什麼需要 RNN？
也許你現在想的是，已經有像卷積網路這樣表現非常出色的網路了，為什麼還需要其他類型的網路呢？有一個需要用到 RNN 的特殊例子。為了解釋 RNN，你首先需要了解序列的相關知識，我們先來講一下序列。
序列是相互依賴的（有限或無限）數據流，比如時間序列數據、信息性的字元串、對話等。在對話中，一個句子可能有一個意思，但是整體的對話可能又是完全不同的意思。股市數據這樣的時間序列數據也是，單個數據表示當前價格，但是全天的數據會有不一樣的變化，促使我們作出買進或賣出的決定。
當輸入數據具有依賴性且是序列模式時，CNN 的結果一般都不太好。CNN 的前一個輸入和下一個輸入之間沒有任何關聯。所以所有的輸出都是獨立的。CNN 接受輸入，然後基於訓練好的模型輸出。如果你運行了 100 個不同的輸入，它們中的任何一個輸出都不會受之前輸出的影響。但想一下如果是文本生成或文本翻譯呢？所有生成的單詞與之前生成的單詞都是獨立的（有些情況下與之後的單詞也是獨立的，這里暫不討論）。所以你需要有一些基於之前輸出的偏向。這就是需要 RNN 的地方。RNN 對之前發生在數據序列中的事是有一定記憶的。這有助於系統獲取上下文。理論上講，RNN 有無限的記憶，這意味著它們有無限回顧的能力。通過回顧可以了解所有之前的輸入。但從實際操作中看，它只能回顧最後幾步。
本文僅為了與人類大體相關聯，而不會做任何決定。本文只是基於之前關於該項目的知識做出了自己的判斷（我甚至尚未理解人類大腦的 0.1%）。
何時使用 RNN？
RNN 可用於許多不同的地方。下面是 RNN 應用最多的領域。
1. 語言建模和文本生成
給出一個詞語序列，試著預測下一個詞語的可能性。這在翻譯任務中是很有用的，因為最有可能的句子將是可能性最高的單片語成的句子。
2. 機器翻譯
將文本內容從一種語言翻譯成其他語言使用了一種或幾種形式的 RNN。所有日常使用的實用系統都用了某種高級版本的 RNN。
3. 語音識別
基於輸入的聲波預測語音片段，從而確定詞語。
4. 生成圖像描述
RNN 一個非常廣泛的應用是理解圖像中發生了什麼，從而做出合理的描述。這是 CNN 和 RNN 相結合的作用。CNN 做圖像分割，RNN 用分割後的數據重建描述。這種應用雖然基本，但可能性是無窮的。
5. 視頻標記
可以通過一幀一幀地標記視頻進行視頻搜索。
深入挖掘
本文按照以下主題進行。每一部分都是基於之前的部分進行的，所以不要跳著讀。
前饋網路循環網路循環神經元基於時間的反向傳播（BPTT）RNN 實現
前饋網路入門
前饋網路通過在網路的每個節點上做出的一系列操作傳遞信息。前饋網路每次通過每個層直接向後傳遞信息。這與其他循環神經網路不同。一般而言，前饋網路接受一個輸入並據此產生輸出，這也是大多數監督學習的步驟，輸出結果可能是一個分類結果。它的行為與 CNN 類似。輸出可以是以貓狗等作為標簽的類別。
前饋網路是基於一系列預先標注過的數據訓練的。訓練階段的目的是減少前饋網路猜類別時的誤差。一旦訓練完成，我們就可以用訓練後的權重對新批次的數據進行分類。
一個典型的前饋網路架構
還有一件事要注意。在前饋網路中，無論在測試階段展示給分類器的圖像是什麼，都不會改變權重，所以也不會影響第二個決策。這是前饋網路和循環網路之間一個非常大的不同。
與循環網路不同，前饋網路在測試時不會記得之前的輸入數據。它們始終是取決於時間點的。它們只會在訓練階段記得歷史輸入數據。
循環網路
也就是說，循環網路不僅將當前的輸入樣例作為網路輸入，還將它們之前感知到的一並作為輸入。
我們試著建立了一個多層感知器。從簡單的角度講，它有一個輸入層、一個具備特定激活函數的隱藏層，最終可以得到輸出。
多層感知器架構示例
如果在上述示例中的層數增加了，輸入層也接收輸入。那麼第一個隱藏層將激活傳遞到下一個隱藏層上，依此類推。最後到達輸出層。每一個隱藏層都有自己的權重和偏置項。現在問題變成了我們可以輸入到隱藏層嗎？
每一層都有自己的權重（W）、偏置項（B）和激活函數（F）。這些層的行為不同，合並它們從技術層面上講也極具挑戰性。為了合並它們，我們將所有層的權重和偏置項替換成相同的值。如下圖所示：
現在我們就可以將所有層合並在一起了。所有的隱藏層都可以結合在一個循環層中。所以看起來就像下圖：
我們在每一步都會向隱藏層提供輸入。現在一個循環神經元存儲了所有之前步的輸入，並將這些信息和當前步的輸入合並。因此，它還捕獲到一些當前數據步和之前步的相關性信息。t-1 步的決策影響到第 t 步做的決策。這很像人類在生活中做決策的方式。我們將當前數據和近期數據結合起來，幫助解決手頭的特定問題。這個例子很簡單，但從原則上講這與人類的決策能力是一致的。這讓我非常想知道我們作為人類是否真的很智能，或者說我們是否有非常高級的神經網路模型。我們做出的決策只是對生活中收集到的數據進行訓練。那麼一旦有了能夠在合理時間段內存儲和計算數據的先進模型和系統時，是否可以數字化大腦呢？所以當我們有了比大腦更好更快的模型（基於數百萬人的數據訓練出的）時，會發生什麼？
另一篇文章（https://deeplearning4j.org/lstm.html）的有趣觀點：人總是被自己的行為所困擾。
我們用一個例子來闡述上面的解釋，這個例子是預測一系列字母後的下一個字母。想像一個有 8 個字母的單詞 namaskar。
namaskar（合十禮）：印度表示尊重的傳統問候或姿勢，將手掌合起置於面前或胸前鞠躬。
如果我們在向網路輸入 7 個字母後試著找出第 8 個字母，會發生什麼呢？隱藏層會經歷 8 次迭代。如果展開網路的話就是一個 8 層的網路，每一層對應一個字母。所以你可以想像一個普通的神經網路被重復了多次。展開的次數與它記得多久之前的數據是直接相關的。
循環神經網路的運作原理
循環神經元
這里我們將更深入地了解負責決策的實際神經元。以之前提到的 namaskar 為例，在給出前 7 個字母後，試著找出第 8 個字母。輸入數據的完整詞彙表是 {n,a,m,s,k,r}。在真實世界中單詞或句子都會更復雜。為了簡化問題，我們用的是下面這個簡單的詞彙表。
在上圖中，隱藏層或 RNN 塊在當前輸入和之前的狀態中應用了公式。在本例中，namaste 的字母 n 前面什麼都沒有。所以我們直接使用當前信息推斷，並移動到下一個字母 a。在推斷字母 a 的過程中，隱藏層應用了上述公式結合當前推斷 a 的信息與前面推斷 n 的信息。輸入在網路中傳遞的每一個狀態都是一個時間步或一步，所以時間步 t 的輸入是 a，時間步 t-1 的輸入就是 n。將公式同時應用於 n 和 a 後，就得到了一個新狀態。
用於當前狀態的公式如下所示：
h_t 是新狀態，h_t-1 是前一個狀態。x_t 是時間 t 時的輸入。在對之前的時間步應用了相同的公式後，我們已經能感知到之前的輸入了。我們將檢查 7 個這樣的輸入，它們在每一步的權重和函數都是相同的。
現在試著以簡單的方式定義 f()。我們使用 tanh 激活函數。通過矩陣 W_hh 定義權重，通過矩陣 W_xh 定義輸入。公式如下所示：
上例只將最後一步作為記憶，因此只與最後一步的數據合並。為了提升網路的記憶能力，並在記憶中保留較長的序列，我們必須在方程中添加更多的狀態，如 h_t-2、h_t-3 等。最後輸出可以按測試階段的計算方式進行計算：
其中，y_t 是輸出。對輸出與實際輸出進行對比，然後計算出誤差值。網路通過反向傳播誤差來更新權重，進行學習。本文後續部分會對反向傳播進行討論。
基於時間的反向傳播演算法（BPTT）
本節默認你已經了解了反向傳播概念。如果需要對反向傳播進行深入了解，請參閱鏈接：?http://cs231n.github.io/optimization-2/?。
現在我們了解了 RNN 是如何實際運作的，但是在實際工作中如何訓練 RNN 呢？該如何決定每個連接的權重呢？如何初始化這些隱藏單元的權重呢？循環網路的目的是要准確地對序列輸入進行分類。這要靠誤差值的反向傳播和梯度下降來實現。但是前饋網路中使用的標准反向傳播無法在此應用。
與有向無環的前饋網路不同，RNN 是循環圖，這也是問題所在。在前饋網路中可以計算出之前層的誤差導數。但 RNN 的層級排列與前饋網路並不相同。
答案就在之前討論過的內容中。我們需要展開網路。展開網路使其看起來像前饋網路就可以了。
展開 RNN
在每個時間步取出 RNN 的隱藏單元並復制。時間步中的每一次復制就像前饋網路中的一層。在時間步 t+1 中每個時間步 t 層與所有可能的層連接。因此我們對權重進行隨機初始化，展開網路，然後在隱藏層中通過反向傳播優化權重。通過向最低層傳遞參數完成初始化。這些參數作為反向傳播的一部分也得到了優化。
展開網路的結果是，現在每一層的權重都不同，因此最終會得到不同程度的優化。無法保證基於權重計算出的誤差是相等的。所以每一次運行結束時每一層的權重都不同。這是我們絕對不希望看到的。最簡單的解決辦法是以某種方式將所有層的誤差合並到一起。可以對誤差值取平均或者求和。通過這種方式，我們可以在所有時間步中使用一層來保持相同的權重。
RNN 實現
本文試著用 Keras 模型實現 RNN。我們試著根據給定的文本預測下一個序列。
代碼地址：?https://gist.github.com/.git?
該模型是 Yash Katariya 建的。我對該模型做了一些細微的改動以適合本文的要求。
⑹ 神經網路模型-27種神經網路模型們的簡介
【1】Perceptron(P) 感知機
【1】感知機
感知機是我們知道的最簡單和最古老的神經元模型，它接收一些輸入，然後把它們加總，通過激活函數並傳遞到輸出層。
【2】Feed Forward(FF)前饋神經網路
【2】前饋神經網路
前饋神經網路（FF），這也是一個很古老的方法——這種方法起源於50年代。它的工作原理通常遵循以下規則：
1.所有節點都完全連接
2.激活從輸入層流向輸出，無回環
3.輸入和輸出之間有一層（隱含層）
在大多數情況下，這種類型的網路使用反向傳播方法進行訓練。
【3】Radial Basis Network(RBF) RBF神經網路
【3】RBF神經網路
RBF 神經網路實際上是 激活函數是徑向基函數 而非邏輯函數的FF前饋神經網路（FF）。兩者之間有什麼區別呢？
邏輯函數--- 將某個任意值映射到[0 ,... 1]范圍內來，回答「是或否」問題。適用於分類決策系統，但不適用於連續變數。
相反， 徑向基函數--- 能顯示「我們距離目標有多遠」。 這完美適用於函數逼近和機器控制（例如作為PID控制器的替代）。
簡而言之，RBF神經網路其實就是， 具有不同激活函數和應用方向的前饋網路 。
【4】Deep Feed Forword(DFF)深度前饋神經網路
【4】DFF深度前饋神經網路
DFF深度前饋神經網路在90年代初期開啟了深度學習的潘多拉盒子。 這些依然是前饋神經網路，但有不止一個隱含層 。那麼，它到底有什麼特殊性？
在訓練傳統的前饋神經網路時，我們只向上一層傳遞了少量的誤差信息。由於堆疊更多的層次導致訓練時間的指數增長，使得深度前饋神經網路非常不實用。 直到00年代初，我們開發了一系列有效的訓練深度前饋神經網路的方法; 現在它們構成了現代機器學習系統的核心 ，能實現前饋神經網路的功能，但效果遠高於此。
【5】Recurrent Neural Network(RNN) 遞歸神經網路
【5】RNN遞歸神經網路
RNN遞歸神經網路引入不同類型的神經元——遞歸神經元。這種類型的第一個網路被稱為約旦網路（Jordan Network），在網路中每個隱含神經元會收到它自己的在固定延遲（一次或多次迭代）後的輸出。除此之外，它與普通的模糊神經網路非常相似。
當然，它有許多變化 — 如傳遞狀態到輸入節點，可變延遲等，但主要思想保持不變。這種類型的神經網路主要被使用在上下文很重要的時候——即過去的迭代結果和樣本產生的決策會對當前產生影響。最常見的上下文的例子是文本——一個單詞只能在前面的單詞或句子的上下文中進行分析。
【6】Long/Short Term Memory (LSTM) 長短時記憶網路
【6】LSTM長短時記憶網路
LSTM長短時記憶網路引入了一個存儲單元，一個特殊的單元，當數據有時間間隔（或滯後）時可以處理數據。遞歸神經網路可以通過「記住」前十個詞來處理文本，LSTM長短時記憶網路可以通過「記住」許多幀之前發生的事情處理視頻幀。 LSTM網路也廣泛用於寫作和語音識別。
存儲單元實際上由一些元素組成，稱為門，它們是遞歸性的，並控制信息如何被記住和遺忘。
【7】Gated Recurrent Unit (GRU)
【7】GRU是具有不同門的LSTM
GRU是具有不同門的LSTM。
聽起來很簡單，但缺少輸出門可以更容易基於具體輸入重復多次相同的輸出，目前此模型在聲音（音樂）和語音合成中使用得最多。
實際上的組合雖然有點不同：但是所有的LSTM門都被組合成所謂的更新門(Update Gate)，並且復位門(Reset Gate)與輸入密切相關。
它們比LSTM消耗資源少，但幾乎有相同的效果。
【8】Auto Encoder (AE) 自動編碼器
【8】AE自動編碼器
Autoencoders自動編碼器用於分類，聚類和特徵壓縮。
當您訓練前饋(FF)神經網路進行分類時，您主要必須在Y類別中提供X個示例，並且期望Y個輸出單元格中的一個被激活。 這被稱為「監督學習」。
另一方面，自動編碼器可以在沒有監督的情況下進行訓練。它們的結構 - 當隱藏單元數量小於輸入單元數量（並且輸出單元數量等於輸入單元數）時，並且當自動編碼器被訓練時輸出盡可能接近輸入的方式，強制自動編碼器泛化數據並搜索常見模式。
【9】Variational AE (VAE) 變分自編碼器
【9】VAE變分自編碼器
變分自編碼器，與一般自編碼器相比，它壓縮的是概率，而不是特徵。
盡管如此簡單的改變，但是一般自編碼器只能回答當「我們如何歸納數據？」的問題時，變分自編碼器回答了「兩件事情之間的聯系有多強大？我們應該在兩件事情之間分配誤差還是它們完全獨立的？」的問題。
【10】Denoising AE (DAE) 降噪自動編碼器
【10】DAE降噪自動編碼器
雖然自動編碼器很酷，但它們有時找不到最魯棒的特徵，而只是適應輸入數據（實際上是過擬合的一個例子）。
降噪自動編碼器（DAE）在輸入單元上增加了一些雜訊 - 通過隨機位來改變數據，隨機切換輸入中的位，等等。通過這樣做，一個強制降噪自動編碼器從一個有點嘈雜的輸入重構輸出，使其更加通用，強制選擇更常見的特徵。
【11】Sparse AE (SAE) 稀疏自編碼器
【11】SAE稀疏自編碼器
稀疏自編碼器（SAE）是另外一個有時候可以抽離出數據中一些隱藏分組樣試的自動編碼的形式。結構和AE是一樣的，但隱藏單元的數量大於輸入或輸出單元的數量。
【12】Markov Chain (MC) 馬爾科夫鏈
【12】Markov Chain (MC) 馬爾科夫鏈
馬爾可夫鏈（Markov Chain, MC）是一個比較老的圖表概念了，它的每一個端點都存在一種可能性。過去，我們用它來搭建像「在單詞hello之後有0.0053％的概率會出現dear，有0.03551%的概率出現you」這樣的文本結構。
這些馬爾科夫鏈並不是典型的神經網路，它可以被用作基於概率的分類（像貝葉斯過濾），用於聚類（對某些類別而言），也被用作有限狀態機。
【13】Hopfield Network (HN) 霍普菲爾網路
【13】HN霍普菲爾網路
霍普菲爾網路（HN）對一套有限的樣本進行訓練，所以它們用相同的樣本對已知樣本作出反應。
在訓練前，每一個樣本都作為輸入樣本，在訓練之中作為隱藏樣本，使用過之後被用作輸出樣本。
在HN試著重構受訓樣本的時候，他們可以用於給輸入值降噪和修復輸入。如果給出一半圖片或數列用來學習，它們可以反饋全部樣本。
【14】Boltzmann Machine (BM) 波爾滋曼機
【14】 BM 波爾滋曼機
波爾滋曼機（BM）和HN非常相像，有些單元被標記為輸入同時也是隱藏單元。在隱藏單元更新其狀態時，輸入單元就變成了輸出單元。（在訓練時，BM和HN一個一個的更新單元，而非並行）。
這是第一個成功保留模擬退火方法的網路拓撲。
多層疊的波爾滋曼機可以用於所謂的深度信念網路，深度信念網路可以用作特徵檢測和抽取。
【15】Restricted BM (RBM) 限制型波爾滋曼機
【15】 RBM 限制型波爾滋曼機
在結構上，限制型波爾滋曼機（RBM）和BM很相似，但由於受限RBM被允許像FF一樣用反向傳播來訓練（唯一的不同的是在反向傳播經過數據之前RBM會經過一次輸入層）。
【16】Deep Belief Network (DBN) 深度信念網路
【16】DBN 深度信念網路
像之前提到的那樣，深度信念網路（DBN）實際上是許多波爾滋曼機（被VAE包圍）。他們能被連在一起（在一個神經網路訓練另一個的時候），並且可以用已經學習過的樣式來生成數據。
【17】Deep Convolutional Network (DCN) 深度卷積網路
【17】 DCN 深度卷積網路
當今，深度卷積網路（DCN）是人工神經網路之星。它具有卷積單元（或者池化層）和內核，每一種都用以不同目的。
卷積核事實上用來處理輸入的數據，池化層是用來簡化它們（大多數情況是用非線性方程，比如max），來減少不必要的特徵。
他們通常被用來做圖像識別，它們在圖片的一小部分上運行（大約20x20像素）。輸入窗口一個像素一個像素的沿著圖像滑動。然後數據流向卷積層，卷積層形成一個漏斗（壓縮被識別的特徵）。從圖像識別來講，第一層識別梯度，第二層識別線，第三層識別形狀，以此類推，直到特定的物體那一級。DFF通常被接在卷積層的末端方便未來的數據處理。
【18】Deconvolutional Network (DN) 去卷積網路
【18】 DN 去卷積網路
去卷積網路（DN）是將DCN顛倒過來。DN能在獲取貓的圖片之後生成像（狗：0，蜥蜴：0，馬：0，貓：1）一樣的向量。DNC能在得到這個向量之後，能畫出一隻貓。
【19】Deep Convolutional Inverse Graphics Network (DCIGN) 深度卷積反轉圖像網路
【19】 DCIGN 深度卷積反轉圖像網路
深度卷積反轉圖像網路（DCIGN），長得像DCN和DN粘在一起，但也不完全是這樣。
事實上，它是一個自動編碼器，DCN和DN並不是作為兩個分開的網路，而是承載網路輸入和輸出的間隔區。大多數這種神經網路可以被用作圖像處理，並且可以處理他們以前沒有被訓練過的圖像。由於其抽象化的水平很高，這些網路可以用於將某個事物從一張圖片中移除，重畫，或者像大名鼎鼎的CycleGAN一樣將一匹馬換成一個斑馬。
【20】Generative Adversarial Network (GAN) 生成對抗網路
【20】 GAN 生成對抗網路
生成對抗網路（GAN）代表了有生成器和分辨器組成的雙網路大家族。它們一直在相互傷害——生成器試著生成一些數據，而分辨器接收樣本數據後試著分辨出哪些是樣本，哪些是生成的。只要你能夠保持兩種神經網路訓練之間的平衡，在不斷的進化中，這種神經網路可以生成實際圖像。
【21】Liquid State Machine (LSM) 液體狀態機
【21】 LSM 液體狀態機
液體狀態機（LSM）是一種稀疏的，激活函數被閾值代替了的（並不是全部相連的）神經網路。只有達到閾值的時候，單元格從連續的樣本和釋放出來的輸出中積累價值信息，並再次將內部的副本設為零。
這種想法來自於人腦，這些神經網路被廣泛的應用於計算機視覺，語音識別系統，但目前還沒有重大突破。
【22】Extreme Learning Machine (ELM) 極端學習機
【22】ELM 極端學習機
極端學習機（ELM）是通過產生稀疏的隨機連接的隱藏層來減少FF網路背後的復雜性。它們需要用到更少計算機的能量，實際的效率很大程度上取決於任務和數據。
【23】Echo State Network (ESN) 回聲狀態網路
【23】 ESN 回聲狀態網路
回聲狀態網路（ESN）是重復網路的細分種類。數據會經過輸入端，如果被監測到進行了多次迭代（請允許重復網路的特徵亂入一下），只有在隱藏層之間的權重會在此之後更新。
據我所知，除了多個理論基準之外，我不知道這種類型的有什麼實際應用。。。。。。。
【24】Deep Resial Network (DRN) 深度殘差網路
【24】 DRN 深度殘差網路
深度殘差網路（DRN）是有些輸入值的部分會傳遞到下一層。這一特點可以讓它可以做到很深的層級（達到300層），但事實上它們是一種沒有明確延時的RNN。
【25】Kohonen Network (KN) Kohonen神經網路
【25】 Kohonen神經網路
Kohonen神經網路（KN）引入了「單元格距離」的特徵。大多數情況下用於分類，這種網路試著調整它們的單元格使其對某種特定的輸入作出最可能的反應。當一些單元格更新了， 離他們最近的單元格也會更新。
像SVM一樣，這些網路總被認為不是「真正」的神經網路。
【26】Support Vector Machine (SVM)
【26】 SVM 支持向量機
支持向量機（SVM）用於二元分類工作，無論這個網路處理多少維度或輸入，結果都會是「是」或「否」。
SVM不是所有情況下都被叫做神經網路。
【27】Neural Turing Machine (NTM) 神經圖靈機
【27】NTM 神經圖靈機
神經網路像是黑箱——我們可以訓練它們，得到結果，增強它們，但實際的決定路徑大多數我們都是不可見的。
神經圖靈機（NTM）就是在嘗試解決這個問題——它是一個提取出記憶單元之後的FF。一些作者也說它是一個抽象版的LSTM。
記憶是被內容編址的，這個網路可以基於現狀讀取記憶，編寫記憶，也代表了圖靈完備神經網路。
⑺ 什麼是BP神經網路
BP演算法的基本思想是：學習過程由信號正向傳播與誤差的反向回傳兩個部分組成；正向傳播時，輸入樣本從輸入層傳入，經各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調整信號逐層反向回傳，對神經元之間的連接權矩陣做出處理，使誤差減小。經反復學習，最終使誤差減小到可接受的范圍。具體步驟如下：
1、從訓練集中取出某一樣本，把信息輸入網路中。
2、通過各節點間的連接情況正向逐層處理後，得到神經網路的實際輸出。
3、計算網路實際輸出與期望輸出的誤差。
4、將誤差逐層反向回傳至之前各層，並按一定原則將誤差信號載入到連接權值上，使整個神經網路的連接權值向誤差減小的方向轉化。
5、対訓練集中每一個輸入—輸出樣本對重復以上步驟，直到整個訓練樣本集的誤差減小到符合要求為止。