① BP神經網路
神經網路能很好地解決不同的機器學習問題。神經網路模型是許多邏輯單元按照不同層級組織起來的網路，每一層的輸出變數都是下一層的輸入變數。
上圖顯示了人工神經網路是一個分層模型，邏輯上可以分為三層：
輸入層 ：輸入層接收特徵向量 x
輸出層 ：輸出層產出最終的預測 h
隱含層 ：隱含層介於輸入層與輸出層之間，之所以稱之為隱含層，是因為當中產生的值並不像輸入層使用的樣本矩陣 X或者輸出層用到的標簽矩陣 y 那樣直接可見。
下面引入一些標記法來幫助描述模型：
!$ a^{(j)}_{i} $ 代表第j層的第i個激活單元。 !$ heta^{(j)} $ 代表從第 j 層映射到第 j+1 層時的權重的矩陣，例如 !$ heta^{(1)} $ 代表從第一層映射到第二層的權重的矩陣。其尺寸為：以第 j+1層的激活單元數量為行數，以第 j 層的激活單元數加一為列數的矩陣。例如：上圖所示的神經網路中 !$ heta^{(1)} $ 的尺寸為 3*4。
對於上圖所示的模型，激活單元和輸出分別表達為：
!$ a^{(2)}_{1} = g( heta^{(1)}_{10}x_0 + heta^{(1)}_{11}x_1 + heta^{(1)}_{12}x_2 + heta^{(1)}_{13}x_3 ) $
!$a^{(2)}_{2} = g( heta^{(1)}_{20}x_0 + heta^{(1)}_{21}x_1 + heta^{(1)}_{22}x_2 + heta^{(1)}_{23}x_3 ) $
!$a^{(2)}_{3} = g( heta^{(1)}_{30}x_0 + heta^{(1)}_{31}x_1 + heta^{(1)}_{32}x_2 + heta^{(1)}_{33}x_3 ) $
!$h_{ heta}{(x)} = g( heta^{(2)}_{10}a^{2}_{0} + heta^{(2)}_{11}a^{2}_{1} + heta^{(2)}_{12}a^{2}_{2} + heta^{(2)}_{13}a^{2}_{3} ) $
下面用向量化的方法以上面的神經網路為例，試著計算第二層的值：
對於多類分類問題來說:
我們可將神經網路的分類定義為兩種情況:二類分類和多類分類。
二類分類： !$ S_{L} = 0,y = 0,y = 1$
多類分類： !$ S_{L} = k, y_{i} = 1表示分到第i類；(k>2)$
在神經網路中，我們可以有很多輸出變數，我們的 !$h_{ heta}{(x)} $ 是一個維度為K的向量，並且我們訓練集中的因變數也是同樣維度的一個向量，因此我們的代價函數會比邏輯回歸更加復雜一些，為： !$ h_{ heta}{(x)} in R^{K}(h_{ heta}{(x)})_{i} = i^{th} output$
我們希望通過代價函數來觀察演算法預測的結果與真實情況的誤差有多大，唯一不同的是，對於每一行特徵，我們都會給出K個預測，基本上我們可以利用循環，對每一行特徵都預測K個不同結果，然後在利用循環在K個預測中選擇可能性最高的一個，將其與y中的實際數據進行比較。
正則化的那一項只是排除了每一層 !$ heta_0$ 後，每一層的 矩陣的和。最里層的循環j循環所有的行（由 +1 層的激活單元數決定），循環i則循環所有的列，由該層（ !$ s_l$ 層）的激活單元數所決定。即： !$h_{ heta}{(x)}$ 與真實值之間的距離為每個樣本-每個類輸出的加和，對參數進行 regularization 的 bias 項處理所有參數的平方和。
由於神經網路允許多個隱含層，即各層的神經元都會產出預測，因此，就不能直接利用傳統回歸問題的梯度下降法來最小化 !$J( heta)$ ，而需要逐層考慮預測誤差，並且逐層優化。為此，在多層神經網路中，使用反向傳播演算法（Backpropagation Algorithm）來優化預測，首先定義各層的預測誤差為向量 !$ δ^{(l)} $
訓練過程：
當我們對一個較為復雜的模型（例如神經網路）使用梯度下降演算法時，可能會存在一些不容易察覺的錯誤，意味著，雖然代價看上去在不斷減小，但最終的結果可能並不是最優解。
為了避免這樣的問題，我們採取一種叫做梯度的數值檢驗（ Numerical Gradient Checking ）方法。這種方法的思想是通過估計梯度值來檢驗我們計算的導數值是否真的是我們要求的。
對梯度的估計採用的方法是在代價函數上沿著切線的方向選擇離兩個非常近的點然後計算兩個點的平均值用以估計梯度。即對於某個特定的 ，我們計算出在 !$ heta - epsilon$ 處和 !$ heta + epsilon$ 的代價值（是一個非常小的值，通常選取 0.001），然後求兩個代價的平均，用以估計在 !$ heta$ 處的代價值。
當 !$ heta$ 是一個向量時，我們則需要對偏導數進行檢驗。因為代價函數的偏導數檢驗只針對一個參數的改變進行檢驗，下面是一個只針對 !$ heta_1$ 進行檢驗的示例：
如果上式成立，則證明網路中BP演算法有效，此時關閉梯度校驗演算法（因為梯度的近似計算效率很慢），繼續網路的訓練過程。