圖卷積神經網路怎麼設置

㈠ 如何繪制神經網路圖-如何用visio畫卷積神經網路圖。圖形類似下圖所示

1. 打開Visio軟體，選擇「網路」類別，選擇一個適合的神經網路圖模板，此處選擇「基本網路圖」。
2. 了解Visio的基本功能，開始繪制簡單的網路連接圖。
3. 首先繪制一個路由器和一個交換機。
4. 接著添加一台PC機，完成基本網路設備的布局。
5. 使用「連線工具」連接這些設備，當滑鼠懸停在帶有「x」的點上時，點會變紅，表示這是當前的連接點。
6. 將三個設備正確連接後，一個基礎的網路圖就完成了。
7. 對於使用MATLAB創建神經網路結構圖，先提供一個示例以幫助理解神經網路應用的實現。
8. 創建一個前饋網路，設置輸入向量x和目標向量y，這里x為1到5的序列，y為一個相應的數值向量。
9. 創建一個前饋神經網路，使用最小-最大歸一化方法處理輸入數據，並定義兩個隱層，分別是20個神經元的層和1個神經元的輸出層，激活函數分別為tansig和purelin。
10. 使用L-M（Levenberg-Marquardt）優化演算法訓練網路，設置最大迭代次數為500，學習率為10的-6次方。
11. 訓練BP（Back Propagation）神經網路，得到訓練後的網路結構、訓練記錄和網路輸出。
12. 計算模擬誤差，使用mse函數得到均方誤差。
13. 繪制模擬結果曲線，將訓練數據和網路輸出數據 plot在一起。
14. 嘗試使用Visio繪制卷積神經網路圖，發現除了最左邊的變形圖片外，其餘部分可以較好實現。
15. 在Visio中使用具有透視效果的塊圖形，通過調整透視角度的紅點來獲得合適的視圖。
16. 使用Ctrl+滑鼠左鍵拖拽復制塊，並進行大小和位置的細致調整，最終得到如圖所示的神經網路圖。

㈡ 如何用visio畫卷積神經網路圖。圖形類似下圖所示

大概試了一下用visio繪制這個圖，除了最左面的變形圖片外其餘基本可以實現（那個圖可以考慮用其它圖像處理軟體比如Photoshop生成後插入visio），visio中主要用到的圖形可以在更多形狀-常規-具有透視效果的塊中找到塊圖形，拖入繪圖區後拉動透視角度調節的小紅點進行調整直到合適為止，其餘的塊可以按住ctrl+滑鼠左鍵進行拉動復制，然後再進行大小、位置仔細調整就可以了，大致繪出圖形示例如下圖所示：

㈢ 卷積神經網路參數解析

（1）現象：

        （1-1）一次性將batch數量個樣本feed神經網路，進行前向傳播；然後再進行權重的調整，這樣的一整個過程叫做一個回合（epoch），也即一個batch大小樣本的全過程就是一次迭代。

        （1-2）將訓練數據分塊，做成批(batch training)訓練可以將多個訓練數據元的loss function求和，使用梯度下降法，最小化 求和後的loss function ，進而對神經網路的參數進行優化更新

（2）一次迭代：包括前向傳播計算輸出向量、輸出向量與label的loss計算和後向傳播求loss對權重向量 w 導數（梯度下降法計算），並實現權重向量 w 的更新。

（3）優點：

        （a）對梯度向量（代價函數對權值向量 w 的導數）的精確估計，保證以最快的速度下降到局部極小值的收斂性；一個batch一次梯度下降；

        （b）學習過程的並行運行；

        （c）更加接近隨機梯度下降的演算法效果；

        （d）Batch Normalization 使用同批次的統計平均和偏差對數據進行正則化，加速訓練，有時可提高正確率 [7]

（4）現實工程問題：存在計算機存儲問題，一次載入的batch大小受到內存的影響；

（5）batch參數選擇：

        （5-1）從收斂速度的角度來說，小批量的樣本集合是最優的，也就是我們所說的mini-batch，這時的batch size往往從幾十到幾百不等，但一般不會超過幾千

        （5-2）GPU對2的冪次的batch可李叢核以發揮更佳的性能，因此設置成16、32、64、128...時往往要比設置為整10、整100的倍數時表現更優

    （6）4種加速批鄭槐梯度下降的方法 [8] ：

        （6-1）使用動量－使用權重的 速度 而非 位置 來改變權重。

        （6-2）針對不同權重參數使用不同學習率。

        （6-3）RMSProp－這是Prop 的均方根 ( Mean Square ) 改進形式，Rprop 僅僅使用梯度的符號，RMSProp 是其針對 Mini-batches 的平均化版本

        （6-4）利用曲率信息的最優化方法。

（1）定義：運用梯度下降演算法優化loss成本函數時，權重向量的更新規則中，在梯度項前會乘以一個系數，這個系數就叫學習速率η

（2）效果：

        （2-1）學習率η越小，每次迭代權值向量變化小，學習速度慢，軌跡在權值空間中較光滑，收斂慢；

        （2-2）學習率η越大，每次迭代權值向量變化大，學習速度快，但是有可能使變化處於震盪中，無法收斂；

    （3）處理方法：

        （3-1）既要加快學習速度又要保持穩定的方法修改delta法哪掘則，即添加動量項。

    （4）選擇經驗：

        （4-1）基於經驗的手動調整。 通過嘗試不同的固定學習率，如0.1, 0.01, 0.001等，觀察迭代次數和loss的變化關系，找到loss下降最快關系對應的學習率。

        （4-2）基於策略的調整。

                （4-2-1）fixed 、exponential、polynomial

                （4-2-2）自適應動態調整。adadelta、adagrad、ftrl、momentum、rmsprop、sgd

    （5）學習率η的調整：學習速率在學習過程中實現自適應調整（一般是衰減）

        （5-1）非自適應學習速率可能不是最佳的。

        （5-2）動量是一種自適應學習速率方法的參數，允許沿淺方向使用較高的速度，同時沿陡峭方向降低速度前進

        （5-3）降低學習速率是必要的，因為在訓練過程中，較高學習速率很可能陷入局部最小值。

參考文獻：

[1]  Simon Haykin. 神經網路與機器學習[M]. 機械工業出版社, 2011.

[2]   訓練神經網路時如何確定batch的大小？

[3]   學習筆記：Batch Size 對深度神經網路預言能力的影響  

[4]   機器學習演算法中如何選取超參數：學習速率、正則項系數、minibatch size.  http://blog.csdn.net/u012162613/article/details/44265967

[5]   深度學習如何設置學習率 . http://blog.csdn.net/mao_feng/article/details/52902666

[6]   調整學習速率以優化神經網路訓練. https://zhuanlan.hu.com/p/28893986

[7]   機器學習中用來防止過擬合的方法有哪些？

[8]   Neural Networks for Machine Learning by Geoffrey Hinton .

[9]   如何確定卷積神經網路的卷積核大小、卷積層數、每層map個數

[10]   卷積神經網路的卷積核大小、卷積層數、每層map個數都是如何確定下來的呢？