訓練神經網路損失是什麼東西

A. 卷及神經網路中loss怎麼計算

這個問題比較泛，因為網路的損失函數是由自己設計的，如果不特殊說明一般是有均方誤差和交叉熵兩種損失函數的。其中均方誤差當然就是指的輸出與標簽的差的平方和的平均，計算方式如下：

B. 神經網路訓練中誤差值不變

既然神經網路的損失值維持不變，說明該訓練數據下各參數反向傳播梯度為0，所有參數不進行更新，考慮訓練數據設計不合理，建議補充訓練數據以確認。

C. 神經網路訓練loss收斂的問題

這個問題比較泛，因為網路的損失函數是由自己設計的，如果不特殊說明一般是有均方誤差和交叉熵兩種損失函數的。其中均方誤差當然就是指的輸出與標簽的差的平方和的平均，計算方式如下： 而交叉熵則是為了防止網路在訓練後期遲緩而提出的一種損失函數，計算方式如下：

D. 神經網路中的梯度與損失值區別

層數比較多的神經網路模型在訓練的時候會出現梯度消失(gradient vanishing problem)和梯度爆炸(gradient exploding problem)問題。

梯度消失問題和梯度爆炸問題一般會隨著網路層數的增加變得越來越明顯。

E. 神經網路訓練一定次數後准確率突然下降怎麼回事

經網路訓練時准確度突然變得急劇下降，很有可能是你的休息不夠睡眠不足導致注意力不集中，近段時間的心情也很影響訓練時的准確度，心情煩躁准確度也就會下降。

F. 神經網路訓練時准確度突然變得急劇下降，為啥

可能是因為太激進，設置太高的學習率，也可能是因為設置的參數的問題。

G. 神經網路激活函數與損失函數的作用

softmax輸出了各種結果的可能性

H. 如何訓練神經網路

1、先別著急寫代碼

訓練神經網路前，別管代碼，先從預處理數據集開始。我們先花幾個小時的時間，了解數據的分布並找出其中的規律。

Andrej有一次在整理數據時發現了重復的樣本，還有一次發現了圖像和標簽中的錯誤。所以先看一眼數據能避免我們走很多彎路。

由於神經網路實際上是數據集的壓縮版本，因此您將能夠查看網路（錯誤）預測並了解它們的來源。如果你的網路給你的預測看起來與你在數據中看到的內容不一致，那麼就會有所收獲。

一旦從數據中發現規律，可以編寫一些代碼對他們進行搜索、過濾、排序。把數據可視化能幫助我們發現異常值，而異常值總能揭示數據的質量或預處理中的一些錯誤。

2、設置端到端的訓練評估框架

處理完數據集，接下來就能開始訓練模型了嗎？並不能！下一步是建立一個完整的訓練+評估框架。

在這個階段，我們選擇一個簡單又不至於搞砸的模型，比如線性分類器、CNN，可視化損失。獲得准確度等衡量模型的標准，用模型進行預測。

這個階段的技巧有：

· 固定隨機種子

使用固定的隨機種子，來保證運行代碼兩次都獲得相同的結果，消除差異因素。

· 簡單化

在此階段不要有任何幻想，不要擴增數據。擴增數據後面會用到，但是在這里不要使用，現在引入只會導致錯誤。

· 在評估中添加有效數字

在繪制測試集損失時，對整個測試集進行評估，不要只繪制批次測試損失圖像，然後用Tensorboard對它們進行平滑處理。

· 在初始階段驗證損失函數

驗證函數是否從正確的損失值開始。例如，如果正確初始化最後一層，則應在softmax初始化時測量-log(1/n_classes)。

· 初始化

正確初始化最後一層的權重。如果回歸一些平均值為50的值，則將最終偏差初始化為50。如果有一個比例為1:10的不平衡數據集，請設置對數的偏差，使網路預測概率在初始化時為0.1。正確設置這些可以加速模型的收斂。

· 人類基線

監控除人為可解釋和可檢查的損失之外的指標。盡可能評估人的准確性並與之進行比較。或者對測試數據進行兩次注釋，並且對於每個示例，將一個注釋視為預測，將第二個注釋視為事實。

· 設置一個獨立於輸入的基線

最簡單的方法是將所有輸入設置為零，看看模型是否學會從輸入中提取任何信息。

· 過擬合一個batch

增加了模型的容量並驗證我們可以達到的最低損失。

· 驗證減少訓練損失

嘗試稍微增加數據容量。

I. 訓練好的cnn網路的損失函數最後為多少

上世紀60年代，Hubel等人通過對貓視覺皮層細胞的研究，提出了感受野這個概念，到80年代，Fukushima在感受野概念的基礎之上提出了神經認知機的概念，可以看作是卷積神經網路的第一個實現網路，神經認知機將一個視覺模式分解成許多子模式（特徵），然後進入分層遞階式相連的特徵平面進行處理，它試圖將視覺系統模型化，使其能夠在即使物體有位移或輕微變形的時候，也能完成識別。

卷積神經網路(Convolutional Neural Networks, CNN)是多層感知機(MLP)的變種。由生物學家休博爾和維瑟爾在早期關於貓視覺皮層的研究發展而來。視覺皮層的細胞存在一個復雜的構造。這些細胞對視覺輸入空間的子區域非常敏感，我們稱之為感受野，以這種方式平鋪覆蓋到整個視野區域。這些細胞可以分為兩種基本類型，簡單細胞和復雜細胞。簡單細胞最大程度響應來自感受野范圍內的邊緣刺激模式。復雜細胞有更大的接受域，它對來自確切位置的刺激具有局部不變性。

通常神經認知機包含兩類神經元，即承擔特徵提取的采樣元和抗變形的卷積元，采樣元中涉及兩個重要參數，即感受野與閾值參數，前者確定輸入連接的數目，後者則控制對特徵子模式的反應程度。卷積神經網路可以看作是神經認知機的推廣形式，神經認知機是卷積神經網路的一種特例。

CNN由紐約大學的Yann LeCun於1998年提出。CNN本質上是一個多層感知機，其成功的原因關鍵在於它所採用的局部連接和共享權值的方式，一方面減少了的權值的數量使得網路易於優化，另一方面降低了過擬合的風險。CNN是神經網路中的一種，它的權值共享網路結構使之更類似於生物神經網路，降低了網路模型的復雜度，減少了權值的數量。該優點在網路的輸入是多維圖像時表現的更為明顯，使圖像可以直接作為網路的輸入，避免了傳統識別演算法中復雜的特徵提取和數據重建過程。在二維圖像處理上有眾多優勢，如網路能自行抽取圖像特徵包括顏色、紋理、形狀及圖像的拓撲結構；在處理二維圖像問題上，特別是識別位移、縮放及其它形式扭曲不變性的應用上具有良好的魯棒性和運算效率等。

CNN本身可以採用不同的神經元和學習規則的組合形式。

J. BP神經網路損失函數居高不下

1、模型結構和特徵工程存在問題。
2、權重初始化方案有問題。
3、正則化過度。
4、選擇合適的激活函數、損失函數。
5、選擇合適的優化器和學習速率。
6、訓練時間不足，模型訓練遇到瓶頸。