卷積神經網路權重更新了多少次

A. 卷積神經網路在訓練時權重一直未發生變化是怎麼回事

版本8955可以玩n

B. 梵高油畫用深度卷積神經網路迭代十萬次是什麼效果

效果不太取決於迭代次數。更加取決於訓練集的質量。用梵高的畫迭代幾萬次訓練，訓練集太窄了。效果也就「認識了梵高油畫」而已，對10萬次跟5萬次數訓練，甚至1萬次，識別出梵高油畫的准確率也不會改變多少的。

C. 如何更好的理解分析深度卷積神經網路

• 用局部連接而不是全連接，同時權值共享。

局部連接的概念參考局部感受域，即某個視神經元僅考慮某一個小區域的視覺輸入，因此相比普通神經網路的全連接層（下一層的某一個神經元需要與前一層的所有節點連接），卷積網路的某一個卷積層的所有節點只負責前層輸入的某一個區域（比如某個3*3的方塊）。這樣一來需要訓練的權值數相比全連接而言會大大減少，進而減小對樣本空間大小的需求。

權值共享的概念就是，某一隱藏層的所有神經元共用一組權值。

這兩個概念對應卷積層的話，恰好就是某個固定的卷積核。卷積核在圖像上滑動時每處在一個位置分別對應一個「局部連接」的神經元，同時因為「權值共享」的緣故，這些神經元的參數一致，正好對應同一個卷積核。

順便補充下，不同卷積核對應不同的特徵，比如不同方向的邊（edge）就會分別對應不同的卷積核。

• 激活函數f(x)用ReLU的話避免了x過大梯度趨於0（比如用sigmoid）而影響訓練的權值的情況（即GradientVanishing）。同時結果會更稀疏一些。

• 池化之後（例如保留鄰域內最大或採納平均以舍棄一些信息）一定程度也壓制了過擬合的情況。

綜述

總體來說就是重復卷積-relu來提取特徵，進行池化之後再作更深層的特徵提取，實質上深層卷積網路的主要作用在於特徵提取。最後一層直接用softmax來分類（獲得一個介於0~1的值表達輸入屬於這一類別的概率）。

D. CNN（卷積神經網路）是什麼

在數字圖像處理的時候我們用卷積來濾波是因為我們用的卷積模版在頻域上確實是高通低通帶通等等物理意義上的濾波器。然而在神經網路中，模版的參數是訓練出來的，我認為是純數學意義的東西，很難理解為在頻域上還有什麼意義，所以我不認為神經網路里的卷積有濾波的作用。接著談一下個人的理解。首先不管是不是卷積神經網路，只要是神經網路，本質上就是在用一層層簡單的函數（不管是sigmoid還是Relu）來擬合一個極其復雜的函數，而擬合的過程就是通過一次次back propagation來調參從而使代價函數最小。

E. 神經網路中的訓練次數是指什麼

神經網路中的訓練次數是訓練時，1個batch訓練圖像通過網路訓練一次（一次前向傳播+一次後向傳播），每迭代一次權重更新一次；測試時，1個batch測試圖像通過網路一次（一次前向傳播）的次數。

在機器學習和相關領域，人工神經網路（人工神經網路）的計算模型靈感來自動物的中樞神經系統（尤其是腦），並且被用於估計或可以依賴於大量的輸入和一般的未知近似函數。人工神經網路通常呈現為相互連接的「神經元」，它可以從輸入的計算值，並且能夠機器學習以及模式識別由於它們的自適應性質的系統。

例如，用於手寫體識別的神經網路是由一組可能被輸入圖像的像素激活的輸入神經元來限定。後進過加權，並通過一個函數（由網路的設計者確定的）轉化，這些神經元的致動被上到其他神經元然後被傳遞。重復此過程，直到最後，一輸出神經元被激活。這決定了哪些字元被讀取。

(5)卷積神經網路權重更新了多少次擴展閱讀

神經網路分類：

1、選擇模式：這將取決於數據的表示和應用。過於復雜的模型往往會導致問題的學習。

2、學習演算法：在學習演算法之間有無數的權衡。幾乎所有的演算法為了一個特定的數據集訓練將會很好地與正確的超參數合作。然而，選擇和調整的演算法上看不見的數據訓練需要顯著量的實驗。

3、穩健性：如果該模型中，成本函數和學習演算法，適當地選擇所得到的神經網路可以是非常健壯的。有了正確的實施，人工神經網路，可以自然地應用於在線學習和大型數據集的應用程序。其簡單的實現和表現在結構上主要依賴本地的存在，使得在硬體快速，並行實現。

F. 如何理解卷積神經網路中的權值共享

所謂的權值共享就是說，給一張輸入圖片，用一個filter去掃這張圖，filter裡面的數就叫權重，這張圖每個位置是被同樣的filter掃的，所以權重是一樣的，也就是共享。 這么說可能還不太明白，如果你能理解什麼叫全連接神經網路的話，那麼從一個盡量減少參數個數的角度去理解就可以了。 對於一張輸入圖片，大小為W*H，如果使用全連接網路，生成一張X*Y的feature map，需要W*H*X*Y個參數，如果原圖長寬是10^2級別的，而且XY大小和WH差不多的話，那麼這樣一層網路需要的參數個數是10^8~10^12級別。 這么多參數肯定是不行的，那麼我們就想辦法減少參數的個數對於輸出層feature map上的每一個像素，他與原圖片的每一個像素都有連接，每一個鏈接都需要一個參數。但注意到圖像一般都是局部相關的，那麼如果輸出層的每一個像素只和輸入層圖片的一個局部相連，那麼需要參數的個數就會大大減少。假設輸出層每個像素只與輸入圖片上F*F的一個小方塊有連接，也就是說輸出層的這個像素值，只是通過原圖的這個F*F的小方形中的像素值計算而來，那麼對於輸出層的每個像素，需要的參數個數就從原來的W*H減小到了F*F。如果對於原圖片的每一個F*F的方框都需要計算這樣一個輸出值，那麼需要的參數只是W*H*F*F，如果原圖長寬是10^2級別，而F在10以內的話，那麼需要的參數的個數只有10^5~10^6級別，相比於原來的10^8~10^12小了很多很多。

G. 卷積神經網路演算法是什麼

一維構築、二維構築、全卷積構築。

卷積神經網路（Convolutional Neural Networks, CNN）是一類包含卷積計算且具有深度結構的前饋神經網路（Feedforward Neural Networks），是深度學習（deep learning）的代表演算法之一。

卷積神經網路具有表徵學習（representation learning）能力，能夠按其階層結構對輸入信息進行平移不變分類（shift-invariant classification），因此也被稱為「平移不變人工神經網路（Shift-Invariant Artificial Neural Networks, SIANN）」。

卷積神經網路的連接性：

卷積神經網路中卷積層間的連接被稱為稀疏連接（sparse connection），即相比於前饋神經網路中的全連接，卷積層中的神經元僅與其相鄰層的部分，而非全部神經元相連。具體地，卷積神經網路第l層特徵圖中的任意一個像素（神經元）都僅是l-1層中卷積核所定義的感受野內的像素的線性組合。

卷積神經網路的稀疏連接具有正則化的效果，提高了網路結構的穩定性和泛化能力，避免過度擬合，同時，稀疏連接減少了權重參數的總量，有利於神經網路的快速學習，和在計算時減少內存開銷。

卷積神經網路中特徵圖同一通道內的所有像素共享一組卷積核權重系數，該性質被稱為權重共享（weight sharing）。權重共享將卷積神經網路和其它包含局部連接結構的神經網路相區分，後者雖然使用了稀疏連接，但不同連接的權重是不同的。權重共享和稀疏連接一樣，減少了卷積神經網路的參數總量，並具有正則化的效果。

在全連接網路視角下，卷積神經網路的稀疏連接和權重共享可以被視為兩個無限強的先驗（pirior），即一個隱含層神經元在其感受野之外的所有權重系數恆為0（但感受野可以在空間移動）；且在一個通道內，所有神經元的權重系數相同。

H. 深度學習卷積神經網路要迭代多少次為好

看數據量吧，少點2000次就夠了，多點幾萬次

I. 卷積神經網路問題

一般不是一張，是一個batch size