不用反向傳播如何訓練神經網路

⑴ 正向傳播的神經網路是什麼原理，沒有反向傳播，只有正向而已！是啥原理！

沒有BP過程，就是參數不會被反向更新？參數初始化個啥最終結果就是啥，那這個網路能用來幹嘛

⑵ 如何訓練深度神經網路

deeplearinig就是神經網路的一類，就是解決的訓練問題的深層神經網路，所以你這問題「深度學習會代替神經網路『就不對，BP么，BP有自己的優勢，也是很成熟的演算法，做手寫識別等等效果已經商用化了，不會被輕易替代。deeplearning遠比BP要復雜，用來解決的問題也不是一個層面，所以也沒有替代的必要。Deeplearning所涉及的問題大多數BP都沒法解決的。

度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構，通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。深度學習的概念由Hinton等人於2006年提出，基於深信度網(DBN)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。
系統地論述了神經網路的基本原理、方法、技術和應用，主要內容包括：神經信息處理的基本原理、感知器、反向傳播網路、自組織網路、遞歸網路、徑向基函數網路、核函數方法、神經網路集成、模糊神經網路、概率神經網路、脈沖耦合神經網路、神經場理論、神經元集群以及神經計算機。每章末附有習題，書末附有詳細的參考文獻。神經網路是通過對人腦或生物神經網路的抽象和建模，研究非程序的、適應性的、大腦風格的信息處理的本質和能力。它以腦科學和認知神經科學的研究成果為基礎，拓展智能信息處理的方法，為解決復雜問題和智能控制提供有效的途徑，是智能科學和計算智能的重要部分。

⑶ 如何理解神經網路裡面的反向傳播演算法

反向傳播演算法（Backpropagation）是目前用來訓練人工神經網路（Artificial Neural Network，ANN）的最常用且最有效的演算法。其主要思想是：
（1）將訓練集數據輸入到ANN的輸入層，經過隱藏層，最後達到輸出層並輸出結果，這是ANN的前向傳播過程；
（2）由於ANN的輸出結果與實際結果有誤差，則計算估計值與實際值之間的誤差，並將該誤差從輸出層向隱藏層反向傳播，直至傳播到輸入層；
（3）在反向傳播的過程中，根據誤差調整各種參數的值；不斷迭代上述過程，直至收斂。

反向傳播演算法的思想比較容易理解，但具體的公式則要一步步推導，因此本文著重介紹公式的推導過程。

1. 變數定義

上圖是一個三層人工神經網路，layer1至layer3分別是輸入層、隱藏層和輸出層。如圖，先定義一些變數：
表示第層的第個神經元連接到第層的第個神經元的權重；
表示第層的第個神經元的偏置；
表示第層的第個神經元的輸入，即：

表示第層的第個神經元的輸出，即：

其中表示激活函數。

2. 代價函數
代價函數被用來計算ANN輸出值與實際值之間的誤差。常用的代價函數是二次代價函數（Quadratic cost function）：

其中，表示輸入的樣本，表示實際的分類，表示預測的輸出，表示神經網路的最大層數。

3. 公式及其推導
本節將介紹反向傳播演算法用到的4個公式，並進行推導。如果不想了解公式推導過程，請直接看第4節的演算法步驟。
首先，將第層第個神經元中產生的錯誤（即實際值與預測值之間的誤差）定義為：

本文將以一個輸入樣本為例進行說明，此時代價函數表示為：

公式1（計算最後一層神經網路產生的錯誤）：

其中，表示Hadamard乘積，用於矩陣或向量之間點對點的乘法運算。公式1的推導過程如下：

公式2（由後往前，計算每一層神經網路產生的錯誤）：

推導過程：

公式3（計算權重的梯度）：

推導過程：

公式4（計算偏置的梯度）：

推導過程：

4. 反向傳播演算法偽代碼

輸入訓練集

對於訓練集中的每個樣本x，設置輸入層（Input layer）對應的激活值：
前向傳播：
，

計算輸出層產生的錯誤：

反向傳播錯誤：

⑷ 請問如何實現不同神經網路層之間的連接

輸出的數量取決於你的target怎麼設置，比如你的輸入是一個5行n列的數據，輸出是一個4行n列的數據，你用這個數據初始化並且訓練神經網路，得到的當然是5個輸入值4個輸出值的神經網路。
函數怎麼寫的話，去看matlab 幫助，搜索newff，你就能看到用法了。

⑸ 神經網路正向傳播，沒有反向傳播，學習樣本過多，是不是又慢又卡

神經網路反向傳播訓練函數:traingdm traingda trainoss trainrb traincgf traincgb、traingdx、trainlm等反向傳播權/閾值學習函數有learngdm、learncon、learngd、learnh、learnhd、learnis、learnos、learnp、learnk、learnpn、learnsom、learnwh等

⑹ 斯坦福深度學習cnn里最後一個練習怎麼沒有反向傳播

下面我盡可能地用簡單的語言來闡述下我的看法（敘述中假設你已經大致知道什麼是深度學習和神經網路：大數據和高性能計算

在如今的互聯網時代，都讓神經網路有了前所未有的「更深」的可能，一批新方法被發明出來（Denoise Autoencoder、圖像識別中，他提出了利用RBM預訓練的方法。幾年後人們發現？

3，拋磚引玉。在這個框架下？

2，deep learning還會進一步推動更多AI領域的發展，即用特定結構將網路先初始化到一個差不多「好」的程度，從一定程度上解決了之前網路「深不了」的問題，再回到傳統的訓練方法（反向傳播BP），並且可以模擬人腦的運作形式，深度學習重新得到了人們重視，大家共同討論，但是計算速度跟不上。

當然，人的聰明才智是無窮無盡的，淺層的神經網路啥都達不到：

==============================我是分割線============================

1. 為什麼深度學習突然間火起來了，是論證完整化的標准，即便不做預訓練，需要程序員辛辛苦苦寫代碼，也能使深層網路得到非常好的結果。一個我所知道的例子是自然語言處理NLP中詞向量（Word Embedding）方法對傳統語言模型的提升[1]。

有大數據和高性能計算打下最堅實的基礎，就是使語音，GPU並行計算的發展確實極大推動了深度學習的普及？這也是為什麼有人認為神經網路火起來完全是因為GPU使得計算方法更快更好了，性能反而還不如一兩層的淺模型。這樣得到的深度網路似乎就能達到一個不錯的結果。

雖然神經網路「號稱」自己可以擬合任何函數、圖像識別獲得了長足的進步，基本都是沒有預訓練步驟的，深度學習DeepLearning最為人所關注也表現最明顯的，只是我忍不住再談談自己的理解. 為什麼深度學習能成功地應用到語音，順便認為你已經瀏覽了其他答案）？

為了讓更多對深度學習感興趣的朋友看懂，只要有足夠多的數據。沒有了規模，了解神經網路的基本原理。其實有的同學已經回答得很漂亮了，Dropout. 為什麼深度學習會應用到語音識別和圖像識別中，我覺得可以從以下三點遞進地解決題主的疑問. 為什麼深度學習突然間火起來了，想像你有好多好多數據（百萬幅圖片。而人們發現：

1，那這個研究也完全不必要做了吧，預訓練本身也不像全連接那麼好做了，優化多層神經網路是一個高度非凸的問題，訓練就難以收斂。從這個意義上，訓練一個網路需要好幾年（做機器學習的人應該知道這個完全沒有誇張吧）Deep learning實際上同時推動了很多領域的發展，如果在五六年之前。

在2006年Hinton的那篇文章中。這個嚴重的問題直接導致了神經網路方法的上一次衰敗，你說誰干呢……現在的語音識別或圖像識別系統。那些篤信深度學習的學者們使用了各種各樣的演算法激發深度學習的潛能，取得突破，但是這一切都是建立在神經網路足夠深足夠大的基礎上，比如微軟的殘差學習[2]？

談到這個問題，再多的數據也不能把傳統的神經網路訓練到152層啊；而且我相信。而針對卷積神經網路CNN或者LSTM來說，還需要researcher辛辛苦苦想演算法，上萬小時語音）。否則，當網路層數太多了之後，ReLU……），或者只能收斂到一個次優的局部最優解，我們應該加入兩個甚至更加關鍵的元素。

但是我們現在再回過頭來看這個問題。

而高性能計算是與大數據相輔相成的。一個技術不能很大地提升性能，如果擁有大量的訓練樣本，近十年來數據量的積累是爆炸式的，很多人肯定會說是因為Hinton在Science上的那篇論文「Recing the dimensionality ofdata with neural networks」。

本著讀書人簡單問題復雜化……啊呸

⑺ 在神經網路中,我們是通過以下哪個方法在訓練網路的時候更新參數,從而最小化損

選D反向傳播演算法。反向傳播是深度神經網路的一種反饋機制，確保參數更新使損失函數向下降最快的方向下降。

⑻ deep learning初學該怎麼入門是要先好好學習神經網路嗎

肯定要學會神經網路啊，因為深度學習本身就是神經網路演算法，之所以叫深度學習是為了突出深度這個詞。這個深度代表很多的神經網路的層數。因為以前所說的神經網路演算法沒有好的訓練方法，最終訓練的神經網路有2到3層就是極限了，對於很多應用來說沒有實際價值。以前的主流神經網路訓練方法叫反向傳播，但是也解決不了隨著神經網路層數的增加而梯度消失的問題。在2006年由GeffryHiton提出使用逐層貪婪預訓練的方式，使得神經網路可以高效的訓練，層數可以達到很多層，加上雲計算在計算能力上的主推，使得神經網路有了很大的實用價值。你初學的話只要知道深度學習就是神經網路，只是深度上有突破就可以了。可以參考小面的文章。

⑼ 深度神經網路是如何訓練的

Coursera的Ng機器學習，UFLDL都看過。沒記錯的話Ng的機器學習里是直接給出公式了，雖然你可能知道如何求解，但是即使不知道完成作業也不是問題，只要照著公式寫就行。反正我當時看的時候心裡並沒能比較清楚的明白。我覺得想了解深度學習UFLDL教程 - Ufldl是不錯的。有習題，做完的話確實會對深度學習有更加深刻的理解，但是總還不是很清晰。後來看了Li FeiFei的Stanford University CS231n: Convolutional Neural Networks for Visual Recognition，我的感覺是對CNN的理解有了很大的提升。沉下心來推推公式，多思考，明白了反向傳播本質上是鏈式法則(雖然之前也知道，但是當時還是理解的迷迷糊糊的)。所有的梯度其實都是對最終的loss進行求導得到的，也就是標量對矩陣or向量的求導。當然同時也學到了許多其他的關於cnn的。並且建議你不僅要完成練習，最好能自己也寫一個cnn，這個過程可能會讓你學習到許多更加細節和可能忽略的東西。這樣的網路可以使用中間層構建出多層的抽象，正如我們在布爾線路中做的那樣。例如，如果我們在進行視覺模式識別，那麼在第一層的神經元可能學會識別邊，在第二層的神經元可以在邊的基礎上學會識別出更加復雜的形狀，例如三角形或者矩形。第三層將能夠識別更加復雜的形狀。依此類推。這些多層的抽象看起來能夠賦予深度網路一種學習解決復雜模式識別問題的能力。然後，正如線路的示例中看到的那樣，存在著理論上的研究結果告訴我們深度網路在本質上比淺層網路更加強大。

⑽ 神經網路演算法原理

4.2.1 概述

人工神經網路的研究與計算機的研究幾乎是同步發展的。1943年心理學家McCulloch和數學家Pitts合作提出了形式神經元的數學模型，20世紀50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函數的概念提出了神經網路的一種數學模型，1986年，Rumelhart及LeCun等學者提出了多層感知器的反向傳播演算法等。

神經網路技術在眾多研究者的努力下，理論上日趨完善，演算法種類不斷增加。目前，有關神經網路的理論研究成果很多，出版了不少有關基礎理論的著作，並且現在仍是全球非線性科學研究的熱點之一。

神經網路是一種通過模擬人的大腦神經結構去實現人腦智能活動功能的信息處理系統，它具有人腦的基本功能，但又不是人腦的真實寫照。它是人腦的一種抽象、簡化和模擬模型，故稱之為人工神經網路（邊肇祺，2000）。

人工神經元是神經網路的節點，是神經網路的最重要組成部分之一。目前，有關神經元的模型種類繁多，最常用最簡單的模型是由閾值函數、Sigmoid 函數構成的模型（圖 4-3）。

儲層特徵研究與預測

以上演算法是對每個樣本作權值修正，也可以對各個樣本計算δ_j後求和，按總誤差修正權值。