如何調整神經網路學習率

A. 神經網路演算法中，參數的設置或者調整，有什麼方法可以採用

若果對你有幫助，請點贊。
神經網路的結構（例如2輸入3隱節點1輸出）建好後，一般就要求神經網路里的權值和閾值。現在一般求解權值和閾值，都是採用梯度下降之類的搜索演算法（梯度下降法、牛頓法、列文伯格-馬跨特法、狗腿法等等），這些演算法會先初始化一個解，在這個解的基礎上，確定一個搜索方向和一個移動步長（各種法算確定方向和步長的方法不同，也就使各種演算法適用於解決不同的問題），使初始解根據這個方向和步長移動後，能使目標函數的輸出（在神經網路中就是預測誤差）下降。 然後將它更新為新的解，再繼續尋找下一步的移動方向的步長，這樣不斷的迭代下去，目標函數（神經網路中的預測誤差）也不斷下降，最終就能找到一個解，使得目標函數（預測誤差）比較小。
而在尋解過程中，步長太大，就會搜索得不仔細，可能跨過了優秀的解，而步長太小，又會使尋解過程進行得太慢。因此，步長設置適當非常重要。
學習率對原步長（在梯度下降法中就是梯度的長度）作調整，如果學習率lr = 0.1,那麼梯度下降法中每次調整的步長就是0.1*梯度，
而在matlab神經網路工具箱里的lr,代表的是初始學習率。因為matlab工具箱為了在尋解不同階段更智能的選擇合適的步長，使用的是可變學習率，它會根據上一次解的調整對目標函數帶來的效果來對學習率作調整，再根據學習率決定步長。
機制如下：
if newE2/E2 > maxE_inc %若果誤差上升大於閾值
lr = lr * lr_dec; %則降低學習率
else
if newE2 < E2 %若果誤差減少
lr = lr * lr_inc;%則增加學習率
end
詳細的可以看《神經網路之家》nnetinfo里的《[重要]寫自己的BP神經網路(traingd)》一文，裡面是matlab神經網路工具箱梯度下降法的簡化代碼

若果對你有幫助，請點贊。
祝學習愉快

B. 如何提高pb神經網路分類的准確率

要想提高BP神經網路分類的准確率，關鍵在於提高網路性能，使網路能夠反映數據的內部非線性規律。一般有以下幾種措施：

1. 保證學習樣本質量。網路的輸出結果質量不可能超出原始訓練數據的質量，一定要保證樣本准確、典型、規模足夠大。

2. 選定合適的輸入向量方案。輸入向量的配置方案不是固定的，可以添加自變數，增加因素。

3. 選定適當的隱層節點數。過少學習能力不足，過多可能過擬合並且學習較慢。

4. 調整參數，如學習率、學習目標等。

5. 與其他演算法結合進行改進。如帶動量項的BP演算法、與GA演算法融合的GA-BP演算法等。

6. 效果不理想時，可考慮增加隱層數量。
   

C. 深度學習中的神經網路參數怎麼調整

根據前一次運行的情況做調整，例如出現梯度爆炸則要調低學習速率，出現過擬合則要調高正則化參數的系數。

D. 卷積神經網路中的learn rate是怎麼設置的

學習率的作用是不斷調整權值閾值。對於traingdm等函數建立的BP網路，學習速率一般取0.01-0.1之間。

E. 有哪位大神知道BP神經網路變學習率學習演算法在Matlab中怎麼實現啊

額。。。
一種啟發式的改進就是，為學習速率選用自適應值，它依賴於連續迭代步驟中的誤差函數值。
自適應調整學習速率的梯度下降演算法,在訓練的過程中,力圖使演算法穩定,同時又使學習的步長盡量地大,學習速率則是根據局部誤差曲面作出相應的調整。當誤差以減小的方式趨於目標時,說明修正方向正確,於是步長（學習速率）增加,因此學習速率乘以增量因子Ir_inc,使學習速率增加;而當誤差增加超過設定的值C倍時,說明修正過頭,應減小步長,因此學習速率乘以減量因子Ir_dec,使學習速率減少.其他情況學習速率則不變。
Matlab 里有對應的變學習速率的函數。
bpnet=newff(x,[60,4],{'logsig','logsig'},'traingda'); %'traingda'表示自適應學習速率調整方法
bpnet.trainParam.show=50;
bpnet.trainParam.lr=0.01; %預設值的學習速率
bpnet.trainParam.epochs=3000;
bpnet.trainParam.goal=0.247;
bpnet.trainParam.Ir_inc=1.05; %增加的學習速率倍數，默認為1.05
bpnet.trainParam.Ir_dec=0.7; %減少的學習速率倍數，默認為0.7
bpnet.trainParam.max_perf_inc=1.04; %誤差函數增加為迭代前的1.04時，減少學習速率。默認為1.04
[bpnet]=train(bpnet,p,t);
save bpnet;
%%%%%%%%%%%%%%%%%%%%

F. 你好，請問你知道在matlab神經網路工具箱里，學習率在哪裡設置嗎

lr就是學習率，performance是主要指標，你在程序里寫的goal就是MSE，決定最後精度的。

%%BP演算法
functionOut=bpnet(p,t,p_test)
globalS1
net=newff(minmax(p),[S1,8],{'tansig','purelin'},'trainlm');%trainlm訓練函數最有效
%net=newff(P,T,31,{'tansig','purelin'},'trainlm');%新版用法
net.trainParam.epochs=1000;
net.trainParam.goal=0.00001;
net.trainParam.lr=0.01;%這是學習率
net=train(net,p,t);
Out=sim(net,p_test);
end

G. 如何在卷積神經網路中，當識別率低的時候設置大的學習率，識別率高的時候設置小的學習率。

把學習率作為placeholder試試

H. 神經網路BP演算法中,如何選擇網路學習效率及閾值調整效率

學習效率一般取0~1之間的數如：0.1,0.4，網路初始化閾值賦值（0,1）區間內隨機數，之後通過神經網路訓練不斷調整。樓主只用調整學習效率就行了

I. 人工神經網路是怎麼學習的呢

1、神經網路的結構（例如2輸入3隱節點1輸出）建好後，一般就要求神經網路里的權值和閾值。現在一般求解權值和閾值，都是採用梯度下降之類的搜索演算法（梯度下降法、牛頓法、列文伯格-馬跨特法、狗腿法等等）。 2、這些演算法會先初始化一個解，在這個解的基礎上，確定一個搜索方向和一個移動步長（各種法算確定方向和步長的方法不同，也就使各種演算法適用於解決不同的問題），使初始解根據這個方向和步長移動後，能使目標函數的輸出（在神經網路中就是預測誤差）下降。 3、然後將它更新為新的解，再繼續尋找下一步的移動方向的步長，這樣不斷的迭代下去，目標函數（神經網路中的預測誤差）也不斷下降，最終就能找到一個解，使得目標函數（預測誤差）比較小。 4、而在尋解過程中，步長太大，就會搜索得不仔細，可能跨過了優秀的解，而步長太小，又會使尋解過程進行得太慢。因此，步長設置適當非常重要。 5、學習率對原步長（在梯度下降法中就是梯度的長度）作調整，如果學習率lr = 0.1,那麼梯度下降法中每次調整的步長就是0.1*梯度， 6、而在matlab神經網路工具箱里的lr,代表的是初始學習率。因為matlab工具箱為了在尋解不同階段更智能的選擇合適的步長，使用的是可變學習率，它會根據上一次解的調整對目標函數帶來的效果來對學習率作調整，再根據學習率決定步長。

J. TensorFlow神經網路調優

訓練集73%應該不夠吧（笑）
先進一步擬合數據，讓網路變得更深及更寬，具體可以的話128個節點可以繼續加大，兩層網路可以繼續加深，以及選取更小的學習率（0.01或者1e-4，1太可怕了）
等到可以擬合數據了以後，再調節過擬合的問題，具體來說使用dropout、正則化參數、提前終止等