神經網路實時在線訓練如何實現

⑴ 如何訓練神經網路

1、先別著急寫代碼

訓練神經網路前，別管代碼，先從預處理數據集開始。我們先花幾個小時的時間，了解數據的分布並找出其中的規律。

Andrej有一次在整理數據時發現了重復的樣本，還有一次發現了圖像和標簽中的錯誤。所以先看一眼數據能避免我們走很多彎路。

由於神經網路實際上是數據集的壓縮版本，因此您將能夠查看網路（錯誤）預測並了解它們的來源。如果你的網路給你的預測看起來與你在數據中看到的內容不一致，那麼就會有所收獲。

一旦從數據中發現規律，可以編寫一些代碼對他們進行搜索、過濾、排序。把數據可視化能幫助我們發現異常值，而異常值總能揭示數據的質量或預處理中的一些錯誤。

2、設置端到端的訓練評估框架

處理完數據集，接下來就能開始訓練模型了嗎？並不能！下一步是建立一個完整的訓練+評估框架。

在這個階段，我們選擇一個簡單又不至於搞砸的模型，比如線性分類器、CNN，可視化損失。獲得准確度等衡量模型的標准，用模型進行預測。

這個階段的技巧有：

· 固定隨機種子

使用固定的隨機種子，來保證運行代碼兩次都獲得相同的結果，消除差異因素。

· 簡單化

在此階段不要有任何幻想，不要擴增數據。擴增數據後面會用到，但是在這里不要使用，現在引入只會導致錯誤。

· 在評估中添加有效數字

在繪制測試集損失時，對整個測試集進行評估，不要只繪制批次測試損失圖像，然後用Tensorboard對它們進行平滑處理。

· 在初始階段驗證損失函數

驗證函數是否從正確的損失值開始。例如，如果正確初始化最後一層，則應在softmax初始化時測量-log(1/n_classes)。

· 初始化

正確初始化最後一層的權重。如果回歸一些平均值為50的值，則將最終偏差初始化為50。如果有一個比例為1:10的不平衡數據集，請設置對數的偏差，使網路預測概率在初始化時為0.1。正確設置這些可以加速模型的收斂。

· 人類基線

監控除人為可解釋和可檢查的損失之外的指標。盡可能評估人的准確性並與之進行比較。或者對測試數據進行兩次注釋，並且對於每個示例，將一個注釋視為預測，將第二個注釋視為事實。

· 設置一個獨立於輸入的基線

最簡單的方法是將所有輸入設置為零，看看模型是否學會從輸入中提取任何信息。

· 過擬合一個batch

增加了模型的容量並驗證我們可以達到的最低損失。

· 驗證減少訓練損失

嘗試稍微增加數據容量。

⑵ 如何實現神經網路控制器的「離線訓練，在線修正」

% 讀入訓練數據和測試數據 Input = []; Output = []; str = {'Test','Check'}; Data = textread([str{1},'.txt']); % 讀訓練數據 Input = Data(:,1:end-1); % 取數據表的前五列（主從成分） Output = Data(:,end); % 取數據表的最後一列

⑶ 在神經網路演算法當中提到的在線訓練和離線訓練分別是什麼意思

在線訓練的話數據是實時過來的。所採用的演算法必須得考慮這種實時性。而離線的話數據都已得到，即不會隨著時間的變化有新的數據到來

⑷ 如何用python和scikit learn實現神經網路

1：神經網路演算法簡介

2：Backpropagation演算法詳細介紹

3：非線性轉化方程舉例

4：自己實現神經網路演算法NeuralNetwork

5：基於NeuralNetwork的XOR實例

6：基於NeuralNetwork的手寫數字識別實例

7：scikit-learn中BernoulliRBM使用實例

8：scikit-learn中的手寫數字識別實例

一：神經網路演算法簡介

1：背景

以人腦神經網路為啟發，歷史上出現過很多版本，但最著名的是backpropagation

2：多層向前神經網路（Multilayer Feed-Forward Neural Network）

⑸ 什麼是人工神經網路的學習它可以通過哪些途徑來實現

早在1943 年，神經科學家和控制論專家Warren McCulloch 與邏輯學家Walter Pitts就基於數學和閾值邏輯演算法創造了一種神經網路計算模型。其中最基本的組成成分是神經元（Neuron）模型，即上述定義中的「簡單單元」（Neuron 也可以被稱為Unit）。在生物學所定義的神經網路中（如圖1所示），每個神經元與其他神經元相連，並且當某個神經元處於興奮狀態時，它就會向其他相連的神經元傳輸化學物質，這些化學物質會改變與之相連的神經元的電位，當某個神經元的電位超過一個閾值後，此神經元即被激活並開始向其他神經元發送化學物質。Warren McCulloch 和Walter Pitts 將上述生物學中所描述的神經網路抽象為一個簡單的線性模型（如圖2所示），這就是一直沿用至今的「McCulloch-Pitts 神經元模型」，或簡稱為「MP 模型」。

在MP 模型中，某個神經元接收到來自n 個其他神經元傳遞過來的輸入信號（好比生物學中定義的神經元傳輸的化學物質），這些輸入信號通過帶權重的連接進行傳遞，某個神經元接收到的總輸入值將與它的閾值進行比較，然後通過「激活函數」（亦稱響應函數）處理以產生此神經元的輸出。如果把許多個這樣的神經元按照一定的層次結構連接起來，就可以得到相對復雜的多層人工神經網路。

⑹ 求PSO—BP神經網路訓練方法，matlab實現的

輸入層、隱層的神經元激勵函數選為S型函數，輸出層採用線性函數purelin。各層的節點數分別為3、10、2，訓練步數選為1500次。在Matlab中進行BP神經網路的建立、訓練、模擬，結果如下：
T=[0.23 0.23];目標輸出值
P=[-04953 -0.4915 ;0.4889 0.6160; 0.3708 0.4535]; 輸入矩陣三行兩列
net=newff(minmax(P),[5,12,1],{'tansig','tansig','purelin'},'traingd');網路建立、訓練
net.trainParam.epochs=1500;訓練步數
net.trainParam.goal=0.00001;均方誤差
[net,tr]=train(net,P,T);進行訓練
y=sim(net,P)輸出的結果

⑺ 怎樣用weka對數據進行神經網路訓練

常用的神經網路就是向前反饋的BP(Back Propagation)網路，也叫多層前饋網路，而BP在weka中就是由MultilayerPerceptron演算法實現的。

所以呢
在weka explorer中選用classifiers.functions.MultilayerPerceptron訓練分類模型就可以了^^

⑻ 深度神經網路是如何訓練的

Coursera的Ng機器學習，UFLDL都看過。沒記錯的話Ng的機器學習里是直接給出公式了，雖然你可能知道如何求解，但是即使不知道完成作業也不是問題，只要照著公式寫就行。反正我當時看的時候心裡並沒能比較清楚的明白。我覺得想了解深度學習UFLDL教程 - Ufldl是不錯的。有習題，做完的話確實會對深度學習有更加深刻的理解，但是總還不是很清晰。後來看了Li FeiFei的Stanford University CS231n: Convolutional Neural Networks for Visual Recognition，我的感覺是對CNN的理解有了很大的提升。沉下心來推推公式，多思考，明白了反向傳播本質上是鏈式法則(雖然之前也知道，但是當時還是理解的迷迷糊糊的)。所有的梯度其實都是對最終的loss進行求導得到的，也就是標量對矩陣or向量的求導。當然同時也學到了許多其他的關於cnn的。並且建議你不僅要完成練習，最好能自己也寫一個cnn，這個過程可能會讓你學習到許多更加細節和可能忽略的東西。這樣的網路可以使用中間層構建出多層的抽象，正如我們在布爾線路中做的那樣。例如，如果我們在進行視覺模式識別，那麼在第一層的神經元可能學會識別邊，在第二層的神經元可以在邊的基礎上學會識別出更加復雜的形狀，例如三角形或者矩形。第三層將能夠識別更加復雜的形狀。依此類推。這些多層的抽象看起來能夠賦予深度網路一種學習解決復雜模式識別問題的能力。然後，正如線路的示例中看到的那樣，存在著理論上的研究結果告訴我們深度網路在本質上比淺層網路更加強大。

⑼ 神經網路如何用單片機實現

主要考慮三個方向：

1）網路本身，神網本質上是一組矩陣，矩陣在單片機中的表現可以通過數組來實現。

2）輸入輸出，神網的應用就是把輸入陣列與網路本身的矩陣點乘叉乘後算術求和，產生輸出矩陣，把輸入輸出的演算法做到單片機里也不是難事。

3）訓練，神網的權值矩陣都是訓練出來的，採用諸如前向或反向的演算法，可以做離線也可以做在線，如果做離線就沒有必要把演算法實現在單片機內，PC上就可以做，然後導入矩陣即可；如果做在線則是相對較難的技術，需要在單片機上實現，對於單片機本身的資源要求也較高。

簡單說，1）是基礎，也最容易；1）+2）就已經是神經網路的應用了，也容易實現。1）+2）+Matlab神經網路離線訓練是易於實現，且富有彈性的應用方式；1）+2）+在線訓練基本上就是具備自己學習能力的機器人，這是學術界一直探索的方向。