用於預測的神經網路有哪些

Ⅲ 預測模型可分為哪幾類

根據方法本身的性質特點將預測方法分為三類。

1、定性預測方法

根據人們對系統過去和現在的經驗、判斷和直覺進行預測，其中以人的邏輯判斷為主，僅要求提供系統發展的方向、狀態、形勢等定性結果。該方法適用於缺乏歷史統計數據的系統對象。

2、時間序列分析

根據系統對象隨時間變化的歷史資料，只考慮系統變數隨時間的變化規律，對系統未來的表現時間進行定量預測。主要包括移動平均法、指數平滑法、趨勢外推法等。該方法適於利用簡單統計數據預測研究對象隨時間變化的趨勢等。

3、因果關系預測

系統變數之間存在某種前因後果關系，找出影響某種結果的幾個因素，建立因與果之間的數學模型，根據因素變數的變化預測結果變數的變化，既預測系統發展的方向又確定具體的數值變化規律。

(3)用於預測的神經網路有哪些擴展閱讀：

預測模型是在採用定量預測法進行預測時，最重要的工作是建立預測數學模型。預測模型是指用於預測的，用數學語言或公式所描述的事物間的數量關系。它在一定程度上揭示了事物間的內在規律性，預測時把它作為計算預測值的直接依據。

因此，它對預測准確度有極大的影響。任何一種具體的預測方法都是以其特定的數學模型為特徵。預測方法的種類很多，各有相應的預測模型。

趨勢外推預測方法是根據事物的歷史和現實數據，尋求事物隨時間推移而發展變化的規律，從而推測其未來狀況的一種常用的預測方法。

趨勢外推法的假設條件是：

(1)假設事物發展過程沒有跳躍式變化，即事物的發展變化是漸進型的。

(2)假設所研究系統的結構、功能等基本保持不變，即假定根據過去資料建立的趨勢外推模型能適合未來，能代表未來趨勢變化的情況。

由以上兩個假設條件可知，趨勢外推預測法是事物發展漸進過程的一種統計預測方法。簡言之，就是運用一個數學模型，擬合一條趨勢線，然後用這個模型外推預測未來時期事物的發展。

趨勢外推預測法主要利用描繪散點圖的方法(圖形識別)和差分法計算進行模型選擇。

主要優點是：可以揭示事物發展的未來，並定量地估價其功能特性。

趨勢外推預測法比較適合中、長期新產品預測，要求有至少5年的數據資料。

組合預測法是對同一個問題，採用多種預測方法。組合的主要目的是綜合利用各種方法所提供的信息，盡可能地提高預測精度。組合預測有 2 種基本形式，一是等權組合， 即各預測方法的預測值按相同的權數組合成新的預測值；二是不等權組合，即賦予不同預測方法的預測值不同的權數。

這 2 種形式的原理和運用方法完全相同，只是權數的取定有所區別。 根據經驗，採用不等權組合的組合預測法結果較為准確。

回歸預測方法是根據自變數和因變數之間的相關關系進行預測的。自變數的個數可以一個或多個，根據自變數的個數可分為一元回歸預測和多元回歸預測。同時根據自變數和因變數的相關關系，分為線性回歸預測方法和非線性回歸方法。

回歸問題的學習等價於函數擬合：選擇一條函數曲線使其很好的擬合已知數據且能很好的預測未知數據。

Ⅳ bp神經網路

BP（Back Propagation）網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。

人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。

所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。

如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。

如圖所示拓撲結構的單隱層前饋網路，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，構成具有層次結構的前饋型神經網路系統。單計算層前饋神經網路只能求解線性可分問題，能夠求解非線性問題的網路必須是具有隱層的多層神經網路。
神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：

（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。

（2）建立理論模型。根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

（3）網路模型與演算法研究。在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。

（4）人工神經網路應用系統。在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人等等。

縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。
神經網路可以用作分類、聚類、預測等。神經網路需要有一定量的歷史數據，通過歷史數據的訓練，網路可以學習到數據中隱含的知識。在你的問題中，首先要找到某些問題的一些特徵，以及對應的評價數據，用這些數據來訓練神經網路。

雖然BP網路得到了廣泛的應用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。

首先，由於學習速率是固定的，因此網路的收斂速度慢，需要較長的訓練時間。對於一些復雜問題，BP演算法需要的訓練時間可能非常長，這主要是由於學習速率太小造成的，可採用變化的學習速率或自適應的學習速率加以改進。

其次，BP演算法可以使權值收斂到某個值，但並不保證其為誤差平面的全局最小值，這是因為採用梯度下降法可能產生一個局部最小值。對於這個問題，可以採用附加動量法來解決。

再次，網路隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網路往往存在很大的冗餘性，在一定程度上也增加了網路學習的負擔。

最後，網路的學習和記憶具有不穩定性。也就是說，如果增加了學習樣本，訓練好的網路就需要從頭開始訓練，對於以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。

Ⅳ 幾種常見的循環神經網路結構RNN、LSTM、GRU

傳統文本處理任務的方法中一般將TF-IDF向量作為特徵輸入。顯而易見，這樣的表示實際上丟失了輸入的文本序列中每個單詞的順序。在神經網路的建模過程中，一般的前饋神經網路，如卷積神經網路，通常接受一個定長的向量作為輸入。卷積神經網路對文本數據建模時，輸入變長的字元串或者單詞串，然後通過滑動窗口加池化的方式將原先的輸入轉換成一個固定長度的向量表示，這樣做可以捕捉到原文本中的一些局部特徵，但是兩個單詞之間的長距離依賴關系還是很難被學習到。
循環神經網路卻能很好地處理文本數據變長並且有序的輸入序列。它模擬了人閱讀一篇文章的順序，從前到後閱讀文章中的每一個單詞，將前面閱讀到的有用信息編碼到狀態變數中去，從而擁有了一定的記憶能力，可以更好地理解之後的文本。
其網路結構如下圖所示：

由圖可見，t是時刻，x是輸入層，s是隱藏層，o是輸出層，矩陣W就是隱藏層上一次的值作為這一次的輸入的權重。

如果反復把式 2 帶入到式 1，將得到：

其中f和g為激活函數，U為輸入層到隱含層的權重矩陣，W為隱含層從上一時刻到下一時刻狀態轉移的權重矩陣。在文本分類任務中，f可以選取Tanh函數或者ReLU函數，g可以採用Softmax函數。

通過最小化損失誤差（即輸出的y與真實類別之間的距離），我們可以不斷訓練網路，使得得到的循環神經網路可以准確地預測文本所屬的類別，達到分類目的。相比於卷積神經網路等前饋神經網路，循環神經網路由於具備對序列順序信息的刻畫能力，往往能得到更准確的結果。

RNN的訓練演算法為：BPTT
BPTT的基本原理和BP演算法是一樣的，同樣是三步：
1.前向計算每個神經元的輸出值；
2.反向計算每個神經元的誤差項值，它是誤差函數E對神經元j的加權輸入的偏導數；
3.計算每個權重的梯度。
最後再用隨機梯度下降演算法更新權重。
具體參考： https://www.jianshu.com/p/39a99c88a565
最後由鏈式法則得到下面以雅可比矩陣來表達的每個權重的梯度:

由於預測的誤差是沿著神經網路的每一層反向傳播的，因此當雅克比矩陣的最大特徵值大於1時，隨著離輸出越來越遠，每層的梯度大小會呈指數增長，導致梯度爆炸；反之，若雅克比矩陣的最大特徵值小於1，梯度的大小會呈指數縮小，產生梯度消失。對於普通的前饋網路來說，梯度消失意味著無法通過加深網路層次來改善神經網路的預測效果，因為無論如何加深網路，只有靠近輸出的若干層才真正起到學習的作用。 這使得循環神經網路模型很難學習到輸入序列中的長距離依賴關系 。

關於RNN梯度下降的詳細推導可以參考: https://zhuanlan.hu.com/p/44163528

梯度爆炸的問題可以通過梯度裁剪來緩解，即當梯度的範式大於某個給定值時，對梯度進行等比收縮。而梯度消失問題相對比較棘手，需要對模型本身進行改進。深度殘差網路是對前饋神經網路的改進，通過殘差學習的方式緩解了梯度消失的現象，從而使得我們能夠學習到更深層的網路表示；而對於循環神經網路來說，長短時記憶模型及其變種門控循環單元等模型通過加入門控機制，很大程度上彌補了梯度消失所帶來的損失。

LSTM的網路機構圖如下所示：

與傳統的循環神經網路相比，LSTM仍然是基於xt和ht−1來計算ht，只不過對內部的結構進行了更加精心的設計，加入了輸入門it 、遺忘門ft以及輸出門ot三個門和一個內部記憶單元ct。輸入門控制當前計算的新狀態以多大程度更新到記憶單元中；遺忘門控制前一步記憶單元中的信息有多大程度被遺忘掉；輸出門控制當前的輸出有多大程度上取決於當前的記憶單元。

在經典的LSTM模型中，第t層的更新計算公式為

其中it是通過輸入xt和上一步的隱含層輸出ht−1進行線性變換，再經過激活函數σ得到的。輸入門it的結果是向量，其中每個元素是0到1之間的實數，用於控制各維度流過閥門的信息量；Wi 、Ui兩個矩陣和向量bi為輸入門的參數，是在訓練過程中需要學習得到的。遺忘門ft和輸出門ot的計算方式與輸入門類似，它們有各自的參數W、U和b。與傳統的循環神經網路不同的是，從上一個記憶單元的狀態ct−1到當前的狀態ct的轉移不一定完全取決於激活函數計算得到的狀態，還由輸入門和遺忘門來共同控制。

在一個訓練好的網路中，當輸入的序列中沒有重要信息時，LSTM的遺忘門的值接近於1，輸入門的值接近於0，此時過去的記憶會被保存，從而實現了長期記憶功能；當輸入的序列中出現了重要的信息時，LSTM應當把其存入記憶中，此時其輸入門的值會接近於1；當輸入的序列中出現了重要信息，且該信息意味著之前的記憶不再重要時，輸入門的值接近1，而遺忘門的值接近於0，這樣舊的記憶被遺忘，新的重要信息被記憶。經過這樣的設計，整個網路更容易學習到序列之間的長期依賴。

GRU是在LSTM上進行簡化而得到的，GRU的網路結構如下所示：

Zt代表更新門，更新門的作用類似於LSTM中的遺忘門和輸入門，它能決定要丟棄哪些信息和要添加哪些新信息。
Rt代表重置門，重置門用於決定丟棄先前信息的程度。

要注意的是，h只是一個變數，因此在每個時刻，包括最後的線性組合，h都是在用以前的自己和當前的備選答案更新自己。舉例來說，這一個變數好比一杯酒，每次我們要把一部分酒倒出去，並把倒出去的酒和新加入的原料混合，然後在倒回來，這里的reset控制的就是要倒出去的，並且混合好之後再倒回來的酒的比例，而update控制的則是用多大的比例混合新原料和倒出來的之前調制好的酒。同理，也可以以此理解LSTM，LSTM的遺忘門功能上和reset相似，而輸入門與update相似，不同之處在於LSTM還控制了當前狀態的exposure，也就是輸出門的功能，這是GRU所沒有的。

1.百面機器學習
2. https://zhuanlan.hu.com/p/45649187
3. https://www.jianshu.com/p/39a99c88a565

Ⅵ 什麼是BP神經網路

BP演算法的基本思想是：學習過程由信號正向傳播與誤差的反向回傳兩個部分組成；正向傳播時，輸入樣本從輸入層傳入，經各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調整信號逐層反向回傳，對神經元之間的連接權矩陣做出處理，使誤差減小。經反復學習，最終使誤差減小到可接受的范圍。具體步驟如下：
1、從訓練集中取出某一樣本，把信息輸入網路中。
2、通過各節點間的連接情況正向逐層處理後，得到神經網路的實際輸出。
3、計算網路實際輸出與期望輸出的誤差。
4、將誤差逐層反向回傳至之前各層，並按一定原則將誤差信號載入到連接權值上，使整個神經網路的連接權值向誤差減小的方向轉化。
5、対訓練集中每一個輸入—輸出樣本對重復以上步驟，直到整個訓練樣本集的誤差減小到符合要求為止。

Ⅶ 人工智慧：什麼是人工神經網路

許多 人工智慧 計算機系統的核心技術是人工神經網路(ANN)，而這種網路的靈感來源於人類大腦中的生物結構。

通過使用連接的「神經元」結構，這些網路可以通過「學習」並在沒有人類參與的情況下處理和評估某些數據。

這樣的實際實例之一是使用人工神經網路(ANN)識別圖像中的對象。在構建一個識別「貓「圖像的一個系統中，將在包含標記為「貓」的圖像的數據集上訓練人工神經網路，該數據集可用作任何進行分析的參考點。正如人們可能學會根據尾巴或皮毛等獨特特徵來識別狗一樣，人工神經網路(ANN)也可以通過將每個圖像分解成不同的組成部分(如顏色和形狀)進行識別。

實際上，神經網路提供了位於託管數據之上的排序和分類級別，可基於相似度來輔助數據的聚類和分組。可以使用人工神經網路(ANN)生成復雜的垃圾郵件過濾器，查找欺詐行為的演算法以及可以精確了解情緒的客戶關系工具。

人工神經網路如何工作

人工神經網路的靈感來自人腦的神經組織，使用類似於神經元的計算節點構造而成，這些節點沿著通道(如神經突觸的工作方式)進行信息交互。這意味著一個計算節點的輸出將影響另一個計算節點的處理。

神經網路標志著人工智慧發展的巨大飛躍，在此之前，人工智慧一直依賴於使用預定義的過程和定期的人工干預來產生所需的結果。人工神經網路可以使分析負載分布在多個互連層的網路中，每個互連層包含互連節點。在處理信息並對其進行場景處理之後，信息將傳遞到下一個節點，然後向下傳遞到各個層。這個想法是允許將其他場景信息接入網路，以通知每個階段的處理。

單個「隱藏」層神經網路的基本結構

就像漁網的結構一樣，神經網路的一個單層使用鏈將處理節點連接在一起。大量的連接使這些節點之間的通信得到增強，從而提高了准確性和數據處理吞吐量。

然後，人工神經網路將許多這樣的層相互疊放以分析數據，從而創建從第一層到最後一層的輸入和輸出數據流。盡管其層數將根據人工神經網路的性質及其任務而變化，但其想法是將數據從一層傳遞到另一層，並隨其添加附加的場景信息。

人腦是用3D矩陣連接起來的，而不是大量堆疊的圖層。就像人類大腦一樣，節點在接收到特定刺激時會在人工神經網路上「發射」信號，並將信號傳遞到另一個節點。但是，對於人工神經網路，輸入信號定義為實數，輸出為各種輸入的總和。

這些輸入的值取決於它們的權重，該權重用於增加或減少與正在執行的任務相對應的輸入數據的重要性。其目標是採用任意數量的二進制數值輸入並將其轉換為單個二進制數值輸出。

更復雜的神經網路提高了數據分析的復雜性

早期的神經網路模型使用淺層結構，其中只使用一個輸入和輸出層。而現代的系統由一個輸入層和一個輸出層組成，其中輸入層首先將數據輸入網路，多個「隱藏」層增加了數據分析的復雜性。

這就是「深度學習」一詞的由來——「深度」部分專門指任何使用多個「隱藏」層的神經網路。

聚會的例子

為了說明人工神經網路在實際中是如何工作的，我們將其簡化為一個實際示例。

想像一下你被邀請參加一個聚會，而你正在決定是否參加，這可能需要權衡利弊，並將各種因素納入決策過程。在此示例中，只選擇三個因素——「我的朋友會去嗎?」、「聚會地點遠嗎?」、「天氣會好嗎?」

通過將這些考慮因素轉換為二進制數值，可以使用人工神經網路對該過程進行建模。例如，我們可以為「天氣」指定一個二進制數值，即『1'代表晴天，『0'代表惡劣天氣。每個決定因素將重復相同的格式。

然而，僅僅賦值是不夠的，因為這不能幫助你做出決定。為此需要定義一個閾值，即積極因素的數量超過消極因素的數量。根據二進制數值，合適的閾值可以是「2」。換句話說，在決定參加聚會之前，需要兩個因素的閾值都是「1」，你才會決定去參加聚會。如果你的朋友要參加聚會(『1')，並且天氣很好(『1')，那麼這就表示你可以參加聚會。

如果天氣不好(『0')，並且聚會地點很遠(『0')，則達不到這一閾值，即使你的朋友參加(『1')，你也不會參加聚會。

神經加權

誠然，這是神經網路基本原理的一個非常基本的例子，但希望它有助於突出二進制值和閾值的概念。然而，決策過程要比這個例子復雜得多，而且通常情況下，一個因素比另一個因素對決策過程的影響更大。

要創建這種變化，可以使用「神經加權」——-通過乘以因素的權重來確定因素的二進制值對其他因素的重要性。

盡管示例中的每個注意事項都可能使你難以決策，但你可能會更重視其中一個或兩個因素。如果你不願意在大雨中出行去聚會，那惡劣的天氣將會超過其他兩個考慮因素。在這一示例中，可以通過賦予更高的權重來更加重視天氣因素的二進制值：

天氣= w5

朋友= w2

距離= w2

如果假設閾值現在已設置為6，則惡劣的天氣(值為0)將阻止其餘輸入達到所需的閾值，因此該節點將不會「觸發」(這意味著你將決定不參加聚會)。

雖然這是一個簡單的示例，但它提供了基於提供的權重做出決策的概述。如果要將其推斷為圖像識別系統，則是否參加聚會(輸入)的各種考慮因素將是給定圖像的折衷特徵，即顏色、大小或形狀。例如，對識別狗進行訓練的系統可以對形狀或顏色賦予更大的權重。

當神經網路處於訓練狀態時，權重和閾值將設置為隨機值。然後，當訓練數據通過網路傳遞時將不斷進行調整，直到獲得一致的輸出為止。

神經網路的好處

神經網路可以有機地學習。也就是說，神經網路的輸出結果並不受輸入數據的完全限制。人工神經網路可以概括輸入數據，使其在模式識別系統中具有價值。

他們還可以找到實現計算密集型答案的捷徑。人工神經網路可以推斷數據點之間的關系，而不是期望數據源中的記錄是明確關聯的。

它們也可以是容錯的。當神經網路擴展到多個系統時，它們可以繞過無法通信的缺失節點。除了圍繞網路中不再起作用的部分進行路由之外，人工神經網路還可以通過推理重新生成數據，並幫助確定不起作用的節點。這對於網路的自診斷和調試非常有用。

但是，深度神經網路提供的最大優勢是能夠處理和聚類非結構化數據，例如圖片、音頻文件、視頻、文本、數字等數據。在分析層次結構中，每一層節點都在前一層的輸出上進行訓練，深層神經網路能夠處理大量的這種非結構化數據，以便在人類處理分析之前找到相似之處。

神經網路的例子

神經網路應用還有許多示例，可以利用它從復雜或不精確數據中獲得見解的能力。

圖像識別人工神經網路可以解決諸如分析特定物體的照片等問題。這種演算法可以用來區分狗和貓。更重要的是，神經網路已經被用於只使用細胞形狀信息來診斷癌症。

近30年來，金融神經網路被用於匯率預測、股票表現和選擇預測。神經網路也被用來確定貸款信用評分，學習正確識別良好的或糟糕的信用風險。而電信神經網路已被電信公司用於通過實時評估網路流量來優化路由和服務質量。