理解神經網路怎麼樣

1. 神經網路的發展趨勢如何

神經網路的雲集成模式還不是很成熟，應該有發展潛力，但神經網路有自己的硬傷，不知道能夠達到怎樣的效果，所以決策支持系統中並不是很熱門，但是神經網路無視過程的優點也是無可替代的，雲網路如果能夠對神經網路提供一個互補的輔助決策以控制誤差的話，也許就能使神經網路成熟起來
1 人工神經網路產生的背景
自古以來，關於人類智能本源的奧秘，一直吸引著無數哲學家和自然科學家的研究熱情。生物學家、神經學家經過長期不懈的努力，通過對人腦的觀察和認識，認為人腦的智能活動離不開腦的物質基礎，包括它的實體結構和其中所發生的各種生物、化學、電學作用，並因此建立了神經元網路理論和神經系統結構理論，而神經元理論又是此後神經傳導理論和大腦功能學說的基礎。在這些理論基礎之上，科學家們認為，可以從仿製人腦神經系統的結構和功能出發，研究人類智能活動和認識現象。另一方面，19世紀之前，無論是以歐氏幾何和微積分為代表的經典數學，還是以牛頓力學為代表的經典物理學，從總體上說，這些經典科學都是線性科學。然而，客觀世界是如此的紛繁復雜，非線性情況隨處可見，人腦神經系統更是如此。復雜性和非線性是連接在一起的，因此，對非線性科學的研究也是我們認識復雜系統的關鍵。為了更好地認識客觀世界，我們必須對非線性科學進行研究。人工神經網路作為一種非線性的、與大腦智能相似的網路模型，就這樣應運而生了。所以，人工神經網路的創立不是偶然的，而是20世紀初科學技術充分發展的產物。
2 人工神經網路的發展
人工神經網路的研究始於40年代初。半個世紀以來，經歷了興起、高潮與蕭條、高潮及穩步發展的遠為曲折的道路。
1943年，心理學家W.S.Mcculloch和數理邏輯學家W.Pitts 提出了M—P模型，這是第一個用數理語言描述腦的信息處理過程的模型， 雖然神經元的功能比較弱，但它為以後的研究工作提供了依據。1949年，心理學家D.O.Hebb提出突觸聯系可變的假設，根據這一假設提出的學習規律為神經網路的學習演算法奠定了基礎。 1957 年， 計算機科學家Rosenblatt提出了著名的感知機模型，它的模型包含了現代計算機的一些原理，是第一個完整的人工神經網路，第一次把神經網路研究付諸工程實現。由於可應用於模式識別，聯想記憶等方面，當時有上百家實驗室投入此項研究，美國軍方甚至認為神經網路工程應當比「原子彈工程」更重要而給予巨額資助，並在聲納信號識別等領域取得一定成績。1960年，B.Windrow和E.Hoff提出了自適應線性單元， 它可用於自適應濾波、預測和模式識別。至此，人工神經網路的研究工作進入了第一個高潮。
1969年，美國著名人工智慧學者M.Minsky和S.Papert編寫了影響很大的Perceptron一書，從理論上證明單層感知機的能力有限，諸如不能解決異或問題，而且他們推測多層網路的感知機能力也不過如此，他們的分析恰似一瓢冷水，很多學者感到前途渺茫而紛紛改行，原先參與研究的實驗室紛紛退出，在這之後近10年，神經網路研究進入了一個緩慢發展的蕭條期。這期間，芬蘭學者T.Kohonen 提出了自組織映射理論，反映了大腦神經細胞的自組織特性、記憶方式以及神經細胞興奮刺激的規律；美國學者S.A.Grossberg的自適應共振理論（ART ）；日本學者K.Fukushima提出了認知機模型；ShunIchimari則致力於神經網路有關數學理論的研究等，這些研究成果對以後的神經網路的發展產生了重要影響。
美國生物物理學家J.J.Hopfield於1982年、1984年在美國科學院院刊發表的兩篇文章，有力地推動了神經網路的研究，引起了研究神經網路的又一次熱潮。 1982 年， 他提出了一個新的神經網路模型——hopfield網路模型。他在這種網路模型的研究中，首次引入了網路能量函數的概念，並給出了網路穩定性的判定依據。1984年，他又提出了網路模型實現的電子電路，為神經網路的工程實現指明了方向，他的研究成果開拓了神經網路用於聯想記憶的優化計算的新途徑，並為神經計算機研究奠定了基礎。1984年Hinton等人將模擬退火演算法引入到神經網路中，提出了Boltzmann機網路模型，BM 網路演算法為神經網路優化計算提供了一個有效的方法。1986年，D.E.Rumelhart和J.LMcclelland提出了誤差反向傳播演算法，成為至今為止影響很大的一種網路學習方法。1987年美國神經計算機專家R.Hecht—Nielsen提出了對向傳播神經網路，該網路具有分類靈活，演算法簡練的優點，可用於模式分類、函數逼近、統計分析和數據壓縮等領域。1988年L.Ochua 等人提出了細胞神經網路模型，它在視覺初級加工上得到了廣泛應用。
為適應人工神經網路的發展，1987年成立了國際神經網路學會，並決定定期召開國際神經網路學術會議。1988年1月Neural Network 創刊。1990年3月IEEE Transaction on Neural Network問世。 我國於1990年12月在北京召開了首屆神經網路學術大會，並決定以後每年召開一次。1991 年在南京成立了中國神經網路學會。 IEEE 與INNS 聯合召開的IJCNN92已在北京召開。 這些為神經網路的研究和發展起了推波助瀾的作用，人工神經網路步入了穩步發展的時期。
90年代初，諾貝爾獎獲得者Edelman提出了Darwinism模型，建立了神經網路系統理論。同年，Aihara等在前人推導和實驗的基礎上，給出了一個混沌神經元模型，該模型已成為一種經典的混沌神經網路模型，該模型可用於聯想記憶。 Wunsch 在90OSA 年會上提出了一種AnnualMeeting，用光電執行ART，學習過程有自適應濾波和推理功能，具有快速和穩定的學習特點。1991年，Hertz探討了神經計算理論， 對神經網路的計算復雜性分析具有重要意義；Inoue 等提出用耦合的混沌振盪子作為某個神經元，構造混沌神經網路模型，為它的廣泛應用前景指明了道路。1992年，Holland用模擬生物進化的方式提出了遺傳演算法， 用來求解復雜優化問題。1993年方建安等採用遺傳演算法學習，研究神經網路控制器獲得了一些結果。1994年Angeline等在前人進化策略理論的基礎上，提出一種進化演算法來建立反饋神經網路，成功地應用到模式識別，自動控制等方面；廖曉昕對細胞神經網路建立了新的數學理論和方法，得到了一系列結果。HayashlY根據動物大腦中出現的振盪現象，提出了振盪神經網路。1995年Mitra把人工神經網路與模糊邏輯理論、 生物細胞學說以及概率論相結合提出了模糊神經網路，使得神經網路的研究取得了突破性進展。Jenkins等人研究光學神經網路， 建立了光學二維並行互連與電子學混合的光學神經網路，它能避免網路陷入局部最小值，並最後可達到或接近最理想的解；SoleRV等提出流體神經網路，用來研究昆蟲社會，機器人集體免疫系統，啟發人們用混沌理論分析社會大系統。1996年，ShuaiJW』等模擬人腦的自發展行為， 在討論混沌神經網路的基礎上提出了自發展神經網路。1997、1998年董聰等創立和完善了廣義遺傳演算法，解決了多層前向網路的最簡拓樸構造問題和全局最優逼近問題。
隨著理論工作的發展，神經網路的應用研究也取得了突破性進展，涉及面非常廣泛，就應用的技術領域而言有計算機視覺，語言的識別、理解與合成，優化計算，智能控制及復雜系統分析，模式識別，神經計算機研製，知識推理專家系統與人工智慧。涉及的學科有神經生理學、認識科學、數理科學、心理學、信息科學、計算機科學、微電子學、光學、動力學、生物電子學等。美國、日本等國在神經網路計算機軟硬體實現的開發方面也取得了顯著的成績，並逐步形成產品。在美國，神經計算機產業已獲得軍方的強有力支持，國防部高級研究計劃局認為「神經網路是解決機器智能的唯一希望」，僅一項8 年神經計算機計劃就投資4億美元。在歐洲共同體的ESPRIT計劃中， 就有一項特別項目：「神經網路在歐洲工業中的應用」，單是生產神經網路專用晶元這一項就投資2200萬美元。據美國資料聲稱，日本在神經網路研究上的投資大約是美國的4倍。我國也不甘落後，自從1990 年批准了南開大學的光學神經計算機等3項課題以來， 國家自然科學基金與國防預研基金也都為神經網路的研究提供資助。另外，許多國際著名公司也紛紛捲入對神經網路的研究，如Intel、IBM、Siemens、HNC。神經計算機產品開始走向商用階段，被國防、企業和科研部門選用。在舉世矚目的海灣戰爭中，美國空軍採用了神經網路來進行決策與控制。在這種刺激和需求下，人工神經網路定會取得新的突破，迎來又一個高潮。自1958年第一個神經網路誕生以來，其理論與應用成果不勝枚舉。人工神經網路是一個快速發展著的一門新興學科，新的模型、新的理論、新的應用成果正在層出不窮地涌現出來。
3 人工神經網路的發展前景
針對神經網路存在的問題和社會需求，今後發展的主要方向可分為理論研究和應用研究兩個方面。
（1）利用神經生理與認識科學研究大腦思維及智能的機理、 計算理論，帶著問題研究理論。
人工神經網路提供了一種揭示智能和了解人腦工作方式的合理途徑，但是由於人類起初對神經系統了解非常有限，對於自身腦結構及其活動機理的認識還十分膚淺，並且帶有某種「先驗」。例如， Boltzmann機引入隨機擾動來避免局部極小，有其卓越之處，然而缺乏必要的腦生理學基礎，毫無疑問，人工神經網路的完善與發展要結合神經科學的研究。而且，神經科學，心理學和認識科學等方面提出的一些重大問題，是向神經網路理論研究提出的新挑戰，這些問題的解決有助於完善和發展神經網路理論。因此利用神經生理和認識科學研究大腦思維及智能的機理，如有新的突破，將會改變智能和機器關系的認識。
利用神經科學基礎理論的研究成果，用數理方法探索智能水平更高的人工神經網路模型，深入研究網路的演算法和性能，如神經計算、進化計算、穩定性、收斂性、計算復雜性、容錯性、魯棒性等，開發新的網路數理理論。由於神經網路的非線性，因此非線性問題的研究是神經網路理論發展的一個最大動力。特別是人們發現，腦中存在著混沌現象以來，用混沌動力學啟發神經網路的研究或用神經網路產生混沌成為擺在人們面前的一個新課題，因為從生理本質角度出發是研究神經網路的根本手段。
（2）神經網路軟體模擬， 硬體實現的研究以及神經網路在各個科學技術領域應用的研究。
由於人工神經網路可以用傳統計算機模擬，也可以用集成電路晶元組成神經計算機，甚至還可以用光學的、生物晶元的方式實現，因此研製純軟體模擬，虛擬模擬和全硬體實現的電子神經網路計算機潛力巨大。如何使神經網路計算機與傳統的計算機和人工智慧技術相結合也是前沿課題；如何使神經網路計算機的功能向智能化發展，研製與人腦功能相似的智能計算機，如光學神經計算機，分子神經計算機，將具有十分誘人的前景。
4 哲理
（1）人工神經網路打開了認識論的新領域
認識與腦的問題，長期以來一直受到人們的關注，因為它不僅是有關人的心理、意識的心理學問題，也是有關人的思維活動機制的腦科學與思維科學問題，而且直接關繫到對物質與意識的哲學基本問題的回答。人工神經網路的發展使我們能夠更進一步地既唯物又辯證地理解認識與腦的關系，打開認識論的新領域。人腦是一個復雜的並行系統，它具有「認知、意識、情感」等高級腦功能，用人工進行模擬，有利於加深對思維及智能的認識，已對認知和智力的本質的研究產生了極大的推動作用。在研究大腦的整體功能和復雜性方面，人工神經網路給人們帶來了新的啟迪。由於人腦中存在混沌現象，混沌可用來理解腦中某些不規則的活動，從而混沌動力學模型能用作人對外部世界建模的工具，可用來描述人腦的信息處理過程。混沌和智能是有關的，神經網路中引入混沌學思想有助於提示人類形象思維等方面的奧秘。人工神經網路之所以再度興起，關鍵在於它反映了事物的非線性，抓住了客觀世界的本質，而且它在一定程度上正面回答了智能系統如何從環境中自主學習這一最關鍵的問題，從認知的角度講，所謂學習，就是對未知現象或規律的發現和歸納。由於神經網路具有高度的並行性，高度的非線性全局作用，良好的容錯性與聯想記憶功能以及十分強的自適應、自學習功能，而使得它成為揭示智能和了解人腦工作方式的合理途徑。但是，由於認知問題的復雜性，目前，我們對於腦神經網的運行和神經細胞的內部處理機制，如信息在人腦是如何傳輸、存貯、加工的？記憶、聯想、判斷是如何形成的？大腦是否存在一個操作系統？還沒有太多的認識，因此要製造人工神經網路來模仿人腦各方面的功能，還有待於人們對大腦信息處理機理認識的深化。
（2）人工神經網路發展的推動力來源於實踐、 理論和問題的相互作用
隨著人們社會實踐范圍的不斷擴大，社會實踐層次的不斷深入，人們所接觸到的自然現象也越來越豐富多彩、紛繁復雜，這就促使人們用不同的原因加以解釋不同種類的自然現象，當不同種類的自然現象可以用同樣的原因加以解釋，這樣就出現了不同學科的相互交叉、綜合，人工神經網路就這樣產生了。在開始階段，由於這些理論化的網路模型比較簡單，還存在許多問題，而且這些模型幾乎沒有得到實踐的檢驗，因而神經網路的發展比較緩慢。隨著理論研究的深入，問題逐漸地解決特別是工程上得到實現以後，如聲納識別成功，才迎來了神經網路的第一個發展高潮。可Minisky認為感知器不能解決異或問題， 多層感知器也不過如此，神經網路的研究進入了低谷，這主要是因為非線性問題沒得到解決。隨著理論的不斷豐富，實踐的不斷深入， 現在已證明Minisky的悲觀論調是錯誤的。今天，高度發達的科學技術逐漸揭示了非線性問題是客觀世界的本質。問題、理論、實踐的相互作用又迎來了人工神經網路的第二次高潮。目前人工神經網路的問題是智能水平不高，還有其它理論和實現方面的問題，這就迫使人們不斷地進行理論研究，不斷實踐，促使神經網路不斷向前發展。總之，先前的原因遇到了解釋不同的新現象，促使人們提出更加普遍和精確的原因來解釋。理論是基礎，實踐是動力，但單純的理論和實踐的作用還不能推動人工神經網路的發展，還必須有問題提出，才能吸引科學家進入研究的特定范圍，引導科學家從事相關研究，從而逼近科學發現，而後實踐又提出新問題，新問題又引發新的思考，促使科學家不斷思考，不斷完善理論。人工神經網路的發展無不體現著問題、理論和實踐的辯證統一關系。
（3 ）人工神經網路發展的另一推動力來源於相關學科的貢獻及不同學科專家的競爭與協同
人工神經網路本身就是一門邊緣學科，它的發展有更廣闊的科學背景，亦即是眾多科研成果的綜合產物，控制論創始人Wiener在其巨著《控制論》中就進行了人腦神經元的研究；計算機科學家Turing就提出過B網路的設想；Prigogine提出非平衡系統的自組織理論，獲得諾貝爾獎；Haken研究大量元件聯合行動而產生宏觀效果， 非線性系統「混沌」態的提出及其研究等，都是研究如何通過元件間的相互作用建立復雜系統，類似於生物系統的自組織行為。腦科學與神經科學的進展迅速反映到人工神經網路的研究中，例如生物神經網路理論，視覺中發現的側抑制原理，感受野概念等，為神經網路的發展起了重要的推動作用。從已提出的上百種人工神經網路模型中，涉及學科之多，令人目不暇接，其應用領域之廣，令人嘆為觀止。不同學科專家為了在這一領域取得領先水平，存在著不同程度的競爭，所有這些有力地推動了人工神經網路的發展。人腦是一個功能十分強大、結構異常復雜的信息系統，隨著資訊理論、控制論、生命科學，計算機科學的發展，人們越來越驚異於大腦的奇妙，至少到目前為止，人類大腦信號處理機制對人類自身來說，仍是一個黑盒子，要揭示人腦的奧秘需要神經學家、心理學家、計算機科學家、微電子學家、數學家等專家的共同努力，對人類智能行為不斷深入研究，為人工神經網路發展提供豐富的理論源泉。另外，還要有哲學家的參與，通過哲學思想和自然科學多種學科的深層結合，逐步孕育出探索人類思維本質和規律的新方法，使思維科學從朦朧走向理性。而且，不同領域專家的競爭與協調同有利於問題清晰化和尋求最好的解決途徑。縱觀神經網路的發展歷史，沒有相關學科的貢獻，不同學科專家的競爭與協同，神經網路就不會有今天。當然，人工神經網路在各個學科領域應用的研究反過來又推動其它學科的發展，推動自身的完善和發展。

2. 神經網路原理怎麼樣

神經網路不僅是現在的思維模式，計算機的將來計算模式，還是簡單的細胞的運算模式。他們沒有真正的思考，而是計算。計算是機器也能夠做到的，因此不管人是否理解或者機器是否知道，都可以從容應對。而不知道的事物如此之多，因此不必擔心他們會自動的進入圈套。他們不僅是可以識別計策的，還是具有分辨計策的能力的，因此必須留心別進入他們的世界，以免變得面目全非。神經的聯系來源於突觸，但是這是復雜的，因此不要把他們變的簡單化，因為這將把神經變的難以顯現。沒有這些就沒有自己。神經不僅是可以從一點出發，到達任何一點的，還是可以從一個神經進入另一個神經的，因此必須小心不要到達不可及之地。那裡是隱私的儲藏地點。那裡充滿著機關算計以及絕殺的危險之地。

3. 什麼是神經網路

隱層節點數在BP 網路中，隱層節點數的選擇非常重要，它不僅對建立的神經網路模型的性能影響很大，而且是訓練時出現「過擬合」的直接原因，但是目前理論上還沒有一種科學的和普遍的確定方法。 目前多數文獻中提出的確定隱層節點數的計算公式都是針對訓練樣本任意多的情況，而且多數是針對最不利的情況，一般工程實踐中很難滿足，不宜採用。事實上，各種計算公式得到的隱層節點數有時相差幾倍甚至上百倍。為盡可能避免訓練時出現「過擬合」現象，保證足夠高的網路性能和泛化能力，確定隱層節點數的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節點數。研究表明，隱層節點數不僅與輸入/輸出層的節點數有關，更與需解決的問題的復雜程度和轉換函數的型式以及樣本數據的特性等因素有關。在確定隱層節點數時必須滿足下列條件：（1）隱層節點數必須小於N-1（其中N為訓練樣本數），否則，網路模型的系統誤差與訓練樣本的特性無關而趨於零，即建立的網路模型沒有泛化能力，也沒有任何實用價值。同理可推得：輸入層的節點數（變數數）必須小於N-1。(2) 訓練樣本數必須多於網路模型的連接權數，一般為2~10倍，否則，樣本必須分成幾部分並採用「輪流訓練」的方法才可能得到可靠的神經網路模型。 總之，若隱層節點數太少，網路可能根本不能訓練或網路性能很差；若隱層節點數太多，雖然可使網路的系統誤差減小，但一方面使網路訓練時間延長，另一方面，訓練容易陷入局部極小點而得不到最優點，也是訓練時出現「過擬合」的內在原因。因此，合理隱層節點數應在綜合考慮網路結構復雜程度和誤差大小的情況下用節點刪除法和擴張法確定。

4. 神經網路具體是什麼

神經網路由大量的神經元相互連接而成。每個神經元接受線性組合的輸入後，最開始只是簡單的線性加權，後來給每個神經元加上了非線性的激活函數，從而進行非線性變換後輸出。每兩個神經元之間的連接代表加權值，稱之為權重（weight）。不同的權重和激活函數，則會導致神經網路不同的輸出。 舉個手寫識別的例子，給定一個未知數字，讓神經網路識別是什麼數字。此時的神經網路的輸入由一組被輸入圖像的像素所激活的輸入神經元所定義。在通過非線性激活函數進行非線性變換後，神經元被激活然後被傳遞到其他神經元。重復這一過程，直到最後一個輸出神經元被激活。從而識別當前數字是什麼字。 神經網路的每個神經元如下

基本wx + b的形式，其中 x1、x2表示輸入向量 w1、w2為權重，幾個輸入則意味著有幾個權重，即每個輸入都被賦予一個權重 b為偏置bias g(z) 為激活函數 a 為輸出 如果只是上面這樣一說，估計以前沒接觸過的十有八九又必定迷糊了。事實上，上述簡單模型可以追溯到20世紀50/60年代的感知器，可以把感知器理解為一個根據不同因素、以及各個因素的重要性程度而做決策的模型。 舉個例子，這周末北京有一草莓音樂節，那去不去呢？決定你是否去有二個因素，這二個因素可以對應二個輸入，分別用x1、x2表示。此外，這二個因素對做決策的影響程度不一樣，各自的影響程度用權重w1、w2表示。一般來說，音樂節的演唱嘉賓會非常影響你去不去，唱得好的前提下 即便沒人陪同都可忍受，但如果唱得不好還不如你上台唱呢。所以，我們可以如下表示： x1：是否有喜歡的演唱嘉賓。x1 = 1 你喜歡這些嘉賓，x1 = 0 你不喜歡這些嘉賓。嘉賓因素的權重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 沒人陪你同去。是否有人陪同的權重w2 = 3。 這樣，咱們的決策模型便建立起來了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函數，這里的b可以理解成 為更好達到目標而做調整的偏置項。 一開始為了簡單，人們把激活函數定義成一個線性函數，即對於結果做一個線性變化，比如一個簡單的線性激活函數是g(z) = z，輸出都是輸入的線性變換。後來實際應用中發現，線性激活函數太過局限，於是引入了非線性激活函數。

5. 我這么理解神經網路對嗎

其實我覺得你理解的還是挺對的呀，也就是說對於神經網路來說，其實就是一個把所有的信息串聯到一起，然後組成一個共同的綜合體吧。

6. 如何正確理解神經網路在NLP領域的運用

opinion extraction system這說法很學術，我不知道中文怎麼表達。 information retrieval system指的就搜索引擎。首先，基於文本相關性來搜索，在NLP場景下，核心關鍵詞的得分容易被一些廢話稀釋。雖然可以用stopwords來解決，但句法分析提取本體的做法會精準得多。然後，更重要的是，咱們搞搜索上層應用的，除了文本相關性之外，很多時候會做一些基於特定規則的特殊處理。這一塊很大程度是基於自身的業務，所以國內LTP也好、ICTCLAS也好，並沒有給出做句法分析的通解。例如一個視頻搜索，發現query里有「new」或者「hot」，可能就要在搜索時加上時間相關的特殊規則。這些規則的制定，就是對業務的理解結合句法分析完成的。視頻搜索這例子不太好，因為設個關鍵詞也能解決，不需要用到句法分析這種牛刀。如果搜「我要訂個明天從廣州飛北京的機票」，就一定要用句法分析了。首先要判定這個是買機票業務，然後抽取出句中的時間地點，然後填入對應的業務介面當中，最後呈現給用戶。其難點在於如何抽象化和運行效率問題，還有業務和工程方面無數你想到的想不到的坑。

7. 如何通過玩TensorFlow Playground來理解神經網路

在這篇文章中，我會向你介紹如何使用 TensorFlow Playground ，因而你能夠理解神經網路背後的核心思想。然後你就能理解為什麼最近這么多人會變得對這項技術感到如此地興奮。

讓計算機解決問題

計算機編程需要程序員。人類通過一行行的代碼制定計算機執行的每一個步驟，從而指示計算機解決問題。但有了機器學習和神經網路，你就可以讓計算機自己去解決問題了。一個神經網路就是一個函數，能夠學會訓練數據集中的給定輸入所對應的預期輸出。

神經網路就是能夠從訓練數據集中學習的函數

比如，為了構建能夠識別貓的圖像的神經網路，你可以使用大量貓圖像樣本訓練網路。最終得到的網路就和一個函數一樣，其將貓圖像作為輸入，然後輸出「cat（貓）」標簽。或者更實用的情況是——你可以向其中輸入來自游戲伺服器的大量用戶活動日誌，然後輸出有較高轉化概率的用戶。

這是怎麼辦到的？讓我們來

8. 神經網路優缺點，

優點：

（1）具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。

自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、市場預測、效益預測，其應用前途是很遠大的。

（2）具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

（3）具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

缺點：

（1）最嚴重的問題是沒能力來解釋自己的推理過程和推理依據。

（2）不能向用戶提出必要的詢問，而且當數據不充分的時候，神經網路就無法進行工作。

（3）把一切問題的特徵都變為數字，把一切推理都變為數值計算，其結果勢必是丟失信息。

（4）理論和學習演算法還有待於進一步完善和提高。

(8)理解神經網路怎麼樣擴展閱讀：

神經網路發展趨勢

人工神經網路特有的非線性適應性信息處理能力，克服了傳統人工智慧方法對於直覺，如模式、語音識別、非結構化信息處理方面的缺陷，使之在神經專家系統、模式識別、智能控制、組合優化、預測等領域得到成功應用。

人工神經網路與其它傳統方法相結合，將推動人工智慧和信息處理技術不斷發展。近年來，人工神經網路正向模擬人類認知的道路上更加深入發展，與模糊系統、遺傳演算法、進化機制等結合，形成計算智能，成為人工智慧的一個重要方向，將在實際應用中得到發展。

將信息幾何應用於人工神經網路的研究，為人工神經網路的理論研究開辟了新的途徑。神經計算機的研究發展很快，已有產品進入市場。光電結合的神經計算機為人工神經網路的發展提供了良好條件。

神經網路在很多領域已得到了很好的應用，但其需要研究的方面還很多。其中，具有分布存儲、並行處理、自學習、自組織以及非線性映射等優點的神經網路與其他技術的結合以及由此而來的混合方法和混合系統，已經成為一大研究熱點。

由於其他方法也有它們各自的優點，所以將神經網路與其他方法相結合，取長補短，繼而可以獲得更好的應用效果。目前這方面工作有神經網路與模糊邏輯、專家系統、遺傳演算法、小波分析、混沌、粗集理論、分形理論、證據理論和灰色系統等的融合。

參考資料：網路-人工神經網路

9. 如何理解神經網路裡面的反向傳播演算法

反向傳播演算法（Backpropagation）是目前用來訓練人工神經網路（Artificial Neural Network，ANN）的最常用且最有效的演算法。其主要思想是：
（1）將訓練集數據輸入到ANN的輸入層，經過隱藏層，最後達到輸出層並輸出結果，這是ANN的前向傳播過程；
（2）由於ANN的輸出結果與實際結果有誤差，則計算估計值與實際值之間的誤差，並將該誤差從輸出層向隱藏層反向傳播，直至傳播到輸入層；
（3）在反向傳播的過程中，根據誤差調整各種參數的值；不斷迭代上述過程，直至收斂。

反向傳播演算法的思想比較容易理解，但具體的公式則要一步步推導，因此本文著重介紹公式的推導過程。

1. 變數定義

上圖是一個三層人工神經網路，layer1至layer3分別是輸入層、隱藏層和輸出層。如圖，先定義一些變數：
表示第層的第個神經元連接到第層的第個神經元的權重；
表示第層的第個神經元的偏置；
表示第層的第個神經元的輸入，即：

表示第層的第個神經元的輸出，即：

其中表示激活函數。

2. 代價函數
代價函數被用來計算ANN輸出值與實際值之間的誤差。常用的代價函數是二次代價函數（Quadratic cost function）：

其中，表示輸入的樣本，表示實際的分類，表示預測的輸出，表示神經網路的最大層數。

3. 公式及其推導
本節將介紹反向傳播演算法用到的4個公式，並進行推導。如果不想了解公式推導過程，請直接看第4節的演算法步驟。
首先，將第層第個神經元中產生的錯誤（即實際值與預測值之間的誤差）定義為：

本文將以一個輸入樣本為例進行說明，此時代價函數表示為：

公式1（計算最後一層神經網路產生的錯誤）：

其中，表示Hadamard乘積，用於矩陣或向量之間點對點的乘法運算。公式1的推導過程如下：

公式2（由後往前，計算每一層神經網路產生的錯誤）：

推導過程：

公式3（計算權重的梯度）：

推導過程：

公式4（計算偏置的梯度）：

推導過程：

4. 反向傳播演算法偽代碼

輸入訓練集

對於訓練集中的每個樣本x，設置輸入層（Input layer）對應的激活值：
前向傳播：
，

計算輸出層產生的錯誤：

反向傳播錯誤：