神經網路起源在哪裡

A. CNN（卷積神經網路）、RNN（循環神經網路）、DNN（深度神經網路）的內部網路結構有什麼區別

如下：

1、DNN：存在著一個問題——無法對時間序列上的變化進行建模。然而，樣本出現的時間順序對於自然語言處理、語音識別、手寫體識別等應用非常重要。對了適應這種需求，就出現了另一種神經網路結構——循環神經網路RNN。

2、CNN：每層神經元的信號只能向上一層傳播，樣本的處理在各個時刻獨立，因此又被稱為前向神經網路。

3、RNN：神經元的輸出可以在下一個時間戳直接作用到自身，即第i層神經元在m時刻的輸入，除了（i-1）層神經元在該時刻的輸出外，還包括其自身在（m-1）時刻的輸出！

介紹

神經網路技術起源於上世紀五、六十年代，當時叫感知機（perceptron），擁有輸入層、輸出層和一個隱含層。輸入的特徵向量通過隱含層變換達到輸出層，在輸出層得到分類結果。早期感知機的推動者是Rosenblatt。

在實際應用中，所謂的深度神經網路DNN，往往融合了多種已知的結構，包括卷積層或是LSTM單元。

B. 機器學習之人工神經網路演算法

機器學習中有一個重要的演算法，那就是人工神經網路演算法，聽到這個名稱相信大家能夠想到人體中的神經。其實這種演算法和人工神經有一點點相似。當然，這種演算法能夠解決很多的問題，因此在機器學習中有著很高的地位。下面我們就給大家介紹一下關於人工神經網路演算法的知識。
1.神經網路的來源
我們聽到神經網路的時候也時候近一段時間，其實神經網路出現有了一段時間了。神經網路的誕生起源於對大腦工作機理的研究。早期生物界學者們使用神經網路來模擬大腦。機器學習的學者們使用神經網路進行機器學習的實驗，發現在視覺與語音的識別上效果都相當好。在BP演算法誕生以後，神經網路的發展進入了一個熱潮。
2.神經網路的原理
那麼神經網路的學習機理是什麼？簡單來說，就是分解與整合。一個復雜的圖像變成了大量的細節進入神經元，神經元處理以後再進行整合，最後得出了看到的是正確的結論。這就是大腦視覺識別的機理，也是神經網路工作的機理。所以可以看出神經網路有很明顯的優點。
3.神經網路的邏輯架構
讓我們看一個簡單的神經網路的邏輯架構。在這個網路中，分成輸入層，隱藏層，和輸出層。輸入層負責接收信號，隱藏層負責對數據的分解與處理，最後的結果被整合到輸出層。每層中的一個圓代表一個處理單元，可以認為是模擬了一個神經元，若干個處理單元組成了一個層，若干個層再組成了一個網路，也就是」神經網路」。在神經網路中，每個處理單元事實上就是一個邏輯回歸模型，邏輯回歸模型接收上層的輸入，把模型的預測結果作為輸出傳輸到下一個層次。通過這樣的過程，神經網路可以完成非常復雜的非線性分類。
4.神經網路的應用。
圖像識別領域是神經網路中的一個著名應用，這個程序是一個基於多個隱層構建的神經網路。通過這個程序可以識別多種手寫數字，並且達到很高的識別精度與擁有較好的魯棒性。可以看出，隨著層次的不斷深入，越深的層次處理的細節越低。但是進入90年代，神經網路的發展進入了一個瓶頸期。其主要原因是盡管有BP演算法的加速，神經網路的訓練過程仍然很困難。因此90年代後期支持向量機演算法取代了神經網路的地位。
在這篇文章中我們大家介紹了關於神經網路的相關知識，具體的內容就是神經網路的起源、神經網路的原理、神經網路的邏輯架構和神經網路的應用，相信大家看到這里對神經網路知識有了一定的了解，希望這篇文章能夠幫助到大家。

C. 神經網路演算法的人工神經網路

人工神經網路（Artificial Neural Networks，ANN）系統是 20 世紀 40 年代後出現的。它是由眾多的神經元可調的連接權值連接而成，具有大規模並行處理、分布式信 息存儲、良好的自組織自學習能力等特點。BP（Back Propagation）演算法又稱為誤差 反向傳播演算法，是人工神經網路中的一種監督式的學習演算法。BP 神經網路演算法在理 論上可以逼近任意函數，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。而且網路的中間層數、各層的處理單元數及網路的學習系數等參數可根據具體情況設定，靈活性很大，在優化、信號處理與模式識別、智能控制、故障診斷等許 多領域都有著廣泛的應用前景。 人工神經元的研究起源於腦神經元學說。19世紀末，在生物、生理學領域，Waldeger等人創建了神經元學說。人們認識到復雜的神經系統是由數目繁多的神經元組合而成。大腦皮層包括有100億個以上的神經元，每立方毫米約有數萬個，它們互相聯結形成神經網路，通過感覺器官和神經接受來自身體內外的各種信息，傳遞至中樞神經系統內，經過對信息的分析和綜合，再通過運動神經發出控制信息，以此來實現機體與內外環境的聯系，協調全身的各種機能活動。
神經元也和其他類型的細胞一樣，包括有細胞膜、細胞質和細胞核。但是神經細胞的形態比較特殊，具有許多突起，因此又分為細胞體、軸突和樹突三部分。細胞體內有細胞核，突起的作用是傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。
樹突是細胞體的延伸部分，它由細胞體發出後逐漸變細，全長各部位都可與其他神經元的軸突末梢相互聯系，形成所謂「突觸」。在突觸處兩神經元並未連通，它只是發生信息傳遞功能的結合部，聯系界面之間間隙約為（15～50)×10米。突觸可分為興奮性與抑制性兩種類型，它相應於神經元之間耦合的極性。每個神經元的突觸數目正常，最高可達10個。各神經元之間的連接強度和極性有所不同，並且都可調整、基於這一特性，人腦具有存儲信息的功能。利用大量神經元相互聯接組成人工神經網路可顯示出人的大腦的某些特徵。
人工神經網路是由大量的簡單基本元件——神經元相互聯接而成的自適應非線性動態系統。每個神經元的結構和功能比較簡單，但大量神經元組合產生的系統行為卻非常復雜。
人工神經網路反映了人腦功能的若干基本特性，但並非生物系統的逼真描述，只是某種模仿、簡化和抽象。
與數字計算機比較，人工神經網路在構成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執行運算，而是能夠自身適應環境、總結規律、完成某種運算、識別或過程式控制制。
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對於寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。
如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。 （1）人類大腦有很強的自適應與自組織特性，後天的學習與訓練可以開發許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善於運用手勢；訓練有素的運動員可以表現出非凡的運動技巧等等。
普通計算機的功能取決於程序中給出的知識和能力。顯然，對於智能活動要通過總結編製程序將十分困難。
人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監督或稱有導師的學習，這時利用給定的樣本標准進行分類或模仿；另一種是無監督學習或稱無為導師學習，這時，只規定學習方式或某些規則，則具體的學習內容隨系統所處環境 （即輸入信號情況）而異，系統可以自動發現環境特徵和規律性，具有更近似人腦的功能。
（2）泛化能力
泛化能力指對沒有訓練過的樣本，有很好的預測能力和控制能力。特別是，當存在一些有雜訊的樣本，網路具備很好的預測能力。
(3)非線性映射能力
當對系統對於設計人員來說，很透徹或者很清楚時，則一般利用數值分析，偏微分方程等數學工具建立精確的數學模型，但當對系統很復雜，或者系統未知，系統信息量很少時，建立精確的數學模型很困難時，神經網路的非線性映射能力則表現出優勢，因為它不需要對系統進行透徹的了解，但是同時能達到輸入與輸出的映射關系，這就大大簡化設計的難度。
(4)高度並行性
並行性具有一定的爭議性。承認具有並行性理由：神經網路是根據人的大腦而抽象出來的數學模型，由於人可以同時做一些事，所以從功能的模擬角度上看，神經網路也應具備很強的並行性。
多少年以來，人們從醫學、生物學、生理學、哲學、信息學、計算機科學、認知學、組織協同學等各個角度企圖認識並解答上述問題。在尋找上述問題答案的研究過程中，這些年來逐漸形成了一個新興的多學科交叉技術領域，稱之為「神經網路」。神經網路的研究涉及眾多學科領域，這些領域互相結合、相互滲透並相互推動。不同領域的科學家又從各自學科的興趣與特色出發，提出不同的問題，從不同的角度進行研究。
下面將人工神經網路與通用的計算機工作特點來對比一下：
若從速度的角度出發，人腦神經元之間傳遞信息的速度要遠低於計算機，前者為毫秒量級，而後者的頻率往往可達幾百兆赫。但是，由於人腦是一個大規模並行與串列組合處理系統，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠高於串列結構的普通計算機。人工神經網路的基本結構模仿人腦，具有並行處理特徵，可以大大提高工作速度。
人腦存貯信息的特點為利用突觸效能的變化來調整存貯內容，也即信息存貯在神經元之間連接強度的分布上，存貯區與計算機區合為一體。雖然人腦每日有大量神經細胞死亡 （平均每小時約一千個），但不影響大腦的正常思維活動。
普通計算機是具有相互獨立的存貯器和運算器，知識存貯與數據運算互不相關，只有通過人編出的程序使之溝通，這種溝通不能超越程序編制者的預想。元器件的局部損壞及程序中的微小錯誤都可能引起嚴重的失常。 心理學家和認知科學家研究神經網路的目的在於探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。
生物學、醫學、腦科學專家試圖通過神經網路的研究推動腦科學向定量、精確和理論化體系發展，同時也寄希望於臨床醫學的新突破；信息處理和計算機科學家研究這一問題的目的在於尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。
人工神經網路早期的研究工作應追溯至上世紀40年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經網路的發展歷史。
1943年，心理學家W·Mcculloch和數理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今，並且直接影響著這一領域研究的進展。因而，他們兩人可稱為人工神經網路研究的先驅。
1945年馮·諾依曼領導的設計小組試製成功存儲程序式電子計算機，標志著電子計算機時代的開始。1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區別，提出了以簡單神經元構成的再生自動機網路結構。但是，由於指令存儲式計算機技術的發展非常迅速，迫使他放棄了神經網路研究的新途徑，繼續投身於指令存儲式計算機技術的研究，並在此領域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通計算機聯系在一起的，但他也是人工神經網路研究的先驅之一。
50年代末，F·Rosenblatt設計製作了「感知機」，它是一種多層的神經網路。這項工作首次把人工神經網路的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效製作感知機，分別應用於文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而，這次人工神經網路的研究高潮未能持續很久，許多人陸續放棄了這方面的研究工作，這是因為當時數字計算機的發展處於全盛時期，許多人誤以為數字計算機可以解決人工智慧、模式識別、專家系統等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落後，主要的元件是電子管或晶體管，利用它們製作的神經網路體積龐大，價格昂貴，要製作在規模上與真實的神經網路相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異感這樣的基本問題，而且多層網路還不能找到有效的計算方法，這些論點促使大批研究人員對於人工神經網路的前景失去信心。60年代末期，人工神經網路的研究進入了低潮。
另外，在60年代初期，Widrow提出了自適應線性元件網路，這是一種連續取值的線性加權求和閾值網路。後來，在此基礎上發展了非線性多層自適應網路。當時，這些工作雖未標出神經網路的名稱，而實際上就是一種人工神經網路模型。
隨著人們對感知機興趣的衰退，神經網路的研究沉寂了相當長的時間。80年代初期，模擬與數字混合的超大規模集成電路製作技術提高到新的水平，完全付諸實用化，此外，數字計算機的發展在若干應用領域遇到困難。這一背景預示，向人工神經網路尋求出路的時機已經成熟。美國的物理學家Hopfield於1982年和1984年在美國科學院院刊上發表了兩篇關於人工神經網路研究的論文，引起了巨大的反響。人們重新認識到神經網路的威力以及付諸應用的現實性。隨即，一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網路的研究熱潮。
1985年，Ackley、Hinton和Sejnowski將模擬退火演算法應用到神經網路訓練中，提出了Boltzmann機，該演算法具有逃離極值的優點，但是訓練時間需要很長。
1986年，Rumelhart、Hinton和Williams提出了多層前饋神經網路的學習演算法，即BP演算法。它從證明的角度推導演算法的正確性，是學習演算法有理論依據。從學習演算法角度上看，是一個很大的進步。
1988年，Broomhead和Lowe第一次提出了徑向基網路：RBF網路。
總體來說，神經網路經歷了從高潮到低谷，再到高潮的階段，充滿曲折的過程。

D. 人工智慧的起源是什麼

人工智慧（Artificial Intelligence）, 英文縮寫為 AI, 是一門由計算機科學、控制論、資訊理論、語言學、神經生理學、心理學、數學、哲學等多種學科相互滲透而發展起來的綜合性新學科。自問世以來AI經過波波折折，但終於作為一門邊緣新學科得到世界的承認並且日益引起人們的興趣和關注。不僅許多其他學科開始引入或借用AI技術，而且AI中的專家系統、自然語言處理和圖象識別已成為新興的知識產業的三大突破口。

人工智慧的思想萌芽可以追溯到十七世紀的巴斯卡和萊布尼茨，他們較早萌生了有智能的機器的想法。十九世紀，英國數學家布爾和德o摩爾根提出了「思維定律「，這些可謂是人工智慧的開端。十九世紀二十年代，英國科學家巴貝奇設計了第一架「計算機器「，它被認為是計算機硬體，也是人工智慧硬體的前身。電子計算機的問世，使人工智慧的研究真正成為可能。

作為一門學科，人工智慧於1956年問世，是由「人工智慧之父「McCarthy及一批數學家、信息學家、心理學家、神經生理學家、計算機科學家在Dartmouth大學召開的會議上，首次提出。對人工智慧的研究，由於研究角度的不同，形成了不同的研究學派。這就是：符號主義學派、連接主義學派和行為主義學派。

傳統人工智慧是符號主義，它以Newell和Simon提出的物理符號系統假設為基礎。物理符號系統是由一組符號實體組成，它們都是物理模式，可在符號結構的實體中作為組成成分出現，可通過各種操作生成其它符號結構。物理符號系統假設認為：物理符號系統是智能行為的充分和必要條件。主要工作是「通用問題求解程序「（General Problem Solver, GPS）：通過抽象，將一個現實系統變成一個符號系統，基於此符號系統，使用動態搜索方法求解問題。

連接主義學派是從人的大腦神經系統結構出發，研究非程序的、適應性的、大腦風格的信息處理的本質和能力，研究大量簡單的神經元的集團信息處理能力及其動態行為。

人們也稱之為神經計算。研究重點是側重於模擬和實現人的認識過程中的感覺、知覺過程、形象思維、分布式記憶和自學習、自組織過程。

行為主義學派是從行為心理學出發，認為智能只是在與環境的交互作用中表現出來。

人工智慧的研究經歷了以下幾個階段：

第一階段：50年代人工智慧的興起和冷落

人工智慧概念首次提出後，相繼出現了一批顯著的成果，如機器定理證明、跳棋程序、通用問題s求解程序、LISP表處理語言等。但由於消解法推理能力的有限，以及機器翻譯等的失敗，使人工智慧走入了低谷。這一階段的特點是：重視問題求解的方法，忽視知識重要性。

第二階段：60年代末到70年代，專家系統出現，使人工智慧研究出現新高潮

DENDRAL化學質譜分析系統、MYCIN疾病診斷和治療系統、PROSPECTIOR探礦系統、Hearsay-II語音理解系統等專家系統的研究和開發，將人工智慧引向了實用化。並且，1969年成立了國際人工智慧聯合會議（International Joint Conferences on Artificial Intelligence即IJCAI）。

第三階段：80年代，隨著第五代計算機的研製，人工智慧得到了很大發展

日本1982年開始了「第五代計算機研製計劃「，即「知識信息處理計算機系統KIPS「，其目的是使邏輯推理達到數值運算那麼快。雖然此計劃最終失敗，但它的開展形成了一股研究人工智慧的熱潮。

第四階段：80年代末，神經網路飛速發展

1987年，美國召開第一次神經網路國際會議，宣告了這一新學科的誕生。此後，各國在神經網路方面的投資逐漸增加，神經網路迅速發展起來。

第五階段：90年代，人工智慧出現新的研究高潮

由於網路技術特別是國際互連網的技術發展，人工智慧開始由單個智能主體研究轉向基於網路環境下的分布式人工智慧研究。不僅研究基於同一目標的分布式問題求解，而且研究多個智能主體的多目標問題求解，將人工智慧更面向實用。另外，由於Hopfield多層神經網路模型的提出，使人工神經網路研究與應用出現了欣欣向榮的景象。人工智慧已深入到社會生活的各個領域。

IBM公司「深藍「電腦擊敗了人類的世界國際象棋冠軍，美國制定了以多Agent系統應用為重要研究內容的信息高速公路計劃，基於Agent技術的Softbot(軟機器人)在軟體領域和網路搜索引擎中得到了充分應用，同時，美國Sandia實驗室建立了國際上最龐大的「虛擬現實「實驗室，擬通過數據頭盔和數據手套實現更友好的人機交互，建立更好的智能用戶介面。圖像處理和圖像識別，聲音處理和聲音識別取得了較好的發展，IBM公司推出了ViaVoice聲音識別軟體，以使聲音作為重要的信息輸入媒體。國際各大計算機公司又開始將「人工智慧「作為其研究內容。人們普遍認為，計算機將會向網路化、智能化、並行化方向發展。二十一世紀的信息技術領域將會以智能信息處理為中心。

目前人工智慧主要研究內容是：分布式人工智慧與多智能主體系統、人工思維模型、知識系統（包括專家系統、知識庫系統和智能決策系統）、知識發現與數據挖掘（從大量的、不完全的、模糊的、有雜訊的數據中挖掘出對我們有用的知識）、遺傳與演化計算（通過對生物遺傳與進化理論的模擬，揭示出人的智能進化規律）、人工生命（通過構造簡單的人工生命系統（如：機器蟲）並觀察其行為，探討初級智能的奧秘）、人工智慧應用（如：模糊控制、智能大廈、智能人機介面、智能機器人等）等等。

人工智慧研究與應用雖取得了不少成果，但離全面推廣應用還有很大的距離，還有許多問題有待解決，且需要多學科的研究專家共同合作。未來人工智慧的研究方向主要有：人工智慧理論、機器學習模型和理論、不精確知識表示及其推理、常識知識及其推理、人工思維模型、智能人機介面、多智能主體系統、知識發現與知識獲取、人工智慧應用基礎等。

E. bp神經網路

BP（Back Propagation）網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。

人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。

所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。

如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。

如圖所示拓撲結構的單隱層前饋網路，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，構成具有層次結構的前饋型神經網路系統。單計算層前饋神經網路只能求解線性可分問題，能夠求解非線性問題的網路必須是具有隱層的多層神經網路。
神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：

（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。

（2）建立理論模型。根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

（3）網路模型與演算法研究。在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。

（4）人工神經網路應用系統。在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人等等。

縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。
神經網路可以用作分類、聚類、預測等。神經網路需要有一定量的歷史數據，通過歷史數據的訓練，網路可以學習到數據中隱含的知識。在你的問題中，首先要找到某些問題的一些特徵，以及對應的評價數據，用這些數據來訓練神經網路。

雖然BP網路得到了廣泛的應用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。

首先，由於學習速率是固定的，因此網路的收斂速度慢，需要較長的訓練時間。對於一些復雜問題，BP演算法需要的訓練時間可能非常長，這主要是由於學習速率太小造成的，可採用變化的學習速率或自適應的學習速率加以改進。

其次，BP演算法可以使權值收斂到某個值，但並不保證其為誤差平面的全局最小值，這是因為採用梯度下降法可能產生一個局部最小值。對於這個問題，可以採用附加動量法來解決。

再次，網路隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網路往往存在很大的冗餘性，在一定程度上也增加了網路學習的負擔。

最後，網路的學習和記憶具有不穩定性。也就是說，如果增加了學習樣本，訓練好的網路就需要從頭開始訓練，對於以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。

F. 有科學家說，宇宙是一個巨大的神經網路，是誰的神經

最新的哈勃常數表明，我們的宇宙起源於138.2億年前的一次大爆炸，時間和空間都是在大爆炸之後誕生的，所以討論big bang之前發生了什麼是沒有意義的。

另一方面，宇宙雖然在膨脹，但空間並不是以宇宙中某一點為中心向各個方向膨脹的。宇宙膨脹的本質是空間結構的膨脹，所以宇宙中沒有中心。

為什麼我們的宇宙有可觀測的直徑？因為我們的宇宙正在膨脹，這個結論是著名天文學家哈勃發現的。(哈勃望遠鏡是以對天文學做出突出貢獻的天文學家命名的。)哈勃發現空間本身在不斷膨脹。仔細想想有點奇怪。我們的日常生活空間會擴大，但這是真的，觀察結果證實了這一點。既然膨脹是均勻的，那麼必然存在這樣一種情況:兩點之間的距離越遠，膨脹效應引起的距離變化越明顯。由此我們可以想像，一旦距離達到一定程度，膨脹速度可以超過光速！

G. 癲癇發作有單側瞳孔散大的嗎

癲癇發作時，一般不會出現單側瞳孔散大。除非病人同時伴有腦腫瘤

H. 什麼是神經網路，舉例說明神經網路的應用

我想這可能是你想要的神經網路吧！

什麼是神經網路：
人工神經網路（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網路（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。

神經網路的應用：

應用
在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人、復雜系統控制等等。
縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。

神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：
生物原型
從生理學、心理學、解剖學、腦科學、病理學等方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。
建立模型
根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。
演算法
在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。
神經網路用到的演算法就是向量乘法，並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性，是神經網路的幾個基本優點，也是神經網路計算方法與傳統方法的區別所在。

I. 神經網路從何而來

【嵌牛導讀】神經網路從何而來？這里說的『從何而來』，並不僅僅是從技術上去介紹一個方法的創造或發展，而更想探討方法背後所蘊含的思想基礎與演變之路。

【嵌牛鼻子】神經網路、深度學習

【嵌牛提問】神經網路的由來？

【嵌牛正文】深度學習與神經網路是近幾年來計算機與人工智慧領域最炙手可熱的話題了。為了蹭這波熱度，博主也打算分享一些自己的經驗與思考。第一篇文章想探討一個非常基礎的問題：神經網路從何而來？這里說的『從何而來』，並不僅僅是從技術上去介紹一個方法的創造或發展，而更想探討方法背後所蘊含的思想基礎與演變之路。

首先，需要為『神經網路』正一下名。在人工智慧領域，我們通常所說的神經網路（Neural Networks）全稱是人工神經網路（Artificial Neural Network），與之對應的是我們用肉長成的生物神經網路（Biology Neural Network）。眾所周知，人工神經網路受生物神經網路的啟發而產生，並在幾十年間不斷進步演化。可要論人類對人工智慧的探索歷史，卻遠遠長於這幾十年。為了深刻了解神經網路出現的背景，我們有必要從更早的歷史開始說起。

簡單說，人工智慧想做的事情就是去總結和提煉人類思考的過程，使之能夠機械化、可重復。從各種神話、傳說來看，我們的祖先在幾千年前就對這件事兒充滿了好奇與遐想。到兩千多年前，一大批偉大的哲學家在希臘、中國和印度相繼誕生，並將人類對這一問題的認識推向了新的高度。為避免本文成為枯燥的哲學史，這里不想舉太多的例子。偉大的希臘哲學家亞里士多德在他的《前分析篇》中提出了著名的三段論（sollygism），類似於：

所有希臘人是人

所有人終有一死

因此所有希臘人終有一死

雖然這是我們現在已經無比熟悉的推理模式，但是要在2000年前從無到有系統總結出一系列這樣的命題與推理模式，卻著實不易。有了『三段論』這種的武器，人們對問題的認識與決策就能從感性真正走向理性，做到可以重復。此外，我們熟悉的歐式幾何也是當時這種邏輯推理學派的代表。歐式幾何以一系列的公理為基礎，基於一套嚴密的邏輯推理體系，最終得到結論的證明，現在仍然是每個學生需要反復訓練的思維體操。

隨著時間的演進，認知哲學與邏輯學也在不斷的發展。在17世紀時，以笛卡爾、萊布尼茨為代表的哲學家進一步提出通過數學的方式對邏輯推演進行標准化，這也是對人腦推理與思考的再次抽象，為後續以後基於數字電路的人工智慧打下了基礎。之後，數理邏輯進一步發展，而到了20世紀中期，數理邏輯又一次取得了巨大的突破，哥德爾不完備理論、圖靈機模型等的相繼提出，科學家們既認識到了數理邏輯的局限性，也看到了將推理機械化的無限可能性，一種新的計算方式呼之欲出。

在圖靈機的思想指導下，第一台電子計算機很快被設計出來，為人工智慧的真正實現提供了物質上的基礎。其實回望人工智慧歷史上的歷次重大飛躍，硬體技術的發展無不扮演者重要的作用。很多看似有效的演算法都苦於沒有足夠強大的計算平台支持無疾而終，而計算能力的提升也可以促進科學家們們擺脫束縛，在演算法的研究道路上天馬行空。深度學習這些年的迅猛發展，很大程度就是得益於大規模集群和圖形處理器等技術的成熟，使得用復雜模型快速處理大規模數據成為可能。

1956年達特茅斯會議上，斯坦福大學科學家約翰·麥卡錫（John McCarthy）正式提出了『人工智慧』這一概念， 標志著一個學科的正式誕生，也標志著人工智慧的發展開始進入了快車道。如果說邏輯符號操作是對人類思維的本質的抽象，那麼利用電子計算機技術來模擬人類的符號推理計算也是一個自然而然的想法。在艾倫·紐威爾（Alan Newell）和赫伯特·西蒙（Herbert A.Simon）等大師的推動下，以邏輯推演為核心符號主義（symbolicism）流派很快占據了人工智慧領域的重要地位。符號主義在很多領域取得了成功，比如在80年代風靡一時的專家系統，通過知識庫和基於知識庫的推理系統模擬專家進行決策，得到了廣泛的應用。而本世紀初熱炒的語義網路以及當下最流行的知識圖譜，也可以看做這一流派的延續與發展。

符號主義最大的特點是知識的表示直觀，推理的過程清晰，但是也存在著許多局限性。除去在計算能力方面的困擾，一個很大的問題就在於雖然我們可以通過邏輯推理解決一些復雜的問題，但是對一些看似簡單的問題，比如人臉識別，卻無能為力。當看到一張人臉的照片，我們可以毫不費力的識別出這個人是誰，可這個過程並不需要做什麼復雜的推理，它在我們的大腦中瞬間完成，以至於我們對這個過程的細節卻一無所知。看起來想通過挖掘一系列嚴密的推理規則解決這類問題是相對困難的，這也促使很多人去探索與人腦工作更加貼合的解決方案。實際上在符號主義出現的同時，人工智慧的另一重要學派聯結主義（Connectionism）也開始蓬勃發展，本文的『主角』神經網路終於可以登場了。

在文章的一開始就提到，我們現在所說的人工神經網路是受生物神經網路啟發而設計出來的。在1890年，實驗心理學先驅William James在他的巨著《心理學原理》中第一次詳細論述人腦結構及功能。其中提到神經細胞受到刺激激活後可以把刺激傳播到另一個神經細胞，並且神經細胞激活是細胞所有輸入疊加的結果。這一後來得到驗證的假說也成為了人工神經網路設計的生物學基礎。基於這一假說，一系列模擬人腦神經計算的模型被相繼提出，具有代表性的有Hebbian Learning Rule, Oja's Rule和MCP Neural Model等，他們與現在通用的神經網路模型已經非常相似，例如在Hebbian Learning模型中，已經可以支持神經元之間權重的自動學習。而在1958年，Rosenblatt將這些模型付諸於實施，利用電子設備構建了真正意義上的第一個神經網路模型：感知機（Perceptron）。Rosenblatt現場演示了其學習識別簡單圖像的過程，在當時的社會引起了轟動，並帶來了神經網路的第一次大繁榮。此後的幾十年裡，神經網路又經歷了數次起起伏伏，既有春風得意一統天下的歲月，也有被打入冷宮無人問津的日子，當然，這些都是後話了。

本文更想討論這樣一個問題：神經網路產生的動機僅僅是對生物學中對神經機制的模仿嗎？在神經網路產生的背後，還蘊含著一代代科學家怎麼樣的思想與情懷呢？事實上，在神經網路為代表的一類方法在人工智慧中又被稱為聯結主義（Connectionism）。關於聯結主義的歷史，一般的文獻介紹按照慣例會追溯到希臘時期哲學家們對關聯性的定義與研究，例如我們的老朋友亞里士多德等等。然而當時哲學家研究的關聯其實並不特指神經元之間的這種關聯，比如前文提到的符號推理本身也是一種形式關聯，在希臘哲學中並沒有對這兩者進行專門的區分。所以硬要把這些說成是連接主義的思想起源略微有一些牽強。

前文提到，在數理邏輯發展過程中，17世紀的歐陸理性主義起到了重要的作用。以笛卡爾、萊布尼茨等為代表的哲學家，主張在理性中存在著天賦觀念，以此為原則並嚴格按照邏輯必然性進行推理就可以得到普遍必然的知識。與此同時，以洛克、休謨等哲學家為代表的英國經驗主義，則強調人類的知識來自於對感知和經驗歸納。這一定程度上是對絕對的真理的一種否定，人類的認識是存在主觀的，隨經驗而變化的部分的。如果在這個思想的指導下，我們與其去尋找一套普世且完備的推理系統，不如去構造一套雖不完美但能夠隨著經驗積累不斷完善的學習系統。而休謨甚至提出了放棄揭示自然界的因果聯系和必然規律，而是依據「習慣性聯想」去描繪一連串的感覺印象。這其實和神經網路設計的初衷是非常類似的：重視經驗的獲得與歸納（通過樣本進行學習），但對模型本身的嚴謹性與可解釋行則沒有那麼關注，正如有時候我們願意把神經網路模型看做是一個『黑箱』。

然而單單一個『黑箱』是不能成為經驗的學習與整理的系統的，我們還需要去尋找構建『黑箱』的一種方法論。現代哲學發展到20世紀初期時，在維特根斯坦和羅素等哲學家的倡導下，產生了邏輯經驗主義學派。依託當時邏輯學的迅猛發展，這一主義既強調經驗的作用，也重視通過嚴密的邏輯推理來得到結論，而非簡單的歸納。在數理邏輯領域頗有建樹的羅素有一位大名鼎鼎的學生諾伯特·維納，他創立的控制論與系統論、資訊理論一道，為信息科學的發展提供了堅實的理論基礎。而神經網路模型的創立也深受這『三論』的影響。前文提到MCP神經元模型的兩位創始人分別是羅素和維納的學生。作為一個系統，神經網路接受外部的輸入，得到輸出，並根據環境進行反饋，對系統進行更新，直到達到穩定狀態。這個過程，同樣也是神經網路對環境信息傳遞的接受和重新編碼的過程。如果如果把神經網路當做一個『黑盒』，那麼我們首先關心該是這個黑盒的輸入與輸出，以及如何根據環境給黑盒一個合理的反饋，使之能夠進行調整。而黑盒內部的結構，則更多的成為了形式的問題。我們借鑒生物神經網路構造這個黑盒，恰好是一個好的解決方案，但這未必是唯一的解決方案或者說與人類大腦的神經元結構存在必然的聯系。比如在統計學習領域中最著名的支持向量機（Support Vector Machines），最終是作為一種特殊的神經網路而提出的。可當其羽翼豐滿之後，則和神經網路逐漸脫離關系，開啟了機器學習的另一個門派。不同的模型形式之間可以互相轉化，但是重視經驗（樣本），強調反饋的思想卻一直保留下來。

前面說了這些，到底神經網路從何而來呢？總結下來就是三個方面吧：1.對理性邏輯的追求，對樣本實證的重視，為神經網路的誕生提供了思想的基礎。2.生物學與神經科學的發展為神經網路形式的出現提供了啟發。3.計算機硬體的發展與計算能力的提升使神經網路從理想變成了現實。而這三方面的發展也催生著神經網路的進一步發展與深度學習的成熟：更大規模的數據，更完善的優化演算法使網路能夠學習到更多更准確的信息；對人腦的認識的提升啟發設計出層次更深，結構更高效的網路結構；硬體存儲與計算能力提升使海量數據的高效訓練成為可能。而未來神經網路給我們帶來的更多驚喜，也很大可能源自於這三個方面，讓我們不妨多一些期待吧。

J. 人工智慧學科誕生於什麼時期

人工智慧學科
學科起源
從學科起源的時間原點來看，人工智慧學科以1956年美國達特茅斯學院夏季討論班為緣起。

人工智慧學科，是一個以計算機科學為基礎，由計算機、心理學、哲學等多學科交叉融合的交叉學科、新興學科，研究、開發用於模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學，企圖了解智能的實質，並生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。

發展規劃
《新一代人工智慧發展規劃》明確，啟動實施人工智慧重大項目、推動人工智慧學科建設、布局人工智慧創新發展實驗區等一系列"中國方案"，強化了人工智慧基礎理論和關鍵技術研究，促進人工智慧與經濟社會的高度融合。

學科專業
浙江大學計算機科學與技術學院作為新增的人工智慧專業的主管學院，擁有五個一級學科，其中人工智慧學科為2018年新設立。

專業學院
2019年4月22日，中國人民大學高瓴人工智慧學院成立，高瓴人工智慧學院是中國人民大學二級學院，承擔人工智慧學科的規劃與建設，未來將開展本學科和相關交叉學科領域的本、碩、博人才培養和科學研究工作。

「人工智慧」一詞最初是在1956 年Dartmouth學會上提出的。從那以後，研究者們發展了眾多理論和原理，人工智慧的概念也隨之擴展。人工智慧（Artificial Intelligence），英文縮寫為AI。它是研究、開發用於模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。人工智慧是計算機科學的一個分支，它企圖了解智能的實質，並生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。人工智慧從誕生以來，理論和技術日益成熟，應用領域也不斷擴大，可以設想，未來人工智慧帶來的科技產品，將會是人類智慧的「容器」。

人工智慧是對人的意識、思維的信息過程的模擬。人工智慧不是人的智能，但能像人那樣思考、也可能超過人的智能。