神經網路重建有什麼危害

1. 我想知道網路對人體有什麼危害拜託了各位 謝謝

現如今，電腦不僅僅是辦公必備品，也進入普通家庭，它的作用是不言而喻的。然而，如果電腦使用不當，也會危害人們的健康。 頸椎病 電腦前的工作人員，往往都是長時間保持一個姿勢，凝視顯示屏，久而久之，頸椎正常生理曲度逐漸消失，甚至出現反曲，血液流通不暢，像脖子和後背僵硬、疼痛，上肢及手指麻木、疼痛等都是常見的反應。特別是頸椎病本身就是個退行性病變，很多人有潛在頸椎病，如果長時間使用電腦就很容易誘發此病。 腰肌勞損 坐位時間久了，腰肌長時間負重、疲勞過後產生疼痛。而坐在電腦台前的人們，常常忘記了時間，象腰痛，甚至下肢及腳放射感疼痛、麻木就成了常見現象了。 頭痛(暈) 有的人一摸到電腦就是三、四個小時，甚或十幾個小時，頭常常會痛或暈就不足為怪了。電腦輻射對大腦具有相當嚴重的傷害，空氣里含有的陰離子能抑制人的中樞神經系統，緩解大腦疲勞，但是電腦屏卻可吸附陰離子，陽離子越來越多，陰、陽離子失調，讓人的大腦神經系統跟著紊亂失衡。 其他 眾所周知，電大腦輻射輕者自感眼脹，重者視物不清，視力明顯下降或眼瞼出現色素沉澱，俗稱色斑。

2. 新型神經網路晶元會對科技領域乃至整個世界產生什麼巨大影響

一、與傳統計算機的區別1946年美籍匈牙利科學家馮·諾依曼提出存儲程序原理，把程序本身當作數據來對待。此後的半個多世紀以來，計算機的發展取得了巨大的進步，但「馮·諾依曼架構」中信息存儲器和處理器的設計一直沿用至今，連接存儲器和處理器的信息傳遞通道仍然通過匯流排來實現。隨著處理的數據量海量地增長，匯流排有限的數據傳輸速率被稱為「馮·諾依曼瓶頸」——尤其是移動互聯網、社交網路、物聯網、雲計算、高通量測序等的興起，使得『馮·諾依曼瓶頸』日益突出，而計算機的自我糾錯能力缺失的局限性也已成為發展障礙。
結構上的缺陷也導致功能上的局限。例如，從效率上看，計算機運算的功耗較高——盡管人腦處理的信息量不比計算機少，但顯然而功耗低得多。為此，學習更多層的神經網路，讓計算機能夠更好地模擬人腦功能，成為上世紀後期以來研究的熱點。
在這些研究中，核心的研究是「馮·諾依曼架構」與「人腦架構」的本質結構區別——與計算機相比，人腦的信息存儲和處理，通過突觸這一基本單元來實現，因而沒有明顯的界限。正是人腦中的千萬億個突觸的可塑性——各種因素和各種條件經過一定的時間作用後引起的神經變化（可變性、可修飾性等），使得人腦的記憶和學習功能得以實現。

大腦有而計算機沒有的三個特性:低功耗（人腦的能耗僅約20瓦，而目前用來嘗試模擬人腦的超級計算機需要消耗數兆瓦的能量）；容錯性（壞掉一個晶體管就能毀掉一塊微處理器，但是大腦的神經元每時每刻都在死亡）；還有不需為其編製程序（大腦在與外界互動的同時也會進行學習和改變，而不是遵循預設演算法的固定路徑和分支運行。）

這段描述可以說是「電」腦的最終理想了吧。
註：最早的電腦也是模擬電路實現的，之後發展成現在的只有0、1的數字CPU。
今天的計算機用的都是所謂的馮諾依曼結構，在一個中央處理器和記憶晶元之間以線性計算序列來回傳輸數據。這種方式在處理數字和執行精確撰寫的程序時非常好用，但在處理圖片或聲音並理解它們的意義時效果不佳。
有件事很說明問題：2012年，谷歌展示了它的人工智慧軟體在未被告知貓是什麼東西的情況下，可以學會識別視頻中的貓，而完成這個任務用到了1.6萬台處理器。
要繼續改善這類處理器的性能，生產商得在其中配備更多更快的晶體管、硅存儲緩存和數據通路，但所有這些組件產生的熱量限制了晶元的運作速度，尤其在電力有限的移動設備中。這可能會阻礙人們開發出有效處理圖片、聲音和其他感官信息的設備，以及將其應用於面部識別、機器人，或者交通設備航運等任務中。

神經形態晶元嘗試在矽片中模仿人腦以大規模的平行方式處理信息：幾十億神經元和千萬億個突觸對視覺和聲音刺激物這類感官輸入做出反應。

作為對圖像、聲音等內容的反應，這些神經元也會改變它們相互間連接的方式，我們把這個過程叫做學習。神經形態晶元納入了受人腦啟發的「神經網路」模式，因此能做同樣的事。
人工智慧的頂尖思想家傑夫·霍金斯（Jeff Hawkins）說，在傳統處理器上用專門的軟體嘗試模擬人腦（谷歌在貓實驗中所做的），以此作為不斷提升的智能基礎，這太過低效了。
霍金斯創造了掌上電腦（Palm Pilot），後來又聯合創辦了Numenta公司，後者製造從人腦中獲得啟發的軟體。「你不可能只在軟體中建造它，」他說到人工智慧，「你必須在矽片中建造它。」
現有的計算機計算，程序的執行是一行一行執行的，而神經網路計算機則有所不同。
現行的人工智慧程式，基本上都是將大大小小的各種知識寫成一句一句的陳述句，再灌進系統之中。當輸入問題進去智能程式時，它就會搜尋本身的資料庫，再選擇出最佳或最近解。2011年時，IBM 有名的 Watson 智能電腦，便是使用這樣的技術，在美國的電視益智節目中打敗的人類的最強衛冕者。
（神經網路計算機）以這種非同步信號發送（因沒有能使其同步的中央時鍾而得名）處理數據的速度比同步信號發送更快，以為沒有時間浪費在等待時鍾發出信號上。非同步信號發送消耗的能量也更少，這樣便滿足了邁耶博士理想的計算機的第一個特點。如果有一個處理器壞了，系統會從另一路線繞過它，這樣便滿足了邁耶博士理想的計算機的第二個特點。正是由於為非同步信號發送編程並不容易，所以大多數計算機工程師都無視於此。然而其作為一種模仿大腦的方式堪稱完美。功耗方面：
硬體方面，近年來主要是通過對大型神經網路進行模擬，如 Google 的深度學習系統Google Brain，微軟的Adam等。但是這些網路需要大量傳統計算機的集群。比方說 Google Brain 就採用了 1000 台各帶 16 核處理器的計算機，這種架構盡管展現出了相當的能力，但是能耗依然巨大。而 IBM 則是在晶元上的模仿。4096 個內核，100 萬個「神經元」、2.56 億個「突觸」集成在直徑只有幾厘米的方寸（是 2011 年原型大小的 1/16）之間，而且能耗只有不到 70 毫瓦。
IBM 研究小組曾經利用做過 DARPA 的NeoVision2 Tower數據集做過演示。它能夠實時識別出用 30 幀每秒的正常速度拍攝自斯坦福大學胡佛塔的十字路口視頻中的人、自行車、公交車、卡車等，准確率達到了 80%。相比之下，一台筆記本編程完成同樣的任務用時要慢 100 倍，能耗卻是 IBM 晶元的 1 萬倍。

Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642
因為需要擁有極多數據的Database 來做training以及需要極強大的計算能力來做prediction，現有的一些Deep learning如Andrew Ng的Google Brain、Apple的Siri等都需要連接網路到雲端的伺服器。

二、爭議：
雖然深度學習已經被應用到尖端科學研究及日常生活當中，而 Google 已經實際搭載在核心的搜尋功能之中。但其他知名的人工智慧實驗室，對於深度學習技術的反應並不一致。例如艾倫人工智慧中心的執行長 Oren Etzioni，就沒有考慮將深度學習納入當前開發中的人工智慧系統中。該機構目前的研究是以小學程度的科學知識為目標，希望能開發出光是看學校的教科書，就能夠輕松應付各類考試的智能程式。Oren Etzioni 以飛機為例，他表示，最成功的飛機設計都不是來自於模仿鳥的結構，所以腦神經的類比並無法保證人工智慧的實現，因此他們暫不考慮借用深度學習技術來開發這個系統。
但是從短期來看，情況也許並沒有那麼樂觀。
首先晶元的編程仍然是個大問題。晶元的編程要考慮選擇哪一個神經元來連接，以及神經元之間相互影響的程度。比方說，為了識別上述視頻中的汽車，編程人員首先要對晶元的模擬版進行必要的設置，然後再傳給實際的晶元。這種晶元需要顛覆以往傳統的編程思想，盡管 IBM 去年已經發布了一套工具，但是目前編程仍非常困難，IBM 團隊正在編制令該過程簡單一點的開發庫。（當然，如果我們回顧過去編程語言從匯編一路走來的歷史，這一點也許不會成為問題。）
其次，在部分專業人士看來，這種晶元的能力仍有待證實。
再者，真正的認知計算應該能從經驗中學習，尋找關聯，提出假設，記憶，並基於結果學習，而IBM 的演示里所有學習（training）都是在線下的馮諾依曼計算機上進行的。不過目前大多數的機器學習都是離線進行的，因為學習經常需要對演算法進行調整，而 IBM 的硬體並不具備調整的靈活性，不擅長做這件事情。

三、人造神經元工作原理及電路實現
人工神經網路
人工神經網路（artificial neural network，縮寫ANN），簡稱神經網路（neural network，縮寫NN），是一種模仿生物神經網路的結構和功能的數學模型或計算模型。
神經網路是一種運算模型，由大量的節點（或稱「神經元」，或「單元」）和之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重（weight），這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式，權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。Ref：Wikipedia： 人工神經網路
電路原理
神經遞質的分泌反過來又是對動作電位刺激的反應。然而神經元在接收到這些神經遞質信號中的一個後便不會再繼續發出動作電位。當然，它們會逐漸累加至一個極限值。在神經元接受了一定數量的信號並超過極限值後----從根本上講是一個模擬進程----然後它們會發出一個動作電位，並自行重置。Spikey的人造神經元也是這么做的，當它們每次受到激發時都會在電容中累積電荷，直至達到限值，電容再進行放電。具體電路結構和分析之後有機會的話再更新。
現階段硬體的實現方式有數電（IBM、Qualcomm）、模電、數模混合（學界）、GPUs等等，還有各種不是基於硅半導體製程製作的神經元等的device方面的研究。

四、歷史
Neuromorphic engineering由老祖宗Carver Mead提出
卡福·米德是加州理工學院的一名工程師，被公認為神經形態計算機之父（當然還發明了「神經形態學」這個詞）
神經形態晶元的創意可以追溯到幾十年前。加州理工大學的退休教授、集成電路設計的傳奇人物卡弗·米德（Carver Mead）在1990年發表的一篇論文中首次提出了這個名稱。
這篇論文介紹了模擬晶元如何能夠模仿腦部神經元和突觸的電活動。所謂模擬晶元，其輸出是變化的，就像真實世界中發生的現象，這和數字晶元二進制、非開即關的性質不同。

後來這（大腦研究）成為我畢生的工作，我覺得我可以有所貢獻，我嘗試離開計算機行業而專注大腦研究。首先我去了MIT的人工智慧研究院，我想，我也想設計和製作聰明的機器，但我的想法是先研究大腦怎麼運作。而他們說，呃，你不需要這樣做，我們只需要計算機編程。而我說，不，你應該先研究大腦。他們說，呃，你錯了。而我說，不，你們錯了。最後我沒被錄取。但我真的有點失望，那時候年輕，但我再嘗試。幾年後再加州的Berkley，這次我嘗試去學習生物方面的研究。我開始攻讀生物物理博士課程。我在學習大腦了，而我想學理論。而他們說，不，你不可以學大腦的理論，這是不可以的，你不會拿到研究經費，而作為研究生，沒有經費是不可以的。我的天。
八卦：老師說neural network這個方向每20年火一次，之前有很長一段時間的沉寂期，甚至因為理論的不完善一度被認為是江湖術士的小把戲，申請研究經費都需要改課題名稱才能成功。（這段為小弟的道聽途說，請大家看過就忘。後來看相關的資料發現，這段歷史可能與2006年Geoffrey E. Hinton提出深度學習的概念這一革命性工作改變了之前的狀況有關。）

五、針對IBM這次的工作：
關於 SyNAPSE
美國國防部先進研究項目局的研究項目，由兩個大的group組成：IBM team和HRL Team。
Synapse在英文中是突觸的意思，而SyNAPSE是Systems of Neuromorphic Adaptive Plastic Scalable Electronics的簡稱。
Cognitive computing: Neurosynaptic chips
IBM proces first working chips modeled on the human brain
另一個SyNAPSE項目是由IBM阿爾馬登實驗室（位於聖何塞）的達爾門德拉·穆德哈負責。與四所美國大學（哥倫比亞大學，康奈爾大學，加州大學默塞德分校以及威斯康辛-麥迪遜大學）合作，穆德哈博士及其團隊製造了一台神經形態學計算機的原型機，擁有256個「積分觸發式」神經元，之所以這么叫是因為這些神經元將自己的輸入累加（即積分）直至達到閾值，然後發出一個信號後再自行重置。它們在這一點上與Spikey中的神經元類似，但是電子方面的細節卻有所不同，因為它們是由一個數字儲存器而非許多電容來記錄輸入信號的。
Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642

3. （神經網路）梯度爆炸會引發什麼

在深度多層感知機網路中，梯度爆炸會引起網路不穩定，最好的結果是無法從訓練數據中學習，而最壞的結果是出現無法再更新的 NaN 權重值。 梯度爆炸導致學習過程不穩定。—《深度學習》，在循環神經網路中，梯度爆炸會導致網路不穩定，無法利用訓練數據學習，最好的結果是網路無法學習長的輸入序列數據。

有很多方法可以解決梯度爆炸問題，一些最佳實驗方法如下：

• 重新設計網路模型： 在深度神經網路中，梯度爆炸可以通過重新設計層數更少的網路來解決。 使用更小的批尺寸對網路訓練也有好處。 在循環神經網路中，訓練過程中在更少的先前時間步上進行更新（沿時間的截斷反向傳播，truncated Backpropagation through time）可以緩解梯度爆炸問題。

• 使用 ReLU 激活函數 ：在深度多層感知機神經網路中，梯度爆炸的發生可能是因為激活函數，如之前很流行的 Sigmoid 和 Tanh 函數。 使用 ReLU 激活函數可以減少梯度爆炸。採用 ReLU 激活函數是最適合隱藏層的新實踐。

• 使用長短期記憶網路： 在循環神經網路中，梯度爆炸的發生可能是因為某種網路的訓練本身就存在不穩定性，如隨時間的反向傳播本質上將循環網路轉換成深度多層感知機神經網路。 使用長短期記憶（LSTM）單元和相關的門類型神經元結構可以減少梯度爆炸問題。 採用 LSTM 單元是適合循環神經網路的序列預測的最新最好實踐。

• 使用梯度截斷（Gradient Clipping）： 在非常深且批尺寸較大的多層感知機網路和輸入序列較長的 LSTM 中，仍然有可能出現梯度爆炸。如果梯度爆炸仍然出現，你可以在訓練過程中檢查和限制梯度的大小。這就是梯度截斷。 處理梯度爆炸有一個簡單有效的解決方案：如果梯度超過閾值，就截斷它們。 ——《Neural Network Methods in Natural Language Processing》，具體來說，檢查誤差梯度的值是否超過閾值，如果超過，則截斷梯度，將梯度設置為閾值。 梯度截斷可以一定程度上緩解梯度爆炸問題（梯度截斷，即在執行梯度下降步驟之前將梯度設置為閾值）。 ——《深度學習》 在 Keras 深度學習庫中，你可以在訓練之前設置優化器上的 clipnorm 或 clipvalue 參數，來使用梯度截斷。 默認值為 clipnorm=1.0 、clipvalue=0.5。

• 使用權重正則化（Weight Regularization） 如果梯度爆炸仍然存在，可以嘗試另一種方法，即檢查網路權重的大小，並懲罰產生較大權重值的損失函數。該過程被稱為權重正則化，通常使用的是 L1 懲罰項（權重絕對值）或 L2 懲罰項（權重平方）。 對循環權重使用 L1 或 L2 懲罰項有助於緩解梯度爆炸。 ——On the difficulty of training recurrent neural networks，在 Keras 深度學習庫中，你可以通過在層上設置 kernel_regularizer 參數和使用 L1 或 L2 正則化項進行權重正則化。

4. 神經網路模型是否可以描述人的記憶過程它存在哪些缺陷

生物神經網路（Biological Neural Networks）一般指生物的大腦神經元，細胞，觸點等組成的網路，用於產生生物的意識，幫虎嘗港妒蕃德歌泉攻滬助生物進行思考和行動。而 人工神經網路（Artificial Neural Network，即ANN ），是20世紀80 年代以來人工智慧領域興起的研究熱點。它從信息處理角度對人腦神經元網路進行抽象， 建立某種簡單模型，按不同的連接方式組成不同的網路。在工程與學術界也常直接簡稱為神經網路或類神經網路。神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重，這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式，權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。

5. 神經網路中層次多少對神經網路有什麼影響

理論情況下，三層的神經網路能完成任意的n維到m維的映射。
輸入層神經單元數確定方法：根據需要求解的問題和數據表示方式確定。
隱層的神經單元數確定方法：最佳的隱層單元數一定存在，但需要根據經驗和多次試驗確定。
經驗公式如n2=2*n1+1等。
輸出層神經單元數確定方法：有使用者要求來定，如bp網路用為分類器，一般有兩種方式：
1，m； 2，log2（m）.
層次太多增加了復雜度，並不一定能更好的識別。

6. 卷積神經網路的權重過多有什麼壞處'

會造成過擬合，噪音數據會干擾結果

7. 神經網路隱含層節點數過多的危害！

實驗表明，如果隱層結點數過少，網路不能具有必要的學習能力和信息處理能力。反之，若過多，不僅會大大增加網路結構的復雜性（這一點對硬體實現的網路尤其重要），網路在學習過程中更易陷入局部極小點，而且會使網路的學習速度變得很慢。隱層結點數的選擇問題一直受到高度重視。

方法1： 
fangfaGorman指出隱層結點數s與模式數N的關系是：s＝log2N；

方法二： 
Kolmogorov定理表明，隱層結點數s＝2n＋1（n為輸入層結點數）；

方法三： 
s＝sqrt（0.43mn＋0.12nn＋2.54m＋0.77n＋0.35）＋0.51 
（m是輸入層的個數，n是輸出層的個數）。

8. 神經網路優缺點，

優點：

（1）具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。

自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、市場預測、效益預測，其應用前途是很遠大的。

（2）具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

（3）具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

缺點：

（1）最嚴重的問題是沒能力來解釋自己的推理過程和推理依據。

（2）不能向用戶提出必要的詢問，而且當數據不充分的時候，神經網路就無法進行工作。

（3）把一切問題的特徵都變為數字，把一切推理都變為數值計算，其結果勢必是丟失信息。

（4）理論和學習演算法還有待於進一步完善和提高。

(8)神經網路重建有什麼危害擴展閱讀：

神經網路發展趨勢

人工神經網路特有的非線性適應性信息處理能力，克服了傳統人工智慧方法對於直覺，如模式、語音識別、非結構化信息處理方面的缺陷，使之在神經專家系統、模式識別、智能控制、組合優化、預測等領域得到成功應用。

人工神經網路與其它傳統方法相結合，將推動人工智慧和信息處理技術不斷發展。近年來，人工神經網路正向模擬人類認知的道路上更加深入發展，與模糊系統、遺傳演算法、進化機制等結合，形成計算智能，成為人工智慧的一個重要方向，將在實際應用中得到發展。

將信息幾何應用於人工神經網路的研究，為人工神經網路的理論研究開辟了新的途徑。神經計算機的研究發展很快，已有產品進入市場。光電結合的神經計算機為人工神經網路的發展提供了良好條件。

神經網路在很多領域已得到了很好的應用，但其需要研究的方面還很多。其中，具有分布存儲、並行處理、自學習、自組織以及非線性映射等優點的神經網路與其他技術的結合以及由此而來的混合方法和混合系統，已經成為一大研究熱點。

由於其他方法也有它們各自的優點，所以將神經網路與其他方法相結合，取長補短，繼而可以獲得更好的應用效果。目前這方面工作有神經網路與模糊邏輯、專家系統、遺傳演算法、小波分析、混沌、粗集理論、分形理論、證據理論和灰色系統等的融合。

參考資料：網路-人工神經網路