『壹』 卷積神經網路主要做什麼用的
卷積網路的特點主要是卷積核參數共享,池化操作。
參數共享的話的話是因為像圖片等結構化的數據在不同的區域可能會存在相同的特徵,那麼就可以把卷積核作為detector,每一層detect不同的特徵,但是同層的核是在圖片的不同地方找相同的特徵。然後把底層的特徵組合傳給後層,再在後層對特徵整合(一般深度網路是說不清楚後面的網路層得到了什麼特徵的)。
而池化主要是因為在某些任務中降采樣並不會影響結果。所以可以大大減少參數量,另外,池化後在之前同樣大小的區域就可以包含更多的信息了。
綜上,所有有這種特徵的數據都可以用卷積網路來處理。有卷積做視頻的,有卷積做文本處理的(當然這兩者由於是序列信號,天然更適合用lstm處理)
另外,卷積網路只是個工具,看你怎麼使用它,有必要的話你可以隨意組合池化和卷積的順序,可以改變網路結構來達到自己所需目的的,不必太被既定框架束縛。
『貳』 概率神經網路主要是用來做什麼的
作用:這種網路已較廣泛地應用於非線性濾波、模式分類、聯想記憶和
概率密度估計當中。
概率神經網路是由Specht博士在1989年提出的,它與統計信號處理
的許多概念有著緊密的聯系。當這種網路用於檢測和模式分類時,可以
得到貝葉斯最優結果。它通常由4層組成。第一層為輸入層,每個神經
元均為單輸入單輸出,其傳遞函數也為線性的,這一層的作用只是將輸
入信號用分布的方式來表示。第二層稱之為模式層,它與輸入層之間通
過連接權值Wij相連接.模式層神經元的傳遞函數不再是通常的Sigmoid
函數,而為
g(Zi)=exp[(Zi-1)/(s*s)]
其中,Zi為該層第i個神經元的輸入,s為均方差。第三層稱之為累加層
,它具有線性求和的功能。這一層的神經元數目與欲分的模式數目相同
。第四層即輸出層具有判決功能,它的神經元輸出為離散值1和-1(或0
),分別代表著輸入模式的類別。
許多研究已表明概率神經網路具有如下特性:
(1)訓練容易,收斂速度快,從而非常適用於實時處理;
(2)可以完成任意的非線性變換,所形成的判決曲面與貝葉斯最優
准則下的曲面相接近;
(3)具有很強的容錯性;
(4)模式層的傳遞函數可以選用各種用來估計概率密度的核函數,
並且,分類結果對核函數的形式不敏感;
(5)各層神經元的數目比較固定,因而易於硬體實現。
『叄』 神經網路究竟幹了一件什麼事
神經網路究竟幹了一件什麼事
今天我們來討論當下最熱門的神經網路,現在深度學習炒的非常火,其實本質還是把神經網路演算法進行了延伸和優化!咱們這回的目標就直入主題用最簡單的語言讓大家清楚神經網路究竟是個什麼東西。關於神經網路與人工智慧的發展,以及神經網路各種生物學模型咱們就不嘮了,我是覺得把神經網路比作各種類人腦模型和生物學模型沒有半點助於咱們理解,反而把簡單的問題復雜了,這些恩怨情仇咱們就不過多介紹了!
這張圖就是我們的核心了,也是整個神經網路的架構,只要能理解這個,那就OK了!首先我們來觀察整個結構,發現在神經網路中是存在多個層的,有輸入層,隱層1,隱層2,輸出層。那麼我們想要得到一個合適的結果,就必須通過這么多層得到最終的結果,在這里咱們先來考慮一個問題,神經網路究竟做了一件什麼事?
如果你想做一個貓狗識別,大家首先想到了神經網路,那它是怎麼做的呢?先來想想咱們人類是怎麼分辨的,是不是根據貓和狗的特徵是不一樣的,所以我們可以很輕松就知道什麼事貓什麼是狗。既然這樣,神經網路要做的事跟咱們一樣,它也需要知道貓的特徵是什麼,狗的特徵是什麼,這么多的層次結構其實就做了一件事,進行特徵提取,我們希望網路結構能更好的識別出來我們想要的結果,那勢必需要它們能提取處最合適的特徵,所以神經網路的強大之處就在於它可以幫助我們更好的選擇出最恰當的特徵。
在第一張圖中我們定義了多層的結構,在這里有一個概念叫做神經元,那麼神經元真的存在嗎?像大腦一樣?其實就是一個權重參數矩陣,比如你有一個輸入數據。它是由3個特徵組成的,我們就說輸入是一個batchsize*3的矩陣,(batchsieze是一次輸入的數據量大小),那既然要對輸入提取特徵,我們就需要權重參數矩陣W了,在圖中神經元的意思就是我們要把這個3個特徵如何變幻才能得到更好的信息表達,比如中間的第一個隱層有4個神經元,那麼我們需要的第一個權重參數矩陣W1就是3 * 4,表示通過矩陣鏈接後得到的是batchsize * 4的特徵,也就是說我們將特徵進行的變換,看起來好像是從3變到了4隻增加了一個,但是我們的核心一方面是特徵的個數,這個我們可以自己定義神經元的個數。另一方面我們關注的點在於,什麼樣的權重參數矩陣W1才能給我得到更好的特徵,那麼神經網路大家都說它是一個黑盒子,原因就在於權重參數矩陣W1內部是很難解釋的,其實我們也不需要認識它,只要計算機能懂就OK了。那麼這一步是怎麼做的呢?計算機怎麼得到最好的權重參數W1幫我們完成了特徵的提取呢?這一點就要靠反向傳播與梯度下降了,簡單來說就是我們告訴神經網路我的目標就是分辨出什麼是貓什麼是狗,然後神經網路就會通過大量的迭代去尋找最合適的一組權重參數矩陣。(如果不清楚什麼事梯度下降,先來看看我之前的文章吧!)
在神經網路中,我們剛才解釋了什麼是神經元,說白了就是一組權重參數。那整個網路不止這么一層呀,還有很多層次結構,這就是說我們的網路要想充分利用其價值就需要通過多種變換才能得到最終最合適的特徵,一旦我們得到了最合適的特徵,後續我們利用特徵來進行分類或者回歸任務就都隨你啦。這就是神經網路的本質,其實我本質上認為神經網路就是一種特徵提取器,通過這種設計可以讓我們得到更有價值的信息!
『肆』 什麼是「小波神經網路」能幹什麼用呀
小波神經網路(Wavelet Neural Network, WNN)是在小波分析研究獲得突破的基礎上提出的一種人工神經網路。它是基於小波分析理論以及小波變換所構造的一種分層的、多解析度的新型人工神經網路模型。
即用非線性小波基取代了通常的非線性Sigmoid 函數,其信號表述是通過將所選取的小波基進行線性疊加來表現的。它避免了BP 神經網路結構設計的盲目性和局部最優等非線性優化問題,大大簡化了訓練,具有較強的函數學習能力和推廣能力及廣闊的應用前景。
「小波神經網路」的應用:
1、在影像處理方面,可以用於影像壓縮、分類、識別與診斷,去污等。在醫學成像方面的減少B超、CT、核磁共振成像的時間,提高解析度等。
2、在信號分析中的應用也十分廣泛。它可以用於邊界的處理與濾波、時頻分析、信噪分離與提取弱信號、求分形指數、信號的識別與診斷以及多尺度邊緣偵測等。
3、在工程技術等方面的應用。包括電腦視覺、電腦圖形學、曲線設計、湍流、遠端宇宙的研究與生物醫學方面。
(4)神經網路是干什麼的擴展閱讀:
小波神經網路這方面的早期工作大約開始於1992 年,主要研究者是Zhang Q、Harold H S 和焦李成等。其中,焦李成在其代表作《神經網路的應用與實現》中從理論上對小波神經網路進行了較為詳細的論述。近年來,人們在小波神經網路的理論和應用方面都開展了不少研究工作。
小波神經網路具有以下特點:首先,小波基元及整個網路結構的確定有可靠的理論根據,可避免BP 神經網路等結構設計上的盲目性;其次,網路權系數線性分布和學習目標函數的凸性,使網路訓練過程從根本上避免了局部最優等非線性優化問題;第三,有較強的函數學習能力和推廣能力。
『伍』 干什麼都神經網路,神經網路究竟怎樣
我只能說很強大,和人的神經很像,通過學習可以辨別事物,預判事物,但也和人一樣有確定 就是難免會認錯人,人工神經網路就是模擬了人的生物神經網路
『陸』 神經網路是由一層一層構建的,那麼每層究竟在做什麼
某層的神經元個數與節點數是一個意思。
雖是3層神經網路,但是去叫做兩層BP網路,因為輸入層一般不算做一層。
n就該取2,s1就是隱含層節點數,選取的公式是Hornik 提出的公式,
可以算的s1取值范圍,到時自己選取合適值,s2就是你輸出層節點數,也就是輸出維數。
『柒』 什麼叫神經網路
楓舞給出基本的概念:
一.一些基本常識和原理
[什麼叫神經網路?]
人的思維有邏輯性和直觀性兩種不同的基本方式。邏輯性的思維是指根據邏輯規則進行推理的過程;它先將信息化成概念,並用符號表示,然後,根據符號運算按串列模式進行邏輯推理;這一過程可以寫成串列的指令,讓計算機執行。然而,直觀性的思維是將分布式存儲的信息綜合起來,結果是忽然間產生想法或解決問題的辦法。這種思維方式的根本之點在於以下兩點:1.信息是通過神經元上的興奮模式分布儲在網路上;2.信息處理是通過神經元之間同時相互作用的動態過程來完成的。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統,其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單,功能有限,但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。
[人工神經網路的工作原理]
人工神經網路首先要以一定的學習准則進行學習,然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明,規定當「A」輸入網路時,應該輸出「1」,而當輸入為「B」時,輸出為「0」。
所以網路學習的准則應該是:如果網路作出錯誤的的判決,則通過網路的學習,應使得網路減少下次犯同樣錯誤的可能性。首先,給網路的各連接權值賦予(0,1)區間內的隨機值,將「A」所對應的圖象模式輸入給網路,網路將輸入模式加權求和、與門限比較、再進行非線性運算,得到網路的輸出。在此情況下,網路輸出為「1」和「0」的概率各為50%,也就是說是完全隨機的。這時如果輸出為「1」(結果正確),則使連接權值增大,以便使網路再次遇到「A」模式輸入時,仍然能作出正確的判斷。
如果輸出為「0」(即結果錯誤),則把網路連接權值朝著減小綜合輸入加權值的方向調整,其目的在於使網路下次再遇到「A」模式輸入時,減小犯同樣錯誤的可能性。如此操作調整,當給網路輪番輸入若干個手寫字母「A」、「B」後,經過網路按以上學習方法進行若干次學習後,網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功,它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時,能夠作出迅速、准確的判斷和識別。一般說來,網路中所含的神經元個數越多,則它能記憶、識別的模式也就越多。
=================================================
楓舞推薦一個小程序:
關於一個神經網路模擬程序的下載
人工神經網路實驗系統(BP網路) V1.0 Beta 作者:沈琦
http://emuch.net/html/200506/de24132.html
作者關於此程序的說明:
從輸出結果可以看到,前3條"學習"指令,使"輸出"神經元收斂到了值 0.515974。而後3條"學習"指令,其收斂到了值0.520051。再看看處理4和11的指令結果 P *Out1: 0.520051看到了嗎? "大腦"識別出了4和11是屬於第二類的!怎麼樣?很神奇吧?再打show指令看看吧!"神經網路"已經形成了!你可以自己任意的設"模式"讓這個"大腦"學習分辯哦!只要樣本數據量充分(可含有誤差的樣本),如果能夠在out數據上收斂地話,那它就能分辨地很准哦!有時不是絕對精確,因為它具有"模糊處理"的特性.看Process輸出的值接近哪個Learning的值就是"大腦"作出的"模糊性"判別!
=================================================
楓舞推薦神經網路研究社區:
人工神經網路論壇
http://www.youngfan.com/forum/index.php
http://www.youngfan.com/nn/index.html(舊版,楓舞推薦)
國際神經網路學會(INNS)(英文)
http://www.inns.org/
歐洲神經網路學會(ENNS)(英文)
http://www.snn.kun.nl/enns/
亞太神經網路學會(APNNA)(英文)
http://www.cse.cuhk.e.hk/~apnna
日本神經網路學會(JNNS)(日文)
http://www.jnns.org
國際電氣工程師協會神經網路分會
http://www.ieee-nns.org/
研學論壇神經網路
http://bbs.matwav.com/post/page?bid=8&sty=1&age=0
人工智慧研究者俱樂部
http://www.souwu.com/
2nsoft人工神經網路中文站
http://211.156.161.210:8888/2nsoft/index.jsp
=================================================
楓舞推薦部分書籍:
人工神經網路技術入門講稿(PDF)
http://www.youngfan.com/nn/ann.pdf
神經網路FAQ(英文)
http://www.youngfan.com/nn/FAQ/FAQ.html
數字神經網路系統(電子圖書)
http://www.youngfan.com/nn/nnbook/director.htm
神經網路導論(英文)
http://www.shef.ac.uk/psychology/gurney/notes/contents.html
===============================================
楓舞還找到一份很有參考價值的講座
<前向網路的敏感性研究>
http://www.youngfan.com/nn/mgx.ppt
是Powerpoint文件,比較大,如果網速不夠最好用滑鼠右鍵下載另存.
=========================================================
楓舞添言:很久之前,楓舞夢想智能機器人從自己手中誕生,SO在學專業的時候也有往這方面發展...考研的時候亦是朝著人工智慧的方向發展..但是很不幸的是楓舞考研失敗...SO 只好放棄這個美好的願望,為生活奔波.希望你能夠成為一個好的智能計算機工程師..楓舞已經努力的在給你提供條件資源哦~~
『捌』 神經網路到底能幹什麼
神經網路(Artificial Neural Networks,簡寫為ANNs)也簡稱為神經網路(NNs)或稱作連接模型(Connection Model),它是一種模仿動物神經網路行為特徵,進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度,通過調整內部大量節點之間相互連接的關系,從而達到處理信息的目的。
神經網路可以用於模式識別、信號處理、知識工程、專家系統、優化組合、機器人控制等。隨著神經網路理論本身以及相關理論、相關技術的不斷發展,神經網路的應用定將更加深入。
神經網路的研究可以分為理論研究和應用研究兩大方面。
理論研究可分為以下兩類:
1、利用神經生理與認知科學研究人類思維以及智能機理。
2、利用神經基礎理論的研究成果,用數理方法探索功能更加完善、性能更加優越的神經網路模型,深入研究網路演算法和性能,如:穩定性、收斂性、容錯性、魯棒性等;開發新的網路數理理論,如:神經網路動力學、非線性神經場等。
應用研究可分為以下兩類:
1、神經網路的軟體模擬和硬體實現的研究。
2、神經網路在各個領域中應用的研究。