⑴ 深度神經網路是如何訓練的
Coursera的Ng機器學習,UFLDL都看過。沒記錯的話Ng的機器學習里是直接給出公式了,雖然你可能知道如何求解,但是即使不知道完成作業也不是問題,只要照著公式寫就行。反正我當時看的時候心裡並沒能比較清楚的明白。我覺得想了解深度學習UFLDL教程 - Ufldl是不錯的。有習題,做完的話確實會對深度學習有更加深刻的理解,但是總還不是很清晰。後來看了Li FeiFei的Stanford University CS231n: Convolutional Neural Networks for Visual Recognition,我的感覺是對CNN的理解有了很大的提升。沉下心來推推公式,多思考,明白了反向傳播本質上是鏈式法則(雖然之前也知道,但是當時還是理解的迷迷糊糊的)。所有的梯度其實都是對最終的loss進行求導得到的,也就是標量對矩陣or向量的求導。當然同時也學到了許多其他的關於cnn的。並且建議你不僅要完成練習,最好能自己也寫一個cnn,這個過程可能會讓你學習到許多更加細節和可能忽略的東西。這樣的網路可以使用中間層構建出多層的抽象,正如我們在布爾線路中做的那樣。例如,如果我們在進行視覺模式識別,那麼在第一層的神經元可能學會識別邊,在第二層的神經元可以在邊的基礎上學會識別出更加復雜的形狀,例如三角形或者矩形。第三層將能夠識別更加復雜的形狀。依此類推。這些多層的抽象看起來能夠賦予深度網路一種學習解決復雜模式識別問題的能力。然後,正如線路的示例中看到的那樣,存在著理論上的研究結果告訴我們深度網路在本質上比淺層網路更加強大。
⑵ 神經網路中的訓練、學習和自適應有什麼區別
神經網路中自適應,應該是指在一些訓練演算法中,學習速率可以自動調整的自適應過程 查看原帖>>
⑶ 什麼叫神經網路
南搞小孩給出基本的概念: 一.一些基本常識和原理 [什麼叫神經網路?] 人的思維有邏輯性和直觀性兩種不同的基本方式。邏輯性的思維是指根據邏輯規則進行推理的過程;它先將信息化成概念,並用符號表示,然後,根據符號運算按串列模式進行邏輯推理;這一過程可以寫成串列的指令,讓計算機執行。然而,直觀性的思維是將分布式存儲的信息綜合起來,結果是忽然間產生想法或解決問題的辦法。這種思維方式的根本之點在於以下兩點:1.信息是通過神經元上的興奮模式分布儲在網路上;2.信息處理是通過神經元之間同時相互作用的動態過程來完成的。 人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統,其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單,功能有限,但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。 [人工神經網路的工作原理] 人工神經網路首先要以一定的學習准則進行學習,然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明,規定當「A」輸入網路時,應該輸出「1」,而當輸入為「B」時,輸出為「0」。 所以網路學習的准則應該是:如果網路作出錯誤的的判決,則通過網路的學習,應使得網路減少下次犯同樣錯誤的可能性。首先,給網路的各連接權值賦予(0,1)區間內的隨機值,將「A」所對應的圖象模式輸入給網路,網路將輸入模式加權求和、與門限比較、再進行非線性運算,得到網路的輸出。在此情況下,網路輸出為「1」和「0」的概率各為50%,也就是說是完全隨機的。這時如果輸出為「1」(結果正確),則使連接權值增大,以便使網路再次遇到「A」模式輸入時,仍然能作出正確的判斷。 如果輸出為「0」(即結果錯誤),則把網路連接權值朝著減小綜合輸入加權值的方向調整,其目的在於使網路下次再遇到「A」模式輸入時,減小犯同樣錯誤的可能性。如此操作調整,當給網路輪番輸入若干個手寫字母「A」、「B」後,經過網路按以上學習方法進行若干次學習後,網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功,它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時,能夠作出迅速、准確的判斷和識別。一般說來,網路中所含的神經元個數越多,則它能記憶、識別的模式也就越多。 南搞小孩一個小程序: 關於一個神經網路模擬程序的下載 人工神經網路實驗系統(BP網路) V1.0 Beta 作者:沈琦 http://emuch.net/html/200506/de24132.html 作者關於此程序的說明: 從輸出結果可以看到,前3條"學習"指令,使"輸出"神經元收斂到了值 0.515974。而後3條"學習"指令,其收斂到了值0.520051。再看看處理4和11的指令結果 P *Out1: 0.520051看到了嗎? "大腦"識別出了4和11是屬於第二類的!怎麼樣?很神奇吧?再打show指令看看吧!"神經網路"已經形成了!你可以自己任意的設"模式"讓這個"大腦"學習分辯哦!只要樣本數據量充分(可含有誤差的樣本),如果能夠在out數據上收斂地話,那它就能分辨地很准哦!有時不是絕對精確,因為它具有"模糊處理"的特性.看Process輸出的值接近哪個Learning的值就是"大腦"作出的"模糊性"判別! 南搞小孩神經網路研究社區: 人工神經網路論壇 http://www.youngfan.com/forum/index.php http://www.youngfan.com/nn/index.html(舊版,楓舞推薦) 國際神經網路學會(INNS)(英文) http://www.inns.org/ 歐洲神經網路學會(ENNS)(英文) http://www.snn.kun.nl/enns/ 亞太神經網路學會(APNNA)(英文) http://www.cse.cuhk.e.hk/~apnna 日本神經網路學會(JNNS)(日文) http://www.jnns.org 國際電氣工程師協會神經網路分會 http://www.ieee-nns.org/ 研學論壇神經網路 http://bbs.matwav.com/post/page?bid=8&sty=1&age=0 人工智慧研究者俱樂部 http://www.souwu.com/ 2nsoft人工神經網路中文站 http://211.156.161.210:8888/2nsoft/index.jsp =南搞小孩推薦部分書籍: 人工神經網路技術入門講稿(PDF) http://www.youngfan.com/nn/ann.pdf 神經網路FAQ(英文) http://www.youngfan.com/nn/FAQ/FAQ.html 數字神經網路系統(電子圖書) http://www.youngfan.com/nn/nnbook/director.htm 神經網路導論(英文) http://www.shef.ac.uk/psychology/gurney/notes/contents.html =南搞小孩還找到一份很有參考價值的講座 <前向網路的敏感性研究> http://www.youngfan.com/nn/mgx.ppt 是Powerpoint文件,比較大,如果網速不夠最好用滑鼠右鍵下載另存. 南搞小孩添言:很久之前,楓舞夢想智能機器人從自己手中誕生,SO在學專業的時候也有往這方面發展...考研的時候亦是朝著人工智慧的方向發展..但是很不幸的是楓舞考研失敗...SO 只好放棄這個美好的願望,為生活奔波.希望你能夠成為一個好的智能計算機工程師..楓舞已經努力的在給你提供條件資源哦~~
⑷ 什麼神經網路訓練學習學習有哪幾種方式
神經網路的學習,也就是訓練過程,指的是輸入層神經元接收輸入信息,傳遞給中間層神經元,最後傳遞到輸出層神經元,由輸出層輸出信息處理結果的過程。
1、有監督學習2、無監督學習3、增強學習。
⑸ 神經網路中學習和訓練的區別是什麼
你好,一般學習是指自動的而訓練是指有人逼的。在神經網路中這兩者對應的是無監督學習和有監督學習。如果還是不太理解你可以查一下感知器和認知器。感知器是有監督的學習而認知器則是無監督的學習。
希望對你有幫助。^_^
⑹ bp神經網路是有監督還是無監督
bp神經網路是有監督。
BP神經網路是最基礎的神經網路,其輸出結果採用前向傳播,誤差採用反向(Back Propagation)傳播方式進行。BP神經網路是有監督學習,不妨想像這么一個應用場景:輸入數據是很多銀行用戶的年齡、職業、收入等,輸出數據是該用戶借錢後是否還貸。
作為銀行風控部門的負責人,你希望建立一個神經網路模型,從銀行多年的用戶數據中學習針對銀行客戶的風控模型,以此判定每個人的信用,並決定是否放貸。
基本原理
人工神經網路無需事先確定輸入輸出之間映射關系的數學方程,僅通過自身的訓練,學習某種規則,在給定輸入值時得到最接近期望輸出值的結果。作為一種智能信息處理系統,人工神經網路實現其功能的核心是演算法。
BP神經網路是一種按誤差反向傳播(簡稱誤差反傳)訓練的多層前饋網路,其演算法稱為BP演算法,它的基本思想是梯度下降法,利用梯度搜索技術,以期使網路的實際輸出值和期望輸出值的誤差均方差為最小。
⑺ 監督學習的神經網路是啥意思!
用樣本去訓練一個BP網路,然後用新的樣本作為輸入,再通過這個已經訓練好的BP網路,得到的數據就是模擬的結果,這就是BP網路模擬。我們訓練一個BP網路就好像是在訓練一個神經系統,然後用這個已經具備分析能力的神經系統去分析事情,這就是為什麼要模擬,說到底就是為了用。模擬的作用你可以從BP神經網路的用途上去看,例如很經典的可以用來做分類器等。你用不同類別的樣本(輸入+對應的期望輸出)作為訓練,然後給出一個新的輸入,BP網就能給你這個所屬的類別。
⑻ 多層感器有監督學習是不是可以理解為BP神經網路
多層感知器不是一個具體的神經網路,它是一種神經網路模型的結構,bp神經網路的模型的確是多層感知器,不過bp神經網路是利用bp演算法來優化網路的,可以理解為
bp神經網路 = 多層感知器 + bp演算法