A. 稀疏自編碼器是否只能用sigmoid激活函數
稀疏自編碼器Ⅰ：
神經網路
反向傳導演算法
梯度檢驗與高級優化
稀疏自編碼器Ⅱ：
自編碼演算法與稀疏性
可視化自編碼器訓練結果
Exercise: Sparse Autoencoder
自編碼演算法與
B. 神經網路中的數學知識
既然你說你數學只有初中水平，我建議你先把現在的初中數學教材看一遍，再接著看現在的高中教材，每看一節配上課後練習做一遍。看書的時候要注意懂得用腦子想，要懂得聯系前面所看的內容，實在看不懂，最好找個讀過高中數學並且成績不錯的人傳授一下經驗。學完高中之後再接著學大學微積分，數學要想真正學進去是要循序漸進的。希望我的建議對你有幫助！
C. 各種編程語言的深度學習庫整理大全！
各種編程語言的深度學習庫整理大全！
Python1. Theano是一個python類庫，用數組向量來定義和計算數學表達式。它使得在Python環境下編寫深度學習演算法變得簡單。在它基礎之上還搭建了許多類庫。
1.Keras是一個簡潔、高度模塊化的神經網路庫，它的設計參考了Torch，用Python語言編寫，支持調用GPU和CPU優化後的Theano運算。
2.Pylearn2是一個集成大量深度學習常見模型和訓練演算法的庫，如隨機梯度下降等。它的功能庫都是基於Theano之上。
3.Lasagne是一個搭建和訓練神經網路的輕量級封裝庫，基於Theano。它遵循簡潔化、透明化、模塊化、實用化和專一化的原則。
4.Blocks也是一個基於Theano的幫助搭建神經網路的框架。
2. Caffe是深度學習的框架，它注重於代碼的表達形式、運算速度以及模塊化程度。它是由伯克利視覺和學習中心（Berkeley Vision and Learning Center, BVLC）以及社區成員共同開發。谷歌的DeepDream項目就是基於Caffe框架完成。這個框架是使用BSD許可證的C++庫，並提供了Python調用介面。
3. nolearn囊括了大量的現有神經網路函數庫的封裝和抽象介面、大名鼎鼎的Lasagne以及一些機器學習的常用模塊。
4. Genism也是一個用Python編寫的深度學習小工具，採用高效的演算法來處理大規模文本數據。
5. Chainer在深度學習的理論演算法和實際應用之間架起一座橋梁。它的特點是強大、靈活、直觀，被認為是深度學習的靈活框架。
6. deepnet是基於GPU的深度學習演算法函數庫，使用Python語言開發，實現了前饋神經網路（FNN）、受限玻爾茲曼機（RBM）、深度信念網路（DBN）、自編碼器（AE）、深度玻爾茲曼機（DBM）和卷積神經網路（CNN）等演算法。
7. Hebel也是深度學習和神經網路的一個Python庫，它通過pyCUDA控制支持CUDA的GPU加速。它實現了最重要的幾類神經網路模型，提供了多種激活函數和模型訓練方法，例如momentum、Nesterov momentum、dropout、和early stopping等方法。
8. CXXNET是一個基於MShadow開發的快速、簡潔的分布式深度學習框架。它是一個輕量級、易擴展的C++/CUDA神經網路工具箱，提供友好的Python/Matlab介面來進行訓練和預測。
9. DeepPy是基於NumPy的深度學習框架。
10. DeepLearning是一個用C++和Python共同開發的深度學習函數庫。
11. Neon是Nervana System 的深度學習框架，使用Python開發。
Matlab
1. ConvNet 卷積神經網路是一類深度學習分類演算法，它可以從原始數據中自主學習有用的特徵，通過調節權重值來實現。
2. DeepLearnToolBox是用於深度學習的Matlab/Octave工具箱，它包含深度信念網路（DBN）、棧式自編碼器（stacked AE）、卷積神經網路（CNN）等演算法。
3. cuda-convet是一套卷積神經網路（CNN）代碼，也適用於前饋神經網路，使用C++/CUDA進行運算。它能對任意深度的多層神經網路建模。只要是有向無環圖的網路結構都可以。訓練過程採用反向傳播演算法（BP演算法）。
4. MatConvNet是一個面向計算機視覺應用的卷積神經網路（CNN）Matlab工具箱。它簡單高效，能夠運行和學習最先進的機器學習演算法。
CPP
1. eblearn是開源的機器學習C++封裝庫，由Yann LeCun主導的紐約大學機器學習實驗室開發。它用基於能量的模型實現卷積神經網路，並提供可視化交互界面（GUI）、示例以及示範教程。
2. SINGA是Apache軟體基金會支持的一個項目，它的設計目標是在現有系統上提供通用的分布式模型訓練演算法。
3. NVIDIA DIGITS是用於開發、訓練和可視化深度神經網路的一套新系統。它把深度學習的強大功能用瀏覽器界面呈現出來，使得數據科學家和研究員可以實時地可視化神經網路行為，快速地設計出最適合數據的深度神經網路。
4. Intel? Deep Learning Framework提供了Intel?平台加速深度卷積神經網路的一個統一平台。
Java
1. N-Dimensional Arrays for Java (ND4J) 是JVM平台的科學計算函數庫。它主要用於產品中，也就是說函數的設計需求是運算速度快、存儲空間最省。
2. Deeplearning4j 是第一款商業級別的開源分布式深度學習類庫，用Java和Scala編寫。它的設計目的是為了在商業環境下使用，而不是作為一款研究工具。
3. Encog是一個機器學習的高級框架，涵蓋支持向量機、人工神經網路、遺傳編程、貝葉斯網路、隱馬可夫模型等，也支持遺傳演算法。
JavaScript
1. Convnet.js 由JavaScript編寫，是一個完全在瀏覽器內完成訓練深度學習模型（主要是神經網路）的封裝庫。不需要其它軟體，不需要編譯器，不需要安裝包，不需要GPU，甚至不費吹灰之力。
Lua
1. Torch是一款廣泛適用於各種機器學習演算法的科學計算框架。它使用容易，用快速的腳本語言LuaJit開發，底層是C/CUDA實現。Torch基於Lua編程語言。
Julia
1. Mocha是Julia的深度學習框架，受C++框架Caffe的啟發。Mocha中通用隨機梯度求解程序和通用模塊的高效實現，可以用來訓練深度/淺層（卷積）神經網路，可以通過（棧式）自編碼器配合非監督式預訓練（可選）完成。它的優勢特性包括模塊化結構、提供上層介面，可能還有速度、兼容性等更多特性。
Lisp
1. Lush(Lisp Universal Shell)是一種面向對象的編程語言，面向對大規模數值和圖形應用感興趣的廣大研究員、實驗員和工程師們。它擁有機器學習的函數庫，其中包含豐富的深度學習庫。
Haskell
1. DNNGraph是Haskell用於深度神經網路模型生成的領域特定語言（DSL）。
.NET
1. Accord.NET 是完全用C#編寫的.NET機器學習框架，包括音頻和圖像處理的類庫。它是產品級的完整框架，用於計算機視覺、計算機音頻、信號處理和統計應用領域。
R
1. darch包可以用來生成多層神經網路（深度結構）。訓練的方法包括了對比散度的預訓練和眾所周知的訓練演算法（如反向傳播法或共軛梯度法）的細調。
2. deepnet實現了許多深度學習框架和神經網路演算法，包括反向傳播(BP)、受限玻爾茲曼機(RBM)、深度信念網路(DBP)、深度自編碼器(Deep autoencoder)等等。
D. 有哪些深度神經網路模型
目前經常使用的深度神經網路模型主要有卷積神經網路(CNN) 、遞歸神經網路(RNN)、深信度網路(DBN) 、深度自動編碼器(AutoEncoder) 和生成對抗網路(GAN) 等。
遞歸神經網路實際.上包含了兩種神經網路。一種是循環神經網路(Recurrent NeuralNetwork) ;另一種是結構遞歸神經網路(Recursive Neural Network)，它使用相似的網路結構遞歸形成更加復雜的深度網路。RNN它們都可以處理有序列的問題，比如時間序列等且RNN有「記憶」能力，可以「模擬」數據間的依賴關系。卷積網路的精髓就是適合處理結構化數據。
關於深度神經網路模型的相關學習，推薦CDA數據師的相關課程，課程以項目調動學員數據挖掘實用能力的場景式教學為主，在講師設計的業務場景下由講師不斷提出業務問題，再由學員循序漸進思考並操作解決問題的過程中，幫助學員掌握真正過硬的解決業務問題的數據挖掘能力。這種教學方式能夠引發學員的獨立思考及主觀能動性，學員掌握的技能知識可以快速轉化為自身能夠靈活應用的技能，在面對不同場景時能夠自由發揮。點擊預約免費試聽課。
E. 如何訓練深度神經網路
deeplearinig就是神經網路的一類，就是解決的訓練問題的深層神經網路，所以你這問題「深度學習會代替神經網路『就不對，BP么，BP有自己的優勢，也是很成熟的演算法，做手寫識別等等效果已經商用化了，不會被輕易替代。deeplearning遠比BP要復雜，用來解決的問題也不是一個層面，所以也沒有替代的必要。Deeplearning所涉及的問題大多數BP都沒法解決的。
度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構，通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。深度學習的概念由Hinton等人於2006年提出，基於深信度網(DBN)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。
系統地論述了神經網路的基本原理、方法、技術和應用，主要內容包括：神經信息處理的基本原理、感知器、反向傳播網路、自組織網路、遞歸網路、徑向基函數網路、核函數方法、神經網路集成、模糊神經網路、概率神經網路、脈沖耦合神經網路、神經場理論、神經元集群以及神經計算機。每章末附有習題，書末附有詳細的參考文獻。神經網路是通過對人腦或生物神經網路的抽象和建模，研究非程序的、適應性的、大腦風格的信息處理的本質和能力。它以腦科學和認知神經科學的研究成果為基礎，拓展智能信息處理的方法，為解決復雜問題和智能控制提供有效的途徑，是智能科學和計算智能的重要部分。
F. 神經網路的關鍵是什麼
神經網路的關鍵是什麼
相對於傳統的線性和非線性方法，為什麼神經網路會如此強大？
當你有一個線性模型，每一個功能要麼對你有幫助，要麼對你有傷害，這種假設是線性模型中固有的。因此線性模型要麼功能異常強大，用類1表示；要麼則毫無用處，用類2表示。所有的解決方案，要麼導致該功能獲得巨大的價值；要麼價值變得微不足道。你永遠不會有這么一個狀態說，在這個區間，該功能就是代表類1；但是在另一個區間，它代表類2。
線性和非線性方法局限性很大。也就是說，如果你分析圖片，舉個例子，尋找狗狗的照片，它很可能會進入到一個特定的子集裡面，比如只顯示有一隻狗的照片，或是顯示某一像素和其他類型的圖片。在線性模式裡面，你無法確定復雜的關系集。相比於線性模型，非線性模型可能會顯得更強大一些，但是這種模式同樣難以訓練。我們會再一次進入到所謂最優化理論的問題之中，這也是我們在很長一段時間里認為神經網路還不是足夠好的原因之一，因為他們會「過擬合」，通俗的說，就是太過強大。我們無法做預測，也無法確保最優化方案。或許，這可能就是為什麼神經網路從當下暫時消失的原因吧。
在神經網路理論中，機器學習有很多分支和方法，你能總結一些關鍵方法嗎？
到目前為止，最成功的方法是監督學習方法，它使用了一個比較老的演算法，稱為反向傳播，構建了一個擁有許多不同輸出的神經網路。
讓我們看下一個神經網路構建，這個網路已經非常流行了，叫做卷積神經網路。這個理念是機器學習研究人員構建了一個多層架構的模型，每一層都可以用不同的方法處理之前一層的連接。
在第一層，你有一個窗口，上面會給圖像分配權值，它也變成了該層的輸入。由於權值「卷積」，該層也被稱為卷積層，它會自我重疊。接著後面會有若干個不同類型的層，每層都有不同的屬性，絕大多數都是非線性的。
最後一層會有1萬個潛在神經元輸入，那些激活的神經輸出，每一個都對應了一個特殊的標簽，可以用來識別圖像。第一類可能是一隻貓，第二類可能是一輛車，以此推到所有一萬個類，這樣一張「圖像網」就出來了。如果第一個神經元（一隻貓）與1萬個神經元中絕大多數都匹配，那麼這張圖像就能被識別出來，是一張貓的圖像。
這種監督學習方法的缺點是，在訓練的時候，你必須要在圖像上應用標簽，這是一輛車，這是一個動物園等。
沒錯，那麼無監督學習方法呢？
無監督學習方法還不是那麼受歡迎，它涉及到「自編碼器」。這種神經網路不會用來分類圖像，但是可以壓縮圖像。同我剛才提及的方法來讀取圖像，識別一個權值，並在一個卷積層內用像素填滿。其他若干層也這樣，包括相比於其它層小的多的中間層。這樣做的話，相關的神經元會變得很少，基本上，你讀取圖像時會進入到一個瓶頸，之後從另一邊走出來，並嘗試重新構建該圖像。
在無監督學習訓練下，不需要打標簽，因為你所做的就是把圖像放入到神經網路的兩端，然後訓練網路適應圖像，特別是訓練中間層。一旦你這么做了，那麼就擁有了一個知道如何壓縮圖像的神經網路。無監督學習方法可以給你提供能應用在其他分類器的功能，因此如果你有哪怕一點點標簽訓練數據，沒問題，它一樣可以為你提供大量圖像。你可以把這些圖像看做是無標簽訓練數據，並使用這些圖像構建一個「自編輯器」，然後從這個自編輯器中導出一些功能，這些功能適合使用一些訓練數據，以此找到對特殊模型敏感的自動編碼神經網路中的神經元。
G. 深度學習有人了解嗎，可以介紹一下嗎
深度學習主要是通過在學習中進入一個比較十分集中注意力的狀態，然後進行高效率的學習，這樣可以提高人的學習效率