A. 稀疏自编码器是否只能用sigmoid激活函数
稀疏自编码器Ⅰ：
神经网络
反向传导算法
梯度检验与高级优化
稀疏自编码器Ⅱ：
自编码算法与稀疏性
可视化自编码器训练结果
Exercise: Sparse Autoencoder
自编码算法与
B. 神经网络中的数学知识
既然你说你数学只有初中水平，我建议你先把现在的初中数学教材看一遍，再接着看现在的高中教材，每看一节配上课后练习做一遍。看书的时候要注意懂得用脑子想，要懂得联系前面所看的内容，实在看不懂，最好找个读过高中数学并且成绩不错的人传授一下经验。学完高中之后再接着学大学微积分，数学要想真正学进去是要循序渐进的。希望我的建议对你有帮助！
C. 各种编程语言的深度学习库整理大全！
各种编程语言的深度学习库整理大全！
Python1. Theano是一个python类库，用数组向量来定义和计算数学表达式。它使得在Python环境下编写深度学习算法变得简单。在它基础之上还搭建了许多类库。
1.Keras是一个简洁、高度模块化的神经网络库，它的设计参考了Torch，用Python语言编写，支持调用GPU和CPU优化后的Theano运算。
2.Pylearn2是一个集成大量深度学习常见模型和训练算法的库，如随机梯度下降等。它的功能库都是基于Theano之上。
3.Lasagne是一个搭建和训练神经网络的轻量级封装库，基于Theano。它遵循简洁化、透明化、模块化、实用化和专一化的原则。
4.Blocks也是一个基于Theano的帮助搭建神经网络的框架。
2. Caffe是深度学习的框架，它注重于代码的表达形式、运算速度以及模块化程度。它是由伯克利视觉和学习中心（Berkeley Vision and Learning Center, BVLC）以及社区成员共同开发。谷歌的DeepDream项目就是基于Caffe框架完成。这个框架是使用BSD许可证的C++库，并提供了Python调用接口。
3. nolearn囊括了大量的现有神经网络函数库的封装和抽象接口、大名鼎鼎的Lasagne以及一些机器学习的常用模块。
4. Genism也是一个用Python编写的深度学习小工具，采用高效的算法来处理大规模文本数据。
5. Chainer在深度学习的理论算法和实际应用之间架起一座桥梁。它的特点是强大、灵活、直观，被认为是深度学习的灵活框架。
6. deepnet是基于GPU的深度学习算法函数库，使用Python语言开发，实现了前馈神经网络（FNN）、受限玻尔兹曼机（RBM）、深度信念网络（DBN）、自编码器（AE）、深度玻尔兹曼机（DBM）和卷积神经网络（CNN）等算法。
7. Hebel也是深度学习和神经网络的一个Python库，它通过pyCUDA控制支持CUDA的GPU加速。它实现了最重要的几类神经网络模型，提供了多种激活函数和模型训练方法，例如momentum、Nesterov momentum、dropout、和early stopping等方法。
8. CXXNET是一个基于MShadow开发的快速、简洁的分布式深度学习框架。它是一个轻量级、易扩展的C++/CUDA神经网络工具箱，提供友好的Python/Matlab接口来进行训练和预测。
9. DeepPy是基于NumPy的深度学习框架。
10. DeepLearning是一个用C++和Python共同开发的深度学习函数库。
11. Neon是Nervana System 的深度学习框架，使用Python开发。
Matlab
1. ConvNet 卷积神经网络是一类深度学习分类算法，它可以从原始数据中自主学习有用的特征，通过调节权重值来实现。
2. DeepLearnToolBox是用于深度学习的Matlab/Octave工具箱，它包含深度信念网络（DBN）、栈式自编码器（stacked AE）、卷积神经网络（CNN）等算法。
3. cuda-convet是一套卷积神经网络（CNN）代码，也适用于前馈神经网络，使用C++/CUDA进行运算。它能对任意深度的多层神经网络建模。只要是有向无环图的网络结构都可以。训练过程采用反向传播算法（BP算法）。
4. MatConvNet是一个面向计算机视觉应用的卷积神经网络（CNN）Matlab工具箱。它简单高效，能够运行和学习最先进的机器学习算法。
CPP
1. eblearn是开源的机器学习C++封装库，由Yann LeCun主导的纽约大学机器学习实验室开发。它用基于能量的模型实现卷积神经网络，并提供可视化交互界面（GUI）、示例以及示范教程。
2. SINGA是Apache软件基金会支持的一个项目，它的设计目标是在现有系统上提供通用的分布式模型训练算法。
3. NVIDIA DIGITS是用于开发、训练和可视化深度神经网络的一套新系统。它把深度学习的强大功能用浏览器界面呈现出来，使得数据科学家和研究员可以实时地可视化神经网络行为，快速地设计出最适合数据的深度神经网络。
4. Intel? Deep Learning Framework提供了Intel?平台加速深度卷积神经网络的一个统一平台。
Java
1. N-Dimensional Arrays for Java (ND4J) 是JVM平台的科学计算函数库。它主要用于产品中，也就是说函数的设计需求是运算速度快、存储空间最省。
2. Deeplearning4j 是第一款商业级别的开源分布式深度学习类库，用Java和Scala编写。它的设计目的是为了在商业环境下使用，而不是作为一款研究工具。
3. Encog是一个机器学习的高级框架，涵盖支持向量机、人工神经网络、遗传编程、贝叶斯网络、隐马可夫模型等，也支持遗传算法。
JavaScript
1. Convnet.js 由JavaScript编写，是一个完全在浏览器内完成训练深度学习模型（主要是神经网络）的封装库。不需要其它软件，不需要编译器，不需要安装包，不需要GPU，甚至不费吹灰之力。
Lua
1. Torch是一款广泛适用于各种机器学习算法的科学计算框架。它使用容易，用快速的脚本语言LuaJit开发，底层是C/CUDA实现。Torch基于Lua编程语言。
Julia
1. Mocha是Julia的深度学习框架，受C++框架Caffe的启发。Mocha中通用随机梯度求解程序和通用模块的高效实现，可以用来训练深度/浅层（卷积）神经网络，可以通过（栈式）自编码器配合非监督式预训练（可选）完成。它的优势特性包括模块化结构、提供上层接口，可能还有速度、兼容性等更多特性。
Lisp
1. Lush(Lisp Universal Shell)是一种面向对象的编程语言，面向对大规模数值和图形应用感兴趣的广大研究员、实验员和工程师们。它拥有机器学习的函数库，其中包含丰富的深度学习库。
Haskell
1. DNNGraph是Haskell用于深度神经网络模型生成的领域特定语言（DSL）。
.NET
1. Accord.NET 是完全用C#编写的.NET机器学习框架，包括音频和图像处理的类库。它是产品级的完整框架，用于计算机视觉、计算机音频、信号处理和统计应用领域。
R
1. darch包可以用来生成多层神经网络（深度结构）。训练的方法包括了对比散度的预训练和众所周知的训练算法（如反向传播法或共轭梯度法）的细调。
2. deepnet实现了许多深度学习框架和神经网络算法，包括反向传播(BP)、受限玻尔兹曼机(RBM)、深度信念网络(DBP)、深度自编码器(Deep autoencoder)等等。
D. 有哪些深度神经网络模型
目前经常使用的深度神经网络模型主要有卷积神经网络(CNN) 、递归神经网络(RNN)、深信度网络(DBN) 、深度自动编码器(AutoEncoder) 和生成对抗网络(GAN) 等。
递归神经网络实际.上包含了两种神经网络。一种是循环神经网络(Recurrent NeuralNetwork) ;另一种是结构递归神经网络(Recursive Neural Network)，它使用相似的网络结构递归形成更加复杂的深度网络。RNN它们都可以处理有序列的问题，比如时间序列等且RNN有“记忆”能力，可以“模拟”数据间的依赖关系。卷积网络的精髓就是适合处理结构化数据。
关于深度神经网络模型的相关学习，推荐CDA数据师的相关课程，课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，再由学员循序渐进思考并操作解决问题的过程中，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。这种教学方式能够引发学员的独立思考及主观能动性，学员掌握的技能知识可以快速转化为自身能够灵活应用的技能，在面对不同场景时能够自由发挥。点击预约免费试听课。
E. 如何训练深度神经网络
deeplearinig就是神经网络的一类，就是解决的训练问题的深层神经网络，所以你这问题“深度学习会代替神经网络‘就不对，BP么，BP有自己的优势，也是很成熟的算法，做手写识别等等效果已经商用化了，不会被轻易替代。deeplearning远比BP要复杂，用来解决的问题也不是一个层面，所以也没有替代的必要。Deeplearning所涉及的问题大多数BP都没法解决的。
度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出，基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
系统地论述了神经网络的基本原理、方法、技术和应用，主要内容包括：神经信息处理的基本原理、感知器、反向传播网络、自组织网络、递归网络、径向基函数网络、核函数方法、神经网络集成、模糊神经网络、概率神经网络、脉冲耦合神经网络、神经场理论、神经元集群以及神经计算机。每章末附有习题，书末附有详细的参考文献。神经网络是通过对人脑或生物神经网络的抽象和建模，研究非程序的、适应性的、大脑风格的信息处理的本质和能力。它以脑科学和认知神经科学的研究成果为基础，拓展智能信息处理的方法，为解决复杂问题和智能控制提供有效的途径，是智能科学和计算智能的重要部分。
F. 神经网络的关键是什么
神经网络的关键是什么
相对于传统的线性和非线性方法，为什么神经网络会如此强大？
当你有一个线性模型，每一个功能要么对你有帮助，要么对你有伤害，这种假设是线性模型中固有的。因此线性模型要么功能异常强大，用类1表示；要么则毫无用处，用类2表示。所有的解决方案，要么导致该功能获得巨大的价值；要么价值变得微不足道。你永远不会有这么一个状态说，在这个区间，该功能就是代表类1；但是在另一个区间，它代表类2。
线性和非线性方法局限性很大。也就是说，如果你分析图片，举个例子，寻找狗狗的照片，它很可能会进入到一个特定的子集里面，比如只显示有一只狗的照片，或是显示某一像素和其他类型的图片。在线性模式里面，你无法确定复杂的关系集。相比于线性模型，非线性模型可能会显得更强大一些，但是这种模式同样难以训练。我们会再一次进入到所谓最优化理论的问题之中，这也是我们在很长一段时间里认为神经网络还不是足够好的原因之一，因为他们会“过拟合”，通俗的说，就是太过强大。我们无法做预测，也无法确保最优化方案。或许，这可能就是为什么神经网络从当下暂时消失的原因吧。
在神经网络理论中，机器学习有很多分支和方法，你能总结一些关键方法吗？
到目前为止，最成功的方法是监督学习方法，它使用了一个比较老的算法，称为反向传播，构建了一个拥有许多不同输出的神经网络。
让我们看下一个神经网络构建，这个网络已经非常流行了，叫做卷积神经网络。这个理念是机器学习研究人员构建了一个多层架构的模型，每一层都可以用不同的方法处理之前一层的连接。
在第一层，你有一个窗口，上面会给图像分配权值，它也变成了该层的输入。由于权值“卷积”，该层也被称为卷积层，它会自我重叠。接着后面会有若干个不同类型的层，每层都有不同的属性，绝大多数都是非线性的。
最后一层会有1万个潜在神经元输入，那些激活的神经输出，每一个都对应了一个特殊的标签，可以用来识别图像。第一类可能是一只猫，第二类可能是一辆车，以此推到所有一万个类，这样一张“图像网”就出来了。如果第一个神经元（一只猫）与1万个神经元中绝大多数都匹配，那么这张图像就能被识别出来，是一张猫的图像。
这种监督学习方法的缺点是，在训练的时候，你必须要在图像上应用标签，这是一辆车，这是一个动物园等。
没错，那么无监督学习方法呢？
无监督学习方法还不是那么受欢迎，它涉及到“自编码器”。这种神经网络不会用来分类图像，但是可以压缩图像。同我刚才提及的方法来读取图像，识别一个权值，并在一个卷积层内用像素填满。其他若干层也这样，包括相比于其它层小的多的中间层。这样做的话，相关的神经元会变得很少，基本上，你读取图像时会进入到一个瓶颈，之后从另一边走出来，并尝试重新构建该图像。
在无监督学习训练下，不需要打标签，因为你所做的就是把图像放入到神经网络的两端，然后训练网络适应图像，特别是训练中间层。一旦你这么做了，那么就拥有了一个知道如何压缩图像的神经网络。无监督学习方法可以给你提供能应用在其他分类器的功能，因此如果你有哪怕一点点标签训练数据，没问题，它一样可以为你提供大量图像。你可以把这些图像看做是无标签训练数据，并使用这些图像构建一个“自编辑器”，然后从这个自编辑器中导出一些功能，这些功能适合使用一些训练数据，以此找到对特殊模型敏感的自动编码神经网络中的神经元。
G. 深度学习有人了解吗，可以介绍一下吗
深度学习主要是通过在学习中进入一个比较十分集中注意力的状态，然后进行高效率的学习，这样可以提高人的学习效率