paddle神经网络怎么设置

A. 使用paddlepaddle配神经网络中，Dropout层有用吗

dropout主要是用来防止过拟合的，具体效果得看你数据集/学习程度等等，如果数据比较简单/学习的轮数不多，还没有到方差变大、偏差变小的阶段，那dropout效果肯定不明显。

B. 百度Paddle会和Python一样，成为最流行的深度学习引擎吗

摘要：PaddlePaddle的负责人徐伟认为，没有一家公司能够完全主导这个领域，要单一公司的深度学习框架完全主导该领域，就等同于用同一种程序语言开发所有的软件，未来深度学习的生态系统会因使用场景有最佳的框架使用。

PaddlePaddle会和Python一样流行吗?

深度学习引擎最近经历了开源热。2013年Caffe开源，很快成为了深度学习在图像处理中的主要框架，但那时候的开源框架还不多。随着越来越多的开发者开始关注人工智能，AI 巨头们纷纷选择了开源的道路：2015年9月Facebook开源了用于在Torch上更快速地训练神经网络的模块，11月Google开源 TensorFlow，2016年1月微软开源CNTK。最近，网络也宣布开源深度学习引擎 PaddlePaddle。

在这场深度学习的框架之争中，究竟哪家能够胜出?PaddlePaddle的负责人徐伟认为，没有一家公司能够完全主导这个领域，要单一公司的深度学习框架完全主导该领域，就等同于用同一种程序语言开发所有的软件，未来深度学习的生态系统会因使用场景有最佳的框架使用。

话虽如此，对于程序员来说，如果选择了更为流行的编程语言，就会有更多可使用的库，也能更轻松的做出好的产品。而紧跟程序语言的发展历史，我们发现最终最为流行的，总是最容易上手的。

Python是非常好的例子，在编程语言排行榜上，2014年Python只有第六名。但随着大量年轻程序员的涌入，他们更愿意选择简单、易学、文档好的Python作为优先的学习对象，很快C、C++程序员很多也开始使用Python编程了。

而今天发生在深度学习框架上的竞争，似乎也在重演编程语言的历史。

去年TensorFlow发布的时候，对于它的质疑声不绝于耳。首先是对单机版TensorFlow的质疑，认为它在和Caffe、Torch和 Theano相比并没有优势。而在Google开源了分布式版本后，人们说它比Caffe慢，比Torch臃肿，而且不能进行太大调整。但如今在HackerNews上关于最受欢迎深度学习工具的投票，TensorFlow获得第一，得票率是第二名的接近2.6倍。

程序员Vonnik解释了这个现象：使用TensorFlow的大部分都是来自Udacity课程的学生，他们大部分都没什么经验。但正是这些学生和初学者，而非那些经验丰富的资深人士，把Python变成了全球最流行的语言，也把TensorFlow推到了排名第一的位置。

从Python和TensorFlow的历史来看，我们有理由认为，最为简单、易用的深度学习框架，将会在未来的竞争胜出。

网络 PaddlePaddle

在和几款最常用的深度学习框架TensorFlow、Torch、Caffe比较之前，我们先重点介绍新出现的PaddlePaddle。

Paddle其实已经有多年历史了。早在 2013 年，网络就察觉到传统的基于单GPU的训练平台，已经无法满足深度神经网络在搜索、广告、文本、语音、图像等领域的训练需求，于是在徐伟的带领下开始搭建Paddle——一个多机并行的CPU/GPU混布的异构计算平台。Paddle从最早的开发到如今的开源，就一直以大规模数据处理和工业化的要求不断改进。我们可以看到PaddlePaddle有很多优异的特性。

Github上介绍，PaddlePaddle有以下特点：

· 灵活

PaddlePaddle支持大量的神经网络架构和优化算法，支持任意复杂RNNs结构，高效处理batch，无需数据填充。简单书写配置文件即可实现复杂模型，比如拥有注意力(Attention)机制、外围记忆层(External Memory)或者用于神经机器翻译模型的深度时序快进网络。

· 高效

为了利用异构计算资源的能力，PaddlePaddle中的每一级都会进行优化，其中包括计算、内存、架构和通信。以下是几个例子：

1.使用SSE/AVX内联函数、BLAS数据库(例如MKL、ATLAS、cuBLAS)和定制化的CPU/GPU Kernal来优化数学运算。

2.高度优化RNNs网络，在没有Padding的情况下，也能处理不同长度的序列。

3.优化的本地和分布式训练，同时支持高纬稀疏模型。

· 可扩展

有了PaddlePaddle，使用多个CPU和GPU以及机器来加速训练可以变得很轻松。 PaddlePaddle能通过优化通信，获得高吞吐量和性能。

· 与产品的连接

PaddlePaddle的部署也很简单。在网络，PaddlePaddle已经被用于产品和服务中，拥有大量用户。应用场景包括预估外卖的出餐时间、预判网盘故障时间点、精准推荐用户所需信息、海量图像识别分类、字符识别(OCR)、病毒和垃圾信息检测、机器翻译和自动驾驶等等。

在PaddlePaddle简单、可扩展的逻辑下，徐伟评价说：“这将使工程师们能够快速、轻松地将深度学习技术应用到他们的产品当中，我们想让更多的人使用人工智能，人工智能对于我们的未来生活是非常重要的。”

深度学习框架对比

PaddlePaddle最主要的类比对象，来自UC伯克利的贾扬清开发的Caffe和Google的 TensorFlow。

这是一张来自Spark Summit 2016的图，PaddlePaddle在开源前就在顶级的行业会议中进行了展示。

总的来说

1)Caffe具有出色的CNN实现功能的开发语言，在计算机视觉领域，Caffe仍然是最流行的工具包。Caffe的开发语言支持C++和Cuda，速度很快，但是由于一些历史性的遗留架构问题，它的灵活性不够强。而且对递归网络和语言建模的支持很差。Caffe支持所有主流开发系统，上手难度属于中等水平。

2)TensorFlow是一个理想的RNN API实现，它使用了向量运算的符号图方法，使得开发的速度可以很快。TensorFlow支持的比较好的系统只有各种Linux系统和OSX，不过其对语言的支持比较全面，包含了Python、C++和Cuda等，开发者文档写得没有Caffe那么全面，所以上手比较难，在性能方面，也不如Caffe及PaddlePaddle。

3)Torch没有跟随Python的潮流，反而选择了C语言实现，用Lua语言进行封装。Torch对卷积网络的支持非常好，运行在C++、C#和Jave等工业语言的速度较快，也不需要额外的编译。但是它的上手难度也很高，对初学者缺乏规范的例子，而且需要先迈过Lua的门槛，这对初学者是很大的障碍。

4)而此次网络的PaddlePaddle性能优先并兼顾灵活，通过使用GPU异构计算来提升每台机器的数据处理能力，获得了业内“相当简洁、设计干净、稳定，速度较快，显存占用较小”等好评。

而在关键的进入门槛上，相比Google TensorFlow和Facebook Torch，PaddlePaddle的上手难度低得多，且拥有非常优秀的业界特征，包括NLP和推荐等应用场景、对RNN很好的支持、高质量代码、以及分布式训练等，已经足以满足大多数AI场景的需求。且PaddlePaddle更加务实，可解决实际问题。

据徐伟介绍，PaddlePaddle将在本月底发布最新版本，全面支持Mac操作系统、以及Cuda8.0和GCC5.4，同时进一步优化了安装过程，可以帮助更多开放者更好地“上手”。

所以我们可以初步下一个结论，在中国的开发环境下，Google TensorFlow和Facebook Torch的上手难度都比较高，TensorFlow最好的训练环境Google Cloud也难以在中国获得支持。而Caffe虽然已经有了多年的积累，但是毕竟目前只是在视觉领域有比较好的发展，而且相比网络能提供的产业链支持，在资源投入上可能会有比较大的局限。相比之下，坐拥中国的本土市场，上手难度低得多的PaddlePaddle，将会有更好的技术和生态的环境。也许不久的将来，PaddlePaddle就会和Python在编程语言中所做的事情一样，成为最流行的深度学习引擎。

C. caffe和vgg-16和googlenet的区别

三者都属于深度学习领域的术语。
caffe是目前在图像领域应用最为广泛的深度学习平台，许多国内外的大牛都使用caffe做为实验平台，主要原因个人认为有两个，一是caffe发展较早，随着时间的积累积聚了大量的深度学习研究成果，例如能够直接运行的代码和使用预先训练好的模型，可以很方便的进行实验；二是后人如果想与之前的方法进行比较，就需要保持除方法外的其它因素一致，如所使用的数据以及实验使用的平台。
vgg-16是一种深度卷积神经网络模型，16表示其深度，是alexnet后比较有代表性的深度模型之一，在图像分类等任务中取得了不错的效果
googlenet是google设计的一种深度卷积神经网络模型，第一版深度可至22层，这一网络采纳了稀疏学习的思想，通过稀疏网络的参数来加大网络规模。
类似caffe的平台还有tensorflow, theano, torch, paddle等等
类似vgg-16和googlenet这样的网络结构更是多种多样，比较有代表性的就是alexnet, resnet

D. 为什么强大的 MXNet 一直火不起来

简单来说就是我们没有足够的人手能够在短时间内同时技术上做出足够的深度而且大规模推广，所以我们前期是舍推广保技术。

详细来说我稍微发散下，可以把当下的深度学习（DL）比作修真世界（传统武侠也类似）。学术界是各个门派，公司是世家，不过这个世界里世家比较强势。目前是盛世，各个流派之争，新人和技术层出不穷，各大擂台（例如imagenet）和大会（据说今年nips 8k人参加，一个月前就把票卖光了）热火朝天。平台作为修真练级法宝，自然也是各家PK重要之地。
各个平台是怎么“火”起来的
简单的来吧DL分三个阶段来看，前DL时代就是Alexnet没有刷出imagenet第一的时候，当时候主流算是torch和theano，从上一个神经网络的时代的两大修正大门流传下来，还是有坚实的用户基础。之后魔界（kernel）入侵，神经网络衰败。但10年后Alexnet横空出世，借着大数据和GPU的重剑无锋，横扫三界。同时也促使了很多新的平台的出现，caffe是之一，很多公司也有做自己的，例如网络的paddle，G的distbelief，我们也有做一个类似的项目叫cxxnet。大体上这些平台使用体验差不多，给一个configure就能跑。这里面caffe是最成功，我觉得重要两点是时间点很好，就是dl在cv爆发的那段时间，然后caffe有在imagenet pretrain的模型，这个很方便大家的研究。毕竟大部分工作要么是改改operator重新跑一下，要么是基于pretrained的模型来finetune一个别的任务。
之后出来的比较成功的平台主要是靠提供更加灵活的开发环境来吸引新人。例如tensorflow和keras。
tf作为当下修真界最大门的平台，成功没有什么意外（1）G brain在这个领域上耕耘了5，6年，做为第二代产品在质量确实很优秀。（2）在jeff dean的号召下brain网罗了一大帮人，跟他们团队接触过很多次，整体人员质量甩出其他家很远，以至于经常是好几个我觉得能独当一面的大牛一起在做一些很小的事情。例如我在cmu系统方向的老板dave在brain好长一段时间就是debug为什么inception v3从distbelief移植到tf老是跑不出想要的精度。（另，类似的坑我们也踩过，我还笑过dave你如果问我们一下可以省下你大笔时间，dave回我们人多任性不求人。）（3）G的宣传机器如果称第二，那业界估计没人敢说第一。这次G不遗余力的宣传tf，连带推动了整个DL的火热。
keras比较有意思，基本是François Chollet一人之力做的，有点是散修自己折腾出来的（他人现在在G，不过他去G之前就开始keras了）。它的优势就是简单，底层靠theano或者tensorflow，上层提供一个非常简单的接口，非常适合新用户使用。修真界新人练气的不二法宝。
MXNet现状
mxnetet是散修小团体一起合力做出来的平台。如果去看排名前20的开发者，基本都是出自不同的门派和世家。这个是mxnet最大的特色。我对此表示很自豪，这里汇聚了一大帮跑得出实验写得出代码的小伙伴。
不论是开始时间还是平台特性，mxnet最靠近tensorflow。有完整的多语言前端，后端类似编译器，做这种内存和执行优化。应用场景从分布式训练到移动端部署都覆盖。整个系统全部模块化，有极小的编译依赖，非常适合快速开发。相对于tf这种重量型的后端，mxnet的轻量化路线使得可以我们在花费G brain 1/10的人力的情况下做到类似tf技术深度的系统。
从推广的角度来说，需要的是清晰的文档，大量的样例，媒体曝光，和客服。这个对于散修团体而说前期比较困难。不过最近也慢慢赶上了。
根据keras作者的平台排名，目前mxnet属于第四，前三分别是tf，caffe，keras。因为dl也是刚兴起不久，目前的用户可能一大半是刚入门不久，选择tf/keras很符合情理。对于学术界而言，通常性能不是很关键，最重要是开发成本，如果前面的工作用了caffe/torch，那基本会一直用下去。
我们也回访过我们用户，很多都是工业界用户，基本都是属于有很强的技术能力，他们关心性能，开发和移植的便利性，和是不是能在开发社区里获得一定的话语权。事实上，mxnet离人也很近，例如
- 某占有率很高手机利用mx处理图片
- 好几个常见的app云端利用mx处理数据
- aws/azure都写了好几篇blog普及在云上面运行mxnet
- 国内几个技术能力很强的ai创业公司内部用mx
整体而言，不管是dl技术，应用，还是平台，目前说什么都尚早。技术和潮流都是日新月异，修仙之路也刚开始。我觉得最核心的是，有一群有最求的人，一起合力做一件事情，不断往前。
PS. 我在考虑要不要写一个关于DL/ML的修仙系列。例如“魔界小王子，誉为最有希望带领魔界重杀回来领袖的叛逃心路历程”，“我跟修真界第一门掌门的故事”，“如何利用入门道具组装小型阵法加速修炼”，“解析为什么大门长老屡屡逃奔世家”。。。

E. 百度Paddle会和Python一样，成为最流行的深度学习引擎吗

网络 PaddlePaddle

在和几款最常用的深度学习框架TensorFlow、Torch、Caffe比较之前，我们先重点介绍新出现的PaddlePaddle。

Paddle其实已经有多年历史了。早在 2013
年，网络就察觉到传统的基于单GPU的训练平台，已经无法满足深度神经网络在搜索、广告、文本、语音、图像等领域的训练需求，于是在徐伟的带领下开始搭建Paddle——一个多机并行的CPU/GPU混布的异构计算平台。Paddle从最早的开发到如今的开源，就一直以大规模数据处理和工业化的要求不断改进。我们可以看到PaddlePaddle有很多优异的特性。

Github上介绍，PaddlePaddle有以下特点：

· 灵活

PaddlePaddle支持大量的神经网络架构和优化算法，支持任意复杂RNNs结构，高效处理batch，无需数据填充。简单书写配置文件即可实现复杂模型，比如拥有注意力(Attention)机制、外围记忆层(External
Memory)或者用于神经机器翻译模型的深度时序快进网络。

· 高效

为了利用异构计算资源的能力，PaddlePaddle中的每一级都会进行优化，其中包括计算、内存、架构和通信。以下是几个例子：

1.使用SSE/AVX内联函数、BLAS数据库(例如MKL、ATLAS、cuBLAS)和定制化的CPU/GPU Kernal来优化数学运算。

2.高度优化RNNs网络，在没有Padding的情况下，也能处理不同长度的序列。

3.优化的本地和分布式训练，同时支持高纬稀疏模型。

· 可扩展

有了PaddlePaddle，使用多个CPU和GPU以及机器来加速训练可以变得很轻松。 PaddlePaddle能通过优化通信，获得高吞吐量和性能。

· 与产品的连接

PaddlePaddle的部署也很简单。在网络，PaddlePaddle已经被用于产品和服务中，拥有大量用户。应用场景包括预估外卖的出餐时间、预判网盘故障时间点、精准推荐用户所需信息、海量图像识别分类、字符识别(OCR)、病毒和垃圾信息检测、机器翻译和自动驾驶等等。

在PaddlePaddle简单、可扩展的逻辑下，徐伟评价说：“这将使工程师们能够快速、轻松地将深度学习技术应用到他们的产品当中，我们想让更多的人使用人工智能，人工智能对于我们的未来生活是非常重要的。”