paddle神經網路怎麼設置

A. 使用paddlepaddle配神經網路中，Dropout層有用嗎

dropout主要是用來防止過擬合的，具體效果得看你數據集/學習程度等等，如果數據比較簡單/學習的輪數不多，還沒有到方差變大、偏差變小的階段，那dropout效果肯定不明顯。

B. 百度Paddle會和Python一樣，成為最流行的深度學習引擎嗎

摘要：PaddlePaddle的負責人徐偉認為，沒有一家公司能夠完全主導這個領域，要單一公司的深度學習框架完全主導該領域，就等同於用同一種程序語言開發所有的軟體，未來深度學習的生態系統會因使用場景有最佳的框架使用。

PaddlePaddle會和Python一樣流行嗎?

深度學習引擎最近經歷了開源熱。2013年Caffe開源，很快成為了深度學習在圖像處理中的主要框架，但那時候的開源框架還不多。隨著越來越多的開發者開始關注人工智慧，AI 巨頭們紛紛選擇了開源的道路：2015年9月Facebook開源了用於在Torch上更快速地訓練神經網路的模塊，11月Google開源 TensorFlow，2016年1月微軟開源CNTK。最近，網路也宣布開源深度學習引擎 PaddlePaddle。

在這場深度學習的框架之爭中，究竟哪家能夠勝出?PaddlePaddle的負責人徐偉認為，沒有一家公司能夠完全主導這個領域，要單一公司的深度學習框架完全主導該領域，就等同於用同一種程序語言開發所有的軟體，未來深度學習的生態系統會因使用場景有最佳的框架使用。

話雖如此，對於程序員來說，如果選擇了更為流行的編程語言，就會有更多可使用的庫，也能更輕松的做出好的產品。而緊跟程序語言的發展歷史，我們發現最終最為流行的，總是最容易上手的。

Python是非常好的例子，在編程語言排行榜上，2014年Python只有第六名。但隨著大量年輕程序員的湧入，他們更願意選擇簡單、易學、文檔好的Python作為優先的學習對象，很快C、C++程序員很多也開始使用Python編程了。

而今天發生在深度學習框架上的競爭，似乎也在重演編程語言的歷史。

去年TensorFlow發布的時候，對於它的質疑聲不絕於耳。首先是對單機版TensorFlow的質疑，認為它在和Caffe、Torch和 Theano相比並沒有優勢。而在Google開源了分布式版本後，人們說它比Caffe慢，比Torch臃腫，而且不能進行太大調整。但如今在HackerNews上關於最受歡迎深度學習工具的投票，TensorFlow獲得第一，得票率是第二名的接近2.6倍。

程序員Vonnik解釋了這個現象：使用TensorFlow的大部分都是來自Udacity課程的學生，他們大部分都沒什麼經驗。但正是這些學生和初學者，而非那些經驗豐富的資深人士，把Python變成了全球最流行的語言，也把TensorFlow推到了排名第一的位置。

從Python和TensorFlow的歷史來看，我們有理由認為，最為簡單、易用的深度學習框架，將會在未來的競爭勝出。

網路 PaddlePaddle

在和幾款最常用的深度學習框架TensorFlow、Torch、Caffe比較之前，我們先重點介紹新出現的PaddlePaddle。

Paddle其實已經有多年歷史了。早在 2013 年，網路就察覺到傳統的基於單GPU的訓練平台，已經無法滿足深度神經網路在搜索、廣告、文本、語音、圖像等領域的訓練需求，於是在徐偉的帶領下開始搭建Paddle——一個多機並行的CPU/GPU混布的異構計算平台。Paddle從最早的開發到如今的開源，就一直以大規模數據處理和工業化的要求不斷改進。我們可以看到PaddlePaddle有很多優異的特性。

Github上介紹，PaddlePaddle有以下特點：

· 靈活

PaddlePaddle支持大量的神經網路架構和優化演算法，支持任意復雜RNNs結構，高效處理batch，無需數據填充。簡單書寫配置文件即可實現復雜模型，比如擁有注意力(Attention)機制、外圍記憶層(External Memory)或者用於神經機器翻譯模型的深度時序快進網路。

· 高效

為了利用異構計算資源的能力，PaddlePaddle中的每一級都會進行優化，其中包括計算、內存、架構和通信。以下是幾個例子：

1.使用SSE/AVX內聯函數、BLAS資料庫(例如MKL、ATLAS、cuBLAS)和定製化的CPU/GPU Kernal來優化數學運算。

2.高度優化RNNs網路，在沒有Padding的情況下，也能處理不同長度的序列。

3.優化的本地和分布式訓練，同時支持高緯稀疏模型。

· 可擴展

有了PaddlePaddle，使用多個CPU和GPU以及機器來加速訓練可以變得很輕松。 PaddlePaddle能通過優化通信，獲得高吞吐量和性能。

· 與產品的連接

PaddlePaddle的部署也很簡單。在網路，PaddlePaddle已經被用於產品和服務中，擁有大量用戶。應用場景包括預估外賣的出餐時間、預判網盤故障時間點、精準推薦用戶所需信息、海量圖像識別分類、字元識別(OCR)、病毒和垃圾信息檢測、機器翻譯和自動駕駛等等。

在PaddlePaddle簡單、可擴展的邏輯下，徐偉評價說：「這將使工程師們能夠快速、輕松地將深度學習技術應用到他們的產品當中，我們想讓更多的人使用人工智慧，人工智慧對於我們的未來生活是非常重要的。」

深度學習框架對比

PaddlePaddle最主要的類比對象，來自UC伯克利的賈揚清開發的Caffe和Google的 TensorFlow。

這是一張來自Spark Summit 2016的圖，PaddlePaddle在開源前就在頂級的行業會議中進行了展示。

總的來說

1)Caffe具有出色的CNN實現功能的開發語言，在計算機視覺領域，Caffe仍然是最流行的工具包。Caffe的開發語言支持C++和Cuda，速度很快，但是由於一些歷史性的遺留架構問題，它的靈活性不夠強。而且對遞歸網路和語言建模的支持很差。Caffe支持所有主流開發系統，上手難度屬於中等水平。

2)TensorFlow是一個理想的RNN API實現，它使用了向量運算的符號圖方法，使得開發的速度可以很快。TensorFlow支持的比較好的系統只有各種Linux系統和OSX，不過其對語言的支持比較全面，包含了Python、C++和Cuda等，開發者文檔寫得沒有Caffe那麼全面，所以上手比較難，在性能方面，也不如Caffe及PaddlePaddle。

3)Torch沒有跟隨Python的潮流，反而選擇了C語言實現，用Lua語言進行封裝。Torch對卷積網路的支持非常好，運行在C++、C#和Jave等工業語言的速度較快，也不需要額外的編譯。但是它的上手難度也很高，對初學者缺乏規范的例子，而且需要先邁過Lua的門檻，這對初學者是很大的障礙。

4)而此次網路的PaddlePaddle性能優先並兼顧靈活，通過使用GPU異構計算來提升每台機器的數據處理能力，獲得了業內「相當簡潔、設計干凈、穩定，速度較快，顯存佔用較小」等好評。

而在關鍵的進入門檻上，相比Google TensorFlow和Facebook Torch，PaddlePaddle的上手難度低得多，且擁有非常優秀的業界特徵，包括NLP和推薦等應用場景、對RNN很好的支持、高質量代碼、以及分布式訓練等，已經足以滿足大多數AI場景的需求。且PaddlePaddle更加務實，可解決實際問題。

據徐偉介紹，PaddlePaddle將在本月底發布最新版本，全面支持Mac操作系統、以及Cuda8.0和GCC5.4，同時進一步優化了安裝過程，可以幫助更多開放者更好地「上手」。

所以我們可以初步下一個結論，在中國的開發環境下，Google TensorFlow和Facebook Torch的上手難度都比較高，TensorFlow最好的訓練環境Google Cloud也難以在中國獲得支持。而Caffe雖然已經有了多年的積累，但是畢竟目前只是在視覺領域有比較好的發展，而且相比網路能提供的產業鏈支持，在資源投入上可能會有比較大的局限。相比之下，坐擁中國的本土市場，上手難度低得多的PaddlePaddle，將會有更好的技術和生態的環境。也許不久的將來，PaddlePaddle就會和Python在編程語言中所做的事情一樣，成為最流行的深度學習引擎。

C. caffe和vgg-16和googlenet的區別

三者都屬於深度學習領域的術語。
caffe是目前在圖像領域應用最為廣泛的深度學習平台，許多國內外的大牛都使用caffe做為實驗平台，主要原因個人認為有兩個，一是caffe發展較早，隨著時間的積累積聚了大量的深度學習研究成果，例如能夠直接運行的代碼和使用預先訓練好的模型，可以很方便的進行實驗；二是後人如果想與之前的方法進行比較，就需要保持除方法外的其它因素一致，如所使用的數據以及實驗使用的平台。
vgg-16是一種深度卷積神經網路模型，16表示其深度，是alexnet後比較有代表性的深度模型之一，在圖像分類等任務中取得了不錯的效果
googlenet是google設計的一種深度卷積神經網路模型，第一版深度可至22層，這一網路採納了稀疏學習的思想，通過稀疏網路的參數來加大網路規模。
類似caffe的平台還有tensorflow, theano, torch, paddle等等
類似vgg-16和googlenet這樣的網路結構更是多種多樣，比較有代表性的就是alexnet, resnet

D. 為什麼強大的 MXNet 一直火不起來

簡單來說就是我們沒有足夠的人手能夠在短時間內同時技術上做出足夠的深度而且大規模推廣，所以我們前期是舍推廣保技術。

詳細來說我稍微發散下，可以把當下的深度學習（DL）比作修真世界（傳統武俠也類似）。學術界是各個門派，公司是世家，不過這個世界裡世家比較強勢。目前是盛世，各個流派之爭，新人和技術層出不窮，各大擂台（例如imagenet）和大會（據說今年nips 8k人參加，一個月前就把票賣光了）熱火朝天。平台作為修真練級法寶，自然也是各家PK重要之地。
各個平台是怎麼「火」起來的
簡單的來吧DL分三個階段來看，前DL時代就是Alexnet沒有刷出imagenet第一的時候，當時候主流算是torch和theano，從上一個神經網路的時代的兩大修正大門流傳下來，還是有堅實的用戶基礎。之後魔界（kernel）入侵，神經網路衰敗。但10年後Alexnet橫空出世，借著大數據和GPU的重劍無鋒，橫掃三界。同時也促使了很多新的平台的出現，caffe是之一，很多公司也有做自己的，例如網路的paddle，G的distbelief，我們也有做一個類似的項目叫cxxnet。大體上這些平台使用體驗差不多，給一個configure就能跑。這裡面caffe是最成功，我覺得重要兩點是時間點很好，就是dl在cv爆發的那段時間，然後caffe有在imagenet pretrain的模型，這個很方便大家的研究。畢竟大部分工作要麼是改改operator重新跑一下，要麼是基於pretrained的模型來finetune一個別的任務。
之後出來的比較成功的平台主要是靠提供更加靈活的開發環境來吸引新人。例如tensorflow和keras。
tf作為當下修真界最大門的平台，成功沒有什麼意外（1）G brain在這個領域上耕耘了5，6年，做為第二代產品在質量確實很優秀。（2）在jeff dean的號召下brain網羅了一大幫人，跟他們團隊接觸過很多次，整體人員質量甩出其他家很遠，以至於經常是好幾個我覺得能獨當一面的大牛一起在做一些很小的事情。例如我在cmu系統方向的老闆dave在brain好長一段時間就是debug為什麼inception v3從distbelief移植到tf老是跑不出想要的精度。（另，類似的坑我們也踩過，我還笑過dave你如果問我們一下可以省下你大筆時間，dave回我們人多任性不求人。）（3）G的宣傳機器如果稱第二，那業界估計沒人敢說第一。這次G不遺餘力的宣傳tf，連帶推動了整個DL的火熱。
keras比較有意思，基本是François Chollet一人之力做的，有點是散修自己折騰出來的（他人現在在G，不過他去G之前就開始keras了）。它的優勢就是簡單，底層靠theano或者tensorflow，上層提供一個非常簡單的介面，非常適合新用戶使用。修真界新人練氣的不二法寶。
MXNet現狀
mxnetet是散修小團體一起合力做出來的平台。如果去看排名前20的開發者，基本都是出自不同的門派和世家。這個是mxnet最大的特色。我對此表示很自豪，這里匯聚了一大幫跑得出實驗寫得出代碼的小夥伴。
不論是開始時間還是平台特性，mxnet最靠近tensorflow。有完整的多語言前端，後端類似編譯器，做這種內存和執行優化。應用場景從分布式訓練到移動端部署都覆蓋。整個系統全部模塊化，有極小的編譯依賴，非常適合快速開發。相對於tf這種重量型的後端，mxnet的輕量化路線使得可以我們在花費G brain 1/10的人力的情況下做到類似tf技術深度的系統。
從推廣的角度來說，需要的是清晰的文檔，大量的樣例，媒體曝光，和客服。這個對於散修團體而說前期比較困難。不過最近也慢慢趕上了。
根據keras作者的平台排名，目前mxnet屬於第四，前三分別是tf，caffe，keras。因為dl也是剛興起不久，目前的用戶可能一大半是剛入門不久，選擇tf/keras很符合情理。對於學術界而言，通常性能不是很關鍵，最重要是開發成本，如果前面的工作用了caffe/torch，那基本會一直用下去。
我們也回訪過我們用戶，很多都是工業界用戶，基本都是屬於有很強的技術能力，他們關心性能，開發和移植的便利性，和是不是能在開發社區里獲得一定的話語權。事實上，mxnet離人也很近，例如
- 某佔有率很高手機利用mx處理圖片
- 好幾個常見的app雲端利用mx處理數據
- aws/azure都寫了好幾篇blog普及在雲上面運行mxnet
- 國內幾個技術能力很強的ai創業公司內部用mx
整體而言，不管是dl技術，應用，還是平台，目前說什麼都尚早。技術和潮流都是日新月異，修仙之路也剛開始。我覺得最核心的是，有一群有最求的人，一起合力做一件事情，不斷往前。
PS. 我在考慮要不要寫一個關於DL/ML的修仙系列。例如「魔界小王子，譽為最有希望帶領魔界重殺回來領袖的叛逃心路歷程」，「我跟修真界第一門掌門的故事」，「如何利用入門道具組裝小型陣法加速修煉」，「解析為什麼大門長老屢屢逃奔世家」。。。

E. 百度Paddle會和Python一樣，成為最流行的深度學習引擎嗎

網路 PaddlePaddle

在和幾款最常用的深度學習框架TensorFlow、Torch、Caffe比較之前，我們先重點介紹新出現的PaddlePaddle。

Paddle其實已經有多年歷史了。早在 2013
年，網路就察覺到傳統的基於單GPU的訓練平台，已經無法滿足深度神經網路在搜索、廣告、文本、語音、圖像等領域的訓練需求，於是在徐偉的帶領下開始搭建Paddle——一個多機並行的CPU/GPU混布的異構計算平台。Paddle從最早的開發到如今的開源，就一直以大規模數據處理和工業化的要求不斷改進。我們可以看到PaddlePaddle有很多優異的特性。

Github上介紹，PaddlePaddle有以下特點：

· 靈活

PaddlePaddle支持大量的神經網路架構和優化演算法，支持任意復雜RNNs結構，高效處理batch，無需數據填充。簡單書寫配置文件即可實現復雜模型，比如擁有注意力(Attention)機制、外圍記憶層(External
Memory)或者用於神經機器翻譯模型的深度時序快進網路。

· 高效

為了利用異構計算資源的能力，PaddlePaddle中的每一級都會進行優化，其中包括計算、內存、架構和通信。以下是幾個例子：

1.使用SSE/AVX內聯函數、BLAS資料庫(例如MKL、ATLAS、cuBLAS)和定製化的CPU/GPU Kernal來優化數學運算。

2.高度優化RNNs網路，在沒有Padding的情況下，也能處理不同長度的序列。

3.優化的本地和分布式訓練，同時支持高緯稀疏模型。

· 可擴展

有了PaddlePaddle，使用多個CPU和GPU以及機器來加速訓練可以變得很輕松。 PaddlePaddle能通過優化通信，獲得高吞吐量和性能。

· 與產品的連接

PaddlePaddle的部署也很簡單。在網路，PaddlePaddle已經被用於產品和服務中，擁有大量用戶。應用場景包括預估外賣的出餐時間、預判網盤故障時間點、精準推薦用戶所需信息、海量圖像識別分類、字元識別(OCR)、病毒和垃圾信息檢測、機器翻譯和自動駕駛等等。

在PaddlePaddle簡單、可擴展的邏輯下，徐偉評價說：「這將使工程師們能夠快速、輕松地將深度學習技術應用到他們的產品當中，我們想讓更多的人使用人工智慧，人工智慧對於我們的未來生活是非常重要的。」