神經網路可以在哪些地方改進

❶ 神經網路可以用於對系統結構進行改進嗎

人工神經網路由於其獨特的模型結構和固有的非線性模擬能力，以及高度的自適應和容錯特性等突出特徵，在控制系統中獲得了廣泛的應用。其在各類控制器框架結構的基礎上，加入了非線性自適應學習機制，從而使控制器具有更好的性能。
基本的控制結構有監督控制、直接逆模控制、模型參考控制、內模控制、預測控制、最優決策控制等。

❷ AlphaGo的神奇全靠它，詳解人工神經網路!

• 01

  Alphago在不被看好的情況下，以4比1擊敗了圍棋世界冠軍李世石，令其名震天下。隨著AlphaGo知名度的不斷提高，人們不禁好奇，究竟是什麼使得AlphaGo得以戰勝人類大腦？AlphaGo的核心依託——人工神經網路。

  什麼是神經網路?

  人工神經網路是一種模仿生物神經網路(動物的中樞神經系統，特別是大腦)的結構和功能的數學模型或計算模型。神經網路由大量的人工神經元聯結進行計算。大多數情況下人工神經網路能在外界信息的基礎上改變內部結構，是一種自適應系統。現代神經網路是一種非線性統計性數據建模工具，常用來對輸入和輸出間復雜的關系進行建模，或用來探索數據的模式。

  神經網路是一種運算模型，由大量的節點（或稱“神經元”，或“單元”）和之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重，這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式，權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。

  例如，用於手寫識別的一個神經網路是被可由一個輸入圖像的像素被激活的一組輸入神經元所定義的。在通過函數（由網路的設計者確定）進行加權和變換之後，這些神經元被激活然後被傳遞到其他神經元。重復這一過程，直到最後一個輸出神經元被激活。這樣決定了被讀取的字。

  它的構築理念是受到人或其他動物神經網路功能的運作啟發而產生的。人工神經網路通常是通過一個基於數學統計學類型的學習方法得以優化，所以人工神經網路也是數學統計學方法的一種實際應用，通過統計學的標准數學方法我們能夠得到大量的可以用函數來表達的局部結構空間，另一方面在人工智慧學的人工感知領域，我們通過數學統計學的應用可以來做人工感知方面的決定問題(也就是說通過統計學的方法，人工神經網路能夠類似人一樣具有簡單的決定能力和簡單的判斷能力)，這種方法比起正式的邏輯學推理演算更具有優勢。

  人工神經網路是一個能夠學習，能夠總結歸納的系統，也就是說它能夠通過已知數據的實驗運用來學習和歸納總結。人工神經網路通過對局部情況的對照比較（而這些比較是基於不同情況下的自動學習和要實際解決問題的復雜性所決定的），它能夠推理產生一個可以自動識別的系統。與之不同的基於符號系統下的學習方法，它們也具有推理功能，只是它們是建立在邏輯演算法的基礎上，也就是說它們之所以能夠推理，基礎是需要有一個推理演算法則的集合。

  2AlphaGo的原理回頂部

  AlphaGo的原理

  首先，AlphaGo同優秀的選手進行了150000場比賽，通過人工神經網路找到這些比賽的模式。然後通過總結，它會預測選手在任何位置高概率進行的一切可能。AlphaGo的設計師通過讓其反復的和早期版本的自己對戰來提高神經網路，使其逐步提高獲勝的機會。

  從廣義上講，神經網路是一個非常復雜的數學模型，通過對其高達數百萬參數的調整來改變的它的行為。神經網路學習的意思是，電腦一直持續對其參數進行微小的調整，來嘗試使其不斷進行微小的改進。在學習的第一階段，神經網路提高模仿選手下棋的概率。在第二階段，它增加自我發揮，贏得比賽的概率。反復對極其復雜的功能進行微小的調整，聽起來十分瘋狂，但是如果有足夠長的時間，足夠快的計算能力，非常好的網路實施起來並不苦難。並且這些調整都是自動進行的。

  經過這兩個階段的訓練，神經網路就可以同圍棋業余愛好者下一盤不錯的棋了。但對於職業來講，它還有很長的路要走。在某種意義上，它並不思考每一手之後的幾步棋，而是通過對未來結果的推算來決定下在哪裡。為了達到職業級別，AlphaGp需要一種新的估算方法。

  為了克服這一障礙，研究人員採取的辦法是讓它反復的和自己進行對戰，以此來使其不斷其對於勝利的估算能力。盡可能的提高每一步的獲勝概率。（在實踐中，AlphaGo對這個想法進行了稍微復雜的調整。）然後，AlphaGo再結合多線程來使用這一方法進行下棋。

  我們可以看到，AlphaGo的評估系統並沒有基於太多的圍棋知識，通過分析現有的無數場比賽的棋譜，以及無數次的自我對戰練習，AlphaGo的神經網路進行了數以十億計的微小調整，即便每次只是一個很小的增量改進。這些調整幫助AlphaGp建立了一個估值系統，這和那些出色圍棋選手的直覺相似，對於棋盤上的每一步棋都了如指掌。

  此外AlphaGo也使用搜索和優化的思想，再加上神經網路的學習功能，這兩者有助於找到棋盤上更好的位置。這也是目前AlphaGo能夠高水平發揮的原因。

  3神經網路的延伸和限制回頂部

  神經網路的延伸和限制

  神經網路的這種能力也可以被用在其他方面，比如讓神經網路學習一種藝術風格，然後再將這種風格應用到其他圖像上。這種想法很簡單：首先讓神經網路接觸到大量的圖像，然後來確認這些圖像的風格，接著將新的圖像帶入這種風格。

  這雖然不是偉大的藝術，但它仍然是一個顯著的利用神經網路來捕捉直覺並且應用在其他地方的例子。

  在過去的幾年中，神經網路在許多領域被用來捕捉直覺和模式識別。許多項目使用神經這些網路，涉及的任務如識別藝術風格或好的視頻游戲的發展戰略。但也有非常不同的網路模擬的直覺驚人的例子，比如語音和自然語言。

  由於這種多樣性，我看到AlphaGo本身不是一個革命性的突破，而是作為一個極其重要的發展前沿：建立系統，可以捕捉的直覺和學會識別模式的能力。此前計算機科學家們已經做了幾十年，沒有取得長足的進展。但現在，神經網路的成功已經大大擴大，我們可以利用電腦攻擊范圍內的潛在問題。

  事實上，目前現有的神經網路的理解能力是非常差的。神經網路很容易被愚弄。用神經網路識別圖像是一個不錯的手段。但是實驗證明，通過對圖像進行細微的改動，就可以愚弄圖像。例如，下面的圖像左邊的圖是原始圖，研究人員對中間的圖像進行了微小的調整後，神經網路就無法區分了，就將原圖顯示了出來。

  另一個限制是，現有的系統往往需要許多模型來學習。例如，AlphaGo從150000場對戰來學習。這是一個很龐大額度數字！很多情況下，顯然無法提供如此龐大的模型案例。

❸ BP神經網路的應用不足

神經網路可以用作分類、聚類、預測等。神經網路需要有一定量的歷史數據，通過歷史數據的訓練，網路可以學習到數據中隱含的知識。在你的問題中，首先要找到某些問題的一些特徵，以及對應的評價數據，用這些數據來訓練神經網路。
雖然BP網路得到了廣泛的應用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。
首先，由於學習速率是固定的，因此網路的收斂速度慢，需要較長的訓練時間。對於一些復雜問題，BP演算法需要的訓練時間可能非常長，這主要是由於學習速率太小造成的，可採用變化的學習速率或自適應的學習速率加以改進。
其次，BP演算法可以使權值收斂到某個值，但並不保證其為誤差平面的全局最小值，這是因為採用梯度下降法可能產生一個局部最小值。對於這個問題，可以採用附加動量法來解決。
再次，網路隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網路往往存在很大的冗餘性，在一定程度上也增加了網路學習的負擔。
最後，網路的學習和記憶具有不穩定性。也就是說，如果增加了學習樣本，訓練好的網路就需要從頭開始訓練，對於以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。

❹ 神經網路的優化

上節回顧：
介紹了神經元、神經網路
介紹了激活函數
提到了前向傳播概念
留下問題：用到的參數w和b是怎麼來的，是自己隨便設定的嗎

本節介紹：
神經網路、反向傳播的例子
損失函數和梯度下降法、學習率介紹

最重要的用途是分類

這種能自動對輸入的東西進行分類的機器，就叫做 分類器 。分類器的輸入是一個數值向量，叫做特徵（向量）。
第一個例子里，分類器的輸入是一堆0、1值，表示字典里的每一個詞是否在郵件中出現，比如向量(1,1,0,0,0......)就表示這封郵件里只出現了兩個詞abandon和abnormal；
第二個例子里，分類器的輸入是照片，假如每一張照片都是320x240像素的紅綠藍三通道彩色照片，那麼分類器的輸入就是一個長度為320x240x3=230400的向量。

分類器的輸出也是數值。
第一個例子中，輸出1表示郵件是垃圾郵件，輸出0則說明郵件是正常郵件；
第二個例子中，輸出0表示圖片中是狗，輸出1表示是貓。

分類器的目標就是讓正確分類的比例盡可能高。一般我們需要首先收集一些樣本， 人為標記上正確分類結果 ，然後用這些標記好的數據 訓練分類器 ，訓練好的分類器就可以 在新來的特徵向量上工作 了。

這就是BP神經網路(back propagation)。

旨在得到最優的全局參數矩陣，進而將多層神經網路應用到分類或者回歸任務中去。

前向傳播 輸入信號直至 輸出產生誤差 ， 反向傳播 誤差信息 更新權重 矩陣。

這個地方提到的誤差這個概念，其實就是對應了損失函數，損失函數說白了就是計算誤差的函數。

舉例：線性回歸:尋找一條擬合圖中數據點最好的直線

把每條小豎線的長度加起來就等於我們現在通過這條直線預測出的值與實際值之間的差距

缺點：採用梯度下降法學習時，模型一開始訓練學習速率非常慢

對一個多元函數求偏導,會得到多個偏導函數.這些導函數組成的向量,就是梯度；一元函數的梯度是什麼?它的梯度可以理解為就是它的導數。
求解多元函數和一元函數的道理是一樣的,只不過函數是一元的時候,梯度中只有一個導函數,函數是多元的時候,梯度中有多個導函數.
當我們把梯度中的所有偏導函數都變為0的時候,就可以找到每個未知數的對應解。

梯度下降中求偏導數的未知數不是x和y,而是x的參數W。

梯度下降的方向：把這一點帶入到梯度函數中,結果為正,那我們就把這一點的值變小一些,同時就是讓梯度變小些;當這一點帶入梯度函數中的結果為負的時候,就給這一點的值增大一些。

在這個下降的過程中.因為我們並不知道哪一個點才是最低點,也沒有辦法來預測下降多少次才能到最低點.這里梯度下降給出的辦法是:
先隨便蒙一個點出來,然後根據這個點每次下降以丟丟.什麼時候下降得到的值(點帶入偏導函數得到的)和上一次的值基本一樣，也就是相差特別特別小的時候,我們認為就到了最低點。

讓點沿著梯度方向下降慢慢求得最優解的過程我們叫做 學習 ,學習率就是用來限制他每次學習別太過"用功"的。下左圖是我們所期望的,一個點按照梯度方向下降,慢慢逼近最低點,右圖中展示的這個梯度值過大的時候,點下降的step就過大了,一次性邁過了最低點,導致函數無法找到最優解。學習率就是用來限制這種情況的。

更新權重的演算法：每一個權重值都要減去它對應的導數和學習率的乘積
Lr 代表的是學習率

簡單舉例

❺ 卷積神經網路 有哪些改進的地方

卷積神經網路的研究的最新進展引發了人們完善立體匹配重建熱情。從概念看，基於學習演算法能夠捕獲全局的語義信息，比如基於高光和反射的先驗條件，便於得到更加穩健的匹配。目前已經探求一些兩視圖立體匹配，用神經網路替換手工設計的相似性度量或正則化方法。這些方法展現出更好的結果，並且逐步超過立體匹配領域的傳統方法。事實上，立體匹配任務完全適合使用CNN，因為圖像對是已經過修正過的，因此立體匹配問題轉化為水平方向上逐像素的視差估計。
與雙目立體匹配不同的是，MVS的輸入是任意數目的視圖，這是深度學習方法需要解決的一個棘手的問題。而且只有很少的工作意識到該問題，比如SurfaceNet事先重建彩色體素立方體，將所有像素的顏色信息和相機參數構成一個3D代價體，所構成的3D代價體即為網路的輸入。然而受限於3D代價體巨大的內存消耗，SurfaceNet網路的規模很難增大：SurfaceNet運用了一個啟發式的「分而治之」的策略，對於大規模重建場景則需要花費很長的時間。

❻ 【閱讀筆記】改進卷積神經網路的14個小技巧

原文： https://mp.weixin.qq.com/s/Lh_lJNvV9BGhc6no2ln-_g

原題目誤導性太大

1）架構要遵循應用

你也許會被 Google Brain 或者 DeepMind 這些奇特的實驗室所發明的那些耀眼的新模型所吸引，但是其中許多在你的用例或者業務環境中要麼是不可能實現，要麼是實現起來非常不現實。你應該使用對你的特定應用最有意義的模型，這種模型或許比較簡單，但是仍然很強大，例如 VGG。

2）網路路徑的激增

每年的 ImageNet Challenge 的冠軍都會使用比上一屆冠軍更加深層的網路。從 AlexNet 到 Inception，再到 ResNet，Smith 注意到了「網路中路徑數量倍增」的趨勢，並且「ResNet 可以是不同長度的網路的指數集合」。

3）爭取簡單

然而，更大的並不一定是更好的。在名為「Bigger is not necessarily better」的論文中，Springenberg 等人演示了如何用更少的單元實現最先進的結果。參考：https://arxiv.org/pdf/1412.6806.pdf

4）增加對稱性

無論是在建築上，還是在生物上，對稱性被認為是質量和工藝的標志。Smith 將 FractalNet 的優雅歸功於網路的對稱性。

5）金字塔式的形狀

你也許經常在表徵能力和減少冗餘或者無用信息之間權衡。卷積神經網路通常會降低激活函數的采樣，並會增加從輸入層到最終層之間的連接通道。

6）過度訓練

另一個權衡是訓練准確度和泛化能力。用類似 drop-out 或者 drop-path 的方法進行正則化可以提高泛化能力，這是神經網路的重要優勢。請在比你的實際用例更加苛刻的問題下訓練你的網路，以提高泛化性能。

7）全面覆蓋問題空間

為了擴展你的訓練數據和提升泛化能力，請使用雜訊和數據增強，例如隨機旋轉、裁剪和一些圖像操作。

8）遞增的特徵構造

隨著網路結構越來越成功，它們進一部簡化了每一層的「工作」。在非常深層的神經網路中，每一層僅僅會遞增的修改輸入。在 ResNets 中，每一層的輸出和它的輸入時很相似的，這意味著將兩層加起來就是遞增。實踐中，請在 ResNet 中使用較短的跳變長度。

9）標准化層的輸入

標准化是另一個可以使計算層的工作變得更加容易的方法，在實踐中被證明可以提升訓練和准確率。批量標准化（batch normalization）的發明者認為原因在於處理內部的協變數，但是 Smith 認為，「標准化把所有層的輸入樣本放在了一個平等的基礎上（類似於一種單位轉換），這允許反向傳播可以更有效地訓練」。

10）輸入變換

研究表明，在 Wide ResNets 中，性能會隨著連接通道的增加而增強，但是你需要權衡訓練代價與准確度。AlexNet、VGG、Inception 和 ResNets 都在第一層使用了輸入變換以讓輸入數據能夠以多種方式被檢查。

11）可用的資源決指引著層的寬度

然而，可供選擇的輸出數量並不是顯而易見的，這依賴於你的硬體能力以及期望的准確度。

12）Summation Joining

Summation 是一種常用的合並分支的方式。在 ResNets 中，使用總和作為連接的機制可以讓每一個分支都能計算殘差和整體近似。如果輸入跳躍連接一直存在，那麼 summation 會讓每一層學到正確地東西（例如與輸入的差別）。在任何分支都可以被丟棄的網路（例如 FractalNet）中，你應該使用這種方式類保持輸出的平滑。

13）下采樣變換

在池化的時候，利用級聯連接（concatenation joining）來增加輸出的數量。當使用大於 1 的步長時，這會同時處理連接並增加連接通道的數量。

14）用於競爭的 Maxout

Maxout 被用在你只需要選擇一個激活函數的局部競爭網路中。使用求和以及平均值會包含所有的激活函數，所以不同之處在於 maxout 只選擇一個「勝出者」。Maxout 的一個明顯的用例是每個分支具有不同大小的內核，而 Maxout 可以包含尺度不變性。

1）使用調優過的預訓練網路

「如果你的視覺數據和 ImageNet 相似，那麼使用預訓練網路會幫助你學習得更快」，機器學習公司 Diffbot 的 CEO Mike Tung 解釋說。低水平的卷積神經網路通常可以被重復使用，因為它們大多能夠檢測到像線條以及邊緣這些模式。將分類層用你自己的層替換，並且用你特定的數據去訓練最後的幾個層。

2）使用 freeze-drop-path

Drop-path 會在訓練的迭代過程中隨機地刪除一些分支。Smith 測試了一種相反的方法，它被稱為 freeze-path，就是一些路徑的權重是固定的、不可訓練的，而不是整體刪除。因為下一個分支比以前的分支包含更多的層，並且正確的內容更加容易近似得到，所以網路應該會得到更好的准確度。

3）使用循環的學習率

關於學習率的實驗會消耗大量的時間，並且會讓你遇到錯誤。自適應學習率在計算上可能是非常昂貴的，但是循環學習率不會這樣。使用循環學習率（CLR）時，你可以設置一組最大最小邊界，在邊界范圍內改變學習率。Smith 甚至還在論文《Cyclical Learning Rates for Training Neural Networks》中提供了計算學習率的最大值和最小值的方法。參考：https://arxiv.org/pdf/1506.01186.pdf

4）在有雜訊的標簽中使用 bootstrapping 

在現實中，很多數據都是混亂的，標簽都是主觀性的或者是缺失的，而且預測的對象可能是訓練的時候未曾遇到過的。Reed 等人在文章《TRAINING DEEP NEURAL NETWORKS ON NOISY LABELS WITH BOOTSTRAPPING》中描述了一種給網路預測目標注入一致性的方法。直觀地講，這可以奏效，通過使網路利用對環境的已知表示（隱含在參數中）來過濾可能具有不一致的訓練標簽的輸入數據，並在訓練時清理該數據。參考：https://arxiv.org/pdf/1412.6596

5）採用有 Maxout 的 ELU，而不是 ReLU

ELU 是 ReLU 的一個相對平滑的版本，它能加速收斂並提高准確度。與 ReLU 不同，ELU 擁有負值，允許它們以更低的計算復雜度將平均單位激活推向更加接近 0 的值，就像批量標准化一樣參考論文《FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)》，https://arxiv.org/pdf/1511.07289.pdf。如果您使用具有全連接層的 Maxout，它們是特別有效的。

❼ 神經網路淺談

人工智慧技術是當前炙手可熱的話題，而基於神經網路的深度學習技術更是熱點中的熱點。去年穀歌的Alpha Go 以4:1大比分的優勢戰勝韓國的李世石九段，展現了深度學習的強大威力，後續強化版的Alpha Master和無師自通的Alpha Zero更是在表現上完全碾壓前者。不論你怎麼看，以深度學習為代表的人工智慧技術正在塑造未來。

下圖為英偉達（NVIDIA）公司近年來的股價情況， 該公司的主要產品是「圖形處理器」（GPU），而GPU被證明能大大加快神經網路的訓練速度，是深度學習必不可少的計算組件。英偉達公司近年來股價的飛漲足以證明當前深度學習的井噴之勢。

好，話不多說，下面簡要介紹神經網路的基本原理、發展脈絡和優勢。

神經網路是一種人類由於受到生物神經細胞結構啟發而研究出的一種演算法體系，是機器學習演算法大類中的一種。首先讓我們來看人腦神經元細胞：

一個神經元通常具有多個樹突 ，主要用來接受傳入信息，而軸突只有一條，軸突尾端有許多軸突末梢，可以給其他多個神經元傳遞信息。軸突末梢跟其他神經元的樹突產生連接，從而傳遞信號。

下圖是一個經典的神經網路（Artificial Neural Network,ANN）：

乍一看跟傳統互聯網的拓撲圖有點類似，這也是稱其為網路的原因，不同的是節點之間通過有向線段連接，並且節點被分成三層。我們稱圖中的圓圈為神經元，左邊三個神經元組成的一列為輸入層，中間神經元列為隱藏層,右邊神經元列為輸出層，神經元之間的箭頭為權重。

神經元是計算單元，相當於神經元細胞的細胞核，利用輸入的數據進行計算，然後輸出，一般由一個線性計算部分和一個非線性計算部分組成；輸入層和輸出層實現數據的輸入輸出，相當於細胞的樹突和軸突末梢；隱藏層指既不是輸入也不是輸出的神經元層，一個神經網路可以有很多個隱藏層。

神經網路的關鍵不是圓圈代表的神經元，而是每條連接線對應的權重。每條連接線對應一個權重，也就是一個參數。權重具體的值需要通過神經網路的訓練才能獲得。我們實際生活中的學習體現在大腦中就是一系列神經網路迴路的建立與強化，多次重復的學習能讓迴路變得更加粗壯，使得信號的傳遞速度加快，最後對外表現為「深刻」的記憶。人工神經網路的訓練也借鑒於此，如果某種映射關系出現很多次，那麼在訓練過程中就相應調高其權重。

1943年，心理學家McCulloch和數學家Pitts參考了生物神經元的結構，發表了抽象的神經元模型MP：

符號化後的模型如下：

Sum函數計算各權重與輸入乘積的線性組合，是神經元中的線性計算部分，而sgn是取符號函數，當輸入大於0時，輸出1，反之輸出0，是神經元中的非線性部分。向量化後的公式為z=sgn(w^T a)（w^T=(w_1,w_2,w_3)，a=〖(a_1,a_2,a_3)〗^T）。

但是，MP模型中，權重的值都是預先設置的，因此不能學習。該模型雖然簡單，並且作用有限，但已經建立了神經網路大廈的地基

1958年，計算科學家Rosenblatt提出了由兩層神經元組成(一個輸入層，一個輸出層)的神經網路。他給它起了一個名字–「感知器」（Perceptron）

感知器是當時首個可以學習的人工神經網路。Rosenblatt現場演示了其學習識別簡單圖像的過程，在當時引起了轟動，掀起了第一波神經網路的研究熱潮。

但感知器只能做簡單的線性分類任務。1969年，人工智慧領域的巨擘Minsky指出這點，並同時指出感知器對XOR（異或，即兩個輸入相同時輸出0，不同時輸出1）這樣的簡單邏輯都無法解決。所以，明斯基認為神經網路是沒有價值的。

隨後，神經網路的研究進入低谷，又稱 AI Winter 。

Minsky說過單層神經網路無法解決異或問題，但是當增加一個計算層以後，兩層神經網路不僅可以解決異或問題，而且具有非常好的非線性分類效果。

下圖為兩層神經網路（輸入層一般不算在內）：

上圖中，輸出層的輸入是上一層的輸出。

向量化後的公式為：

注意：

每個神經元節點默認都有偏置變數b，加上偏置變數後的計算公式為：

同時，兩層神經網路不再使用sgn函數作為激勵函數，而採用平滑的sigmoid函數：

σ(z)=1/(1+e^(-z) )

其圖像如下：

理論證明： 兩層及以上的神經網路可以無限逼近真實的對應函數，從而模擬數據之間的真實關系 ，這是神經網路強大預測能力的根本。但兩層神經網路的計算量太大，當時的計算機的計算能力完全跟不上，直到1986年，Rumelhar和Hinton等人提出了反向傳播（Backpropagation，BP）演算法，解決了兩層神經網路所需要的復雜計算量問題，帶動了業界使用兩層神經網路研究的熱潮。

但好景不長，演算法的改進僅使得神經網路風光了幾年，然而計算能力不夠，局部最優解，調參等一系列問題一直困擾研究人員。90年代中期，由Vapnik等人發明的SVM（Support Vector Machines，支持向量機）演算法誕生，很快就在若干個方面體現出了對比神經網路的優勢：無需調參；高效；全局最優解。

由於以上原因，SVM迅速打敗了神經網路演算法成為主流。神經網路的研究再一次進入低谷， AI Winter again 。

多層神經網路一般指兩層或兩層以上的神經網路（不包括輸入層），更多情況下指兩層以上的神經網路。

2006年，Hinton提出使用 預訓練 」（pre-training）和「微調」(fine-tuning)技術能優化神經網路訓練，大幅度減少訓練多層神經網路的時間

並且，他給多層神經網路相關的學習方法賦予了一個新名詞–「 深度學習 」，以此為起點，「深度學習」紀元開始了：）

「深度學習」一方面指神經網路的比較「深」，也就是層數較多；另一方面也可以指神經網路能學到很多深層次的東西。研究發現，在權重參數不變的情況下，增加神經網路的層數，能增強神經網路的表達能力。

但深度學習究竟有多強大呢？沒人知道。2012年，Hinton與他的學生在ImageNet競賽中，用多層的卷積神經網路成功地對包含一千類別的一百萬張圖片進行了訓練，取得了分類錯誤率15%的好成績，這個成績比第二名高了近11個百分點，充分證明了多層神經網路識別效果的優越性。

同時，科研人員發現GPU的大規模並行矩陣運算模式完美地契合神經網路訓練的需要，在同等情況下，GPU的速度要比CPU快50-200倍，這使得神經網路的訓練時間大大減少，最終再一次掀起了神經網路研究的熱潮，並且一直持續到現在。

2016年基於深度學習的Alpha Go在圍棋比賽中以4:1的大比分優勢戰勝了李世石，深度學習的威力再一次震驚了世界。

神經網路的發展歷史曲折盪漾，既有被捧上神壇的高潮，也有無人問津的低谷，中間經歷了數次大起大落，我們姑且稱之為「三起三落」吧，其背後則是演算法的改進和計算能力的持續發展。

下圖展示了神經網路自發明以來的發展情況及一些重大時間節點。

當然，對於神經網路我們也要保持清醒的頭腦。由上圖，每次神經網路研究的興盛期持續10年左右，從最近2012年算起，或許10年後的2022年，神經網路的發展將再次遇到瓶頸。

神經網路作為機器學習的一種，其模型訓練的目的，就是使得參數盡可能的與真實的模型逼近。理論證明，兩層及以上的神經網路可以無限逼近真實的映射函數。因此，給定足夠的訓練數據和訓練時間，總能通過神經網路找到無限逼近真實關系的模型。

具體做法：首先給所有權重參數賦上隨機值，然後使用這些隨機生成的參數值，來預測訓練數據中的樣本。假設樣本的預測目標為yp ，真實目標為y，定義值loss，計算公式如下：

loss = (yp -y) ^2

這個值稱之為 損失 （loss），我們的目標就是使對所有訓練數據的損失和盡可能的小，這就轉化為求loss函數極值的問題。

一個常用方法是高等數學中的求導，但由於參數不止一個，求導後計算導數等於0的運算量很大，所以常用梯度下降演算法來解決這樣的優化問題。梯度是一個向量，由函數的各自變數的偏導數組成。

比如對二元函數 f =(x,y)，則梯度∇f=(∂f/∂x,∂f/∂y)。梯度的方向是函數值上升最快的方向。梯度下降演算法每次計算參數在當前的梯度，然後讓參數向著梯度的反方向前進一段距離，不斷重復，直到梯度接近零時截止。一般這個時候，所有的參數恰好達到使損失函數達到一個最低值的狀態。下圖為梯度下降的大致運行過程：

在神經網路模型中，由於結構復雜，每次計算梯度的代價很大。因此還需要使用 反向傳播 （Back Propagation）演算法。反向傳播演算法利用了神經網路的結構進行計算，不一次計算所有參數的梯度，而是從後往前。首先計算輸出層的梯度，然後是第二個參數矩陣的梯度，接著是中間層的梯度，再然後是第一個參數矩陣的梯度，最後是輸入層的梯度。計算結束以後，所要的兩個參數矩陣的梯度就都有了。當然，梯度下降只是其中一個優化演算法，其他的還有牛頓法、RMSprop等。

確定loss函數的最小值後，我們就確定了整個神經網路的權重，完成神經網路的訓練。

在神經網路中一樣的參數數量，可以用更深的層次去表達。

由上圖，不算上偏置參數的話，共有三層神經元，33個權重參數。

由下圖，保持權重參數不變，但增加了兩層神經元。

在多層神經網路中，每一層的輸入是前一層的輸出，相當於在前一層的基礎上學習，更深層次的神經網路意味著更深入的表示特徵，以及更強的函數模擬能力。更深入的表示特徵可以這樣理解，隨著網路的層數增加，每一層對於前一層次的抽象表示更深入。

如上圖，第一個隱藏層學習到「邊緣」的特徵，第二個隱藏層學習到「邊緣」組成的「形狀」的特徵，第三個隱藏層學習到由「形狀」組成的「圖案」的特徵，最後的隱藏層學習到由「圖案」組成的「目標」的特徵。通過抽取更抽象的特徵來對事物進行區分，從而獲得更好的區分與分類能力。

前面提到， 明斯基認為Rosenblatt提出的感知器模型不能處理最簡單的「異或」（XOR）非線性問題，所以神經網路的研究沒有前途，但當增加一層神經元後，異或問題得到了很好地解決，原因何在？原來從輸入層到隱藏層，數據發生了空間變換，坐標系發生了改變，因為矩陣運算本質上就是一種空間變換。

如下圖，紅色和藍色的分界線是最終的分類結果，可以看到，該分界線是一條非常平滑的曲線。

但是，改變坐標系後，分界線卻表現為直線，如下圖：

同時，非線性激勵函數的引入使得神經網路對非線性問題的表達能力大大加強。

對於傳統的樸素貝葉斯、決策樹、支持向量機SVM等分類器，提取特徵是一個非常重要的前置工作。在正式訓練之前，需要花費大量的時間在數據的清洗上，這樣分類器才能清楚地知道數據的維度，要不然基於概率和空間距離的線性分類器是沒辦法進行工作的。然而在神經網路中，由於巨量的線性分類器的堆疊（並行和串列）以及卷積神經網路的使用，它對雜訊的忍耐能力、對多通道數據上投射出來的不同特徵偏向的敏感程度會自動重視或忽略，這樣我們在處理的時候，就不需要使用太多的技巧用於數據的清洗了。有趣的是，業內大佬常感嘆，「你可能知道SVM等機器學習的所有細節，但是效果並不好，而神經網路更像是一個黑盒，很難知道它究竟在做什麼，但工作效果卻很好」。

人類對機器學習的環節干預越少，就意味著距離人工智慧的方向越近。神經網路的這個特性非常有吸引力。

1) 谷歌的TensorFlow開發了一個非常有意思的神經網路 入門教程 ，用戶可以非常方便地在網頁上更改神經網路的參數，並且能看到實時的學習效率和結果，非常適合初學者掌握神經網路的基本概念及神經網路的原理。網頁截圖如下：

2) 深度學習領域大佬吳恩達不久前發布的《 神經網路和深度學習 》MOOC，現在可以在網易雲課堂上免費觀看了，並且還有中文字幕。

3) 《神經網路於深度學習》（Michael Nielsen著）、《白話深度學習與TensorFlow》也是不錯的入門書籍。

❽ 循環神經網路

花書中關於RNN的內容記錄於 https://www.jianshu.com/p/206090600f13 。

在前饋神經網路中，信息的傳遞是單向的，這種限制雖然使得網路變得更容易學習，但在一定程度上也減弱了神經網路模型的能力。在生物神經網路中，神經元之間的連接關系要復雜的多。 前饋神經網路可以看作是一個復雜的函數，每次輸入都是獨立的，即網路的輸出只依賴於當前的輸入。但是在很多現實任務中，網路的輸入不僅和當前時刻的輸入相關，也和其過去一段時間的輸出相關 。因此，前饋網路難以處理時序數據，比如視頻、語音、文本等。時序數據的長度一般是不固定的，而前饋神經網路要求輸入和輸出的維數都是固定的，不能任意改變。因此，當處理這一類和時序相關的問題時，就需要一種能力更強的模型。

循環神經網路（Recurrent Neural Network，RNN）是一類具有短期記憶能力的神經網路。在循環神經網路中，神經元不但可以接受其它神經元的信息，也可以接受自身的信息，形成具有環路的網路結構。 和前饋神經網路相比，循環神經網路更加符合生物神經網路的結構。循環神經網路已經被廣泛應用在語音識別、語言模型以及自然語言生成等任務上。循環神經網路的參數學習可以通過 隨時間反向傳播演算法 來學習。

為了處理這些時序數據並利用其歷史信息，我們需要讓網路具有短期記憶能力。而前饋網路是一個靜態網路，不具備這種記憶能力。

一種簡單的利用歷史信息的方法是建立一個額外的延時單元，用來存儲網路的歷史信息（可以包括輸入、輸出、隱狀態等）。比較有代表性的模型是延時神經網路。

延時神經網路是在前饋網路中的非輸出層都添加一個延時器，記錄最近幾次神經元的輸出。在第 個時刻，第 層神經元和第 層神經元的最近 次輸出相關，即：

延時神經網路在時間維度上共享權值，以降低參數數量。因此對於序列輸入來講，延時神經網路就相當於卷積神經網路 。

自回歸模型（Autoregressive Model，AR） 是統計學上常用的一類時間序列模型，用一個變數 的歷史信息來預測自己：

其中 為超參數， 為參數， 為第 個時刻的雜訊，方差 和時間無關。

有外部輸入的非線性自回歸模型（Nonlinear Autoregressive with ExogenousInputs Model，NARX） 是自回歸模型的擴展，在每個時刻 都有一個外部輸入 ，產生一個輸出 。NARX通過一個延時器記錄最近幾次的外部輸入和輸出，第 個時刻的輸出 為：

其中 表示非線性函數，可以是一個前饋網路， 和 為超參數。

循環神經網路通過使用帶自反饋的神經元，能夠處理任意長度的時序數據。

給定一個輸入序列 ，循環神經網路通過下面
公式更新帶反饋邊的隱藏層的活性值 ：

其中 ， 為一個非線性函數，也可以是一個前饋網路。

從數學上講，上式可以看成一個動力系統。動力系統（Dynamical System）是一個數學上的概念，指 系統狀態按照一定的規律隨時間變化的系統 。具體地講，動力系統是使用一個函數來描述一個給定空間（如某個物理系統的狀態空間）中所有點隨時間的變化情況。因此， 隱藏層的活性值 在很多文獻上也稱為狀態（State）或隱狀態（Hidden States） 。理論上，循環神經網路可以近似任意的非線性動力系統。

簡單循環網路（Simple Recurrent Network，SRN）是一個非常簡單的循環神經網路，只有一個隱藏層的神經網路。

在一個兩層的前饋神經網路中，連接存在相鄰的層與層之間，隱藏層的節點之間是無連接的。而 簡單循環網路增加了從隱藏層到隱藏層的反饋連接 。

假設在時刻 時，網路的輸入為 ，隱藏層狀態（即隱藏層神經元活性值） 不僅和當前時刻的輸入 相關，也和上一個時刻的隱藏層狀態 相關：

其中 為隱藏層的凈輸入， 是非線性激活函數，通常為Logistic函數或Tanh函數， 為狀態-狀態權重矩陣， 為狀態-輸入權重矩陣， 為偏置。上面兩式也經常直接寫為：

如果我們把每個時刻的狀態都看作是前饋神經網路的一層的話，循環神經網路可以看作是在時間維度上權值共享的神經網路 。下圖給出了按時間展開的循環神經網路。

由於循環神經網路具有短期記憶能力，相當於存儲裝置，因此其計算能力十分強大。 前饋神經網路可以模擬任何連續函數，而循環神經網路可以模擬任何程序。

定義一個完全連接的循環神經網路，其輸入為 ，輸出為 ：

其中 為隱狀態， 為非線性激活函數， 和 為網路參數。

這樣一個完全連接的循環神經網路可以近似解決所有的可計算問題 。

循環神經網路可以應用到很多不同類型的機器學習任務。根據這些任務的特點可以分為以下幾種模式： 序列到類別模式、同步的序列到序列模式、非同步的序列到序列模式 。

序列到類別模式主要用於序列數據的分類問題：輸入為序列，輸出為類別。比如在文本分類中，輸入數據為單詞的序列，輸出為該文本的類別。

假設一個樣本 為一個長度為 的序列，輸出為一個類別 。我們可以將樣本 按不同時刻輸入到循環神經網路中，並得到不同時刻的隱藏狀態 。我們可以將 看作整個序列的最終表示（或特徵），並輸入給分類器 進行分類：

其中 可以是簡單的線性分類器（比如Logistic 回歸）或復雜的分類器（比如多層前饋神經網路）

除了將最後時刻的狀態作為序列表示之外，我們還可以對整個序列的所有狀態進行平均，並用這個平均狀態來作為整個序列的表示：

同步的序列到序列模式 主要用於序列標注（Sequence Labeling）任務，即每一時刻都有輸入和輸出，輸入序列和輸出序列的長度相同 。比如詞性標注（Partof-Speech Tagging）中，每一個單詞都需要標注其對應的詞性標簽。

輸入為序列 ，輸出為序列 。樣本 按不同時刻輸入到循環神經網路中，並得到不同時刻的隱狀態 。每個時刻的隱狀態 代表當前和歷史的信息，並輸入給分類器 得到當前時刻的標簽 。

非同步的序列到序列模式也稱為 編碼器-解碼器（Encoder-Decoder）模型，即輸入序列和輸出序列不需要有嚴格的對應關系，也不需要保持相同的長度。 比如在機器翻譯中，輸入為源語言的單詞序列，輸出為目標語言的單詞序列。

在非同步的序列到序列模式中，輸入為長度為 的序列 ，輸出為長度為 的序列 。經常通過 先編碼後解碼 的方式來實現。先將樣本 按不同時刻輸入到一個循環神經網路（編碼器）中，並得到其編碼 。然後再使用另一個循環神經網路（解碼器）中，得到輸出序列 。為了建立輸出序列之間的依賴關系，在解碼器中通常使用非線性的自回歸模型。

其中 分別為用作編碼器和解碼器的循環神經網路， 為分類器， 為預測輸出 的向量表示。

循環神經網路的參數可以通過梯度下降方法來進行學習。給定一個訓練樣本 ，其中 為長度是 的輸入序列， 是長度為 的標簽序列。即在每個時刻 ，都有一個監督信息 ，我們定義時刻 的損失函數為：

其中 為第 時刻的輸出， 為可微分的損失函數，比如交叉熵。那麼整個序列上損失函數為：

整個序列的損失函數 關於參數 的梯度為：

即每個時刻損失 對參數 的偏導數之和。

循環神經網路中存在一個遞歸調用的函數 ，因此其計算參數梯度的方式和前饋神經網路不太相同。在循環神經網路中主要有兩種計算梯度的方式： 隨時間反向傳播（BPTT）和實時循環學習（RTRL）演算法。

隨時間反向傳播（Backpropagation Through Time，BPTT） 演算法的主要思想是通過類似前饋神經網路的錯誤反向傳播演算法來進行計算梯度。

BPTT演算法將循環神經網路看作是一個展開的多層前饋網路，其中「每一層」對應循環網路中的「每個時刻」。在「展開」的前饋網路中，所有層的參數是共享的，因此參數的真實梯度是將所有「展開層」的參數梯度之和 。

因為參數 和隱藏層在每個時刻 的凈輸入 有關，因此第 時刻的損失函數 關於參數 的梯度為：

其中 表示「直接」偏導數，即公式 中保持 不變，對 求偏導數，得到：

其中 為第 時刻隱狀態的第 維； 除了第 個值為 外，其餘都為 的行向量。

定義誤差項 為第 時刻的損失對第 時刻隱藏神經層的凈輸入 的導數，則：

從而：

寫成矩陣形式為：

由此得到整個序列的損失函數 關於參數 的梯度：

同理可得， 關於權重 和偏置 的梯度為：

在BPTT演算法中，參數的梯度需要在一個完整的「前向」計算和「反向」計算後才能得到並進行參數更新。如下圖所示。

與反向傳播的BPTT演算法不同的是，實時循環學習（Real-Time Recurrent Learning）是通過前向傳播的方式來計算梯度。

假設循環神經網路中第 時刻的狀態 為：

其關於參數 的偏導數為：

RTRL演算法從第1 個時刻開始，除了計算循環神經網路的隱狀態之外，還依次前向計算偏導數 。

兩種學習演算法比較：

RTRL演算法和BPTT演算法都是基於梯度下降的演算法，分別通過前向模式和反向模式應用鏈式法則來計算梯度。 在循環神經網路中，一般網路輸出維度遠低於輸入維度，因此BPTT演算法的計算量會更小，但BPTT演算法需要保存所有時刻的中間梯度，空間復雜度較高。RTRL演算法不需要梯度回傳，因此非常適合於需要在線學習或無限序列的任務中 。

循環神經網路在學習過程中的主要問題是由於 梯度消失或爆炸問題 ，很難建模長時間間隔（Long Range）的狀態之間的依賴關系。

在BPTT演算法中，我們有：

如果定義 ，則：

若 ，當 時， ，會造成系統不穩定，稱為梯度爆炸問題；相反，若 ，當 時， ，會出現和深度前饋神經網路類似的梯度消失問題。

雖然簡單循環網路理論上可以建立長時間間隔的狀態之間的依賴關系，但是由於梯度爆炸或消失問題，實際上只能學習到短期的依賴關系。這樣，如果t時刻的輸出 依賴於 時刻的輸入 ，當間隔 比較大時，簡單神經網路很難建模這種長距離的依賴關系，稱為 長程依賴問題（Long-Term dependencies Problem） 。

一般而言，循環網路的梯度爆炸問題比較容易解決，一般 通過權重衰減或梯度截斷來避免。 權重衰減是通過給參數增加 或 范數的正則化項來限制參數的取值范圍，從而使得 。梯度截斷是另一種有效的啟發式方法，當梯度的模大於一定閾值時，就將它截斷成為一個較小的數。

梯度消失是循環網路的主要問題。除了使用一些優化技巧外，更有效的方式就是改變模型，比如讓 ，同時使用 ，即：

其中 是一個非線性函數， 為參數。

上式中， 和 之間為線性依賴關系，且權重系數為1，這樣就不存在梯度爆炸或消失問題。但是，這種改變也丟失了神經元在反饋邊上的非線性激活的性質，因此也降低了模型的表示能力。

為了避免這個缺點，我們可以採用一種更加有效的改進策略：

這樣 和 之間為既有線性關系，也有非線性關系，並且可以緩解梯度消失問題。但這種改進依然存在兩個問題：

為了解決這兩個問題，可以通過引入 門控機制 來進一步改進模型。

為了改善循環神經網路的長程依賴問題，一種非常好的解決方案是引入門控機制來控制信息的累積速度，包括 有選擇地加入新的信息，並有選擇地遺忘之前累積的信息 。這一類網路可以稱為基於門控的循環神經網路（Gated RNN）。本節中，主要介紹兩種基於門控的循環神經網路： 長短期記憶網路和門控循環單元網路。

長短期記憶（Long Short-Term Memory，LSTM）網路 是循環神經網路的一個變體，可以有效地解決簡單循環神經網路的梯度爆炸或消失問題。

在 基礎上，LSTM網路主要改進在以下兩個方面：

其中 和 三個門（gate）來控制信息傳遞的路徑； 為向量元素乘積； 為上一時刻的記憶單元； 是通過非線性函數得到的候選狀態：

在每個時刻 ，LSTM網路的內部狀態 記錄了到當前時刻為止的歷史信息。

在數字電路中，門（Gate）為一個二值變數{0, 1}，0代表關閉狀態，不許任何信息通過；1代表開放狀態，允許所有信息通過。LSTM網路中的「門」是一種「軟」門，取值在(0, 1) 之間，表示 以一定的比例運行信息通過 。LSTM網路中三個門的作用為：

（1）遺忘門 控制上一個時刻的內部狀態 需要遺忘多少信息。
（2）輸入門 控制當前時刻的候選狀態 有多少信息需要保存。
（3）輸出門

❾ 採用什麼手段使神經網路預測更加准確

1. 優化神經網路結構。如BP神經網路改變隱層神經元數量、訓練演算法等；

2. 使用其他神經網路。如Elman神經網路考慮了前一時刻的輸出，比較適合用於預測，預測效果往往更好。RBF神經網路的訓練速度很快，訓練效果也很好。
   

3. 改進的神經網路演算法。例如BP神經網路增加動量項、自適應學習率等措施，防止陷入局部極小影響預測效果。

4. 組合神經網路。取長補短，將全局搜索能力強的演算法與局部逼近快的演算法組合起來，如遺傳演算法優化初始權值，再訓練。這種方法比較靈活，可以和許多演算法融合。

5. 全面考慮影響因素。未來的預測值受許多因素影響，所以應該在基於歷史數據的基礎上，充分考慮各種因素，考慮得越周全，預知信息越多，預測效果一般更好。

❿ 深度卷積神經網路各種改進結構塊匯總

這個網路主要源自於Resnet網路，其作用是：
將靠前若干層的某一層數據輸出直接跳過多層引入到後面數據層的輸入部分。
意味著後面的特徵層的內容會有一部分由其前面的某一層線性貢獻。
實驗表明，殘差網路更容易優化，並且能夠通過增加相當的深度來提高准確率。

最終可以使得網路越來越深，Resnet152就是一個很深很深的網路。

殘差網路的典型結構如下：

這個結構主要是在Inception網路結構中出現。
Inception網路採用不同大小的卷積核，使得存在不同大小的感受野，最後實現拼接達到不同尺度特徵的融合。

不同大小卷積核並行卷積的典型結構如下：

這種結構主要利用在InceptionV3中。
利用1x7的卷積和7x1的卷積代替7x7的卷積，這樣可以只使用約（1x7 + 7x1) / (7x7) = 28.6%的計算開銷；利用1x3的卷積和3x1的卷積代替3x3的卷積，這樣可以只使用約（1x3 + 3x1) / (3x3) = 67%的計算開銷。
下圖利用1x7的卷積和7x1的卷積代替7x7的卷積。

下圖利用1x3的卷積和3x1的卷積代替3x3的卷積。

這個結構在Resnet里非常常見，其它網路也有用到。
所謂Bottleneck結構就是首先利用1x1卷積層進行特徵壓縮，再利用3x3卷積網路進行特徵提取，再利用1x1卷積層進行特徵擴張。

該結構相比於直接對輸入進行3x3卷積減少了許多參數量。

當輸入為26,26,512時，直接使用3x3、filter為512的卷積網路的參數量為512x3x3x512=2,359,296。

採用Bottleneck結構的話，假設其首先利用1x1、filter為128卷積層進行特徵壓縮，再利用3x3、filter為128的卷積網路進行特徵提取，再利用1x1、filter為512的卷積層進行特徵擴張，則參數量為 512×1×1×128 + 128×3×3×128 + 128×1×1×512 = 278,528。

深度可分離卷積主要在MobileNet模型上應用。
其特點是3x3的卷積核厚度只有一層，然後在輸入張量上一層一層地滑動，每一次卷積完生成一個輸出通道，當卷積完成後，在利用1x1的卷積調整厚度。

假設有一個3×3大小的卷積層，其輸入通道為16、輸出通道為32。具體為，32個3×3大小的卷積核會遍歷16個通道中的每個數據，最後可得到所需的32個輸出通道，所需參數為16×32×3×3=4608個。

應用深度可分離卷積，用16個3×3大小的卷積核分別遍歷16通道的數據，得到了16個特徵圖譜。在融合操作之前，接著用32個1×1大小的卷積核遍歷這16個特徵圖譜，所需參數為16×3×3+16×32×1×1=656個。

這種結構主要存在在Xception網路中。
改進版深度可分離卷積就是調換了一下深度可分離的順序，先進行1x1卷積調整通道，再利用3x3卷積提取特徵。
和普通的深度可分離卷積相比，參數量也會有一定的變化。

改進版深度可分離卷積加上殘差網路的結構其實和它的名字是一樣的，很好理解。
如下圖所示：

在ResNet50里我們認識到一個結構，bottleneck design結構，在3x3網路結構前利用1x1卷積降維，在3x3網路結構後，利用1x1卷積升維，相比直接使用3x3網路卷積效果更好，參數更少，先進行壓縮，再進行擴張。

而Inverted resials結構，在3x3網路結構前利用1x1卷積升維，在3x3網路結構後，利用1x1卷積降維，先進行擴張，再進行壓縮。
這種結構主要用在MobilenetV2中。
其主要結構如下：

這個結構出現在Deeplabv3語義分割中。

其經過並行的空洞卷積，分別用不同rate的空洞卷積進行特徵提取，再進行合並，再進行1x1卷積壓縮特徵。

空洞卷積可以在不損失信息的情況下，加大了感受野，讓每個卷積輸出都包含較大范圍的信息。如下就是空洞卷積的一個示意圖，所謂空洞就是特徵點提取的時候會跨像素。

原文鏈接： https://blog.csdn.net/weixin_44791964/article/details/103042733