❶ RepVGG：VGG，永遠的神！ | 2021新文
論文: RepVGG: Making VGG-style ConvNets Great Again
目前，卷積網路的研究主要集中在結構的設計。復雜的結構盡管能帶來更高的准確率，但也會帶來推理速度的減慢。影響推理速度的因素有很多，計算量FLOPs往往不能准確地代表模型的實際速度，計算量較低的模型不一定計算更快。因此，VGG和ResNet依然在很多應用中得到重用。
基於上述背景，論文提出了VGG風格的單分支網路結構RepVGG，能夠比結構復雜的多分支網路更優秀，主要包含以下特點：
當然，想要直接訓練簡單的單分支網路來達到與多分支網路一樣的精度是很難的。由於多分支網路中的各個分支在訓練時的權重變化不定，所以多分支網路可看作是大量簡單網路的合集，而且其能夠避免訓練時的梯度彌散問題。雖然如此，但多分支網路會損害速度，所以論文打算訓練時採用多分支網路，而推理時仍然使用單分支網路，通過新穎的結構性重參數化(structural re-parameterization)將多分支網路的權值轉移到簡單網路中。
由於多分支的存在，使得多分支網路相當於一個包含大量小網路的集合，但其推理速度會有較大影響，所以論文僅在訓練時使用多分支進行訓練，訓練完成後將其權值轉移到簡單網路中。為了夠包含大量更簡單的模型，論文在 卷積的基礎上添加ResNet-like的identity分支和 分支構成building block，然後堆疊成訓練模型。假設多分支網路包含 個building block，則其可以表達 種簡單網路結構。
在開始描述最重要的權值轉換之前，先進行以下定義：
假設 、 以及 ，則有：
若輸入輸出維度不相同，則去掉identity分支，即只包含前面兩項。 代表是推理時的BN函數，一般而言，對於 ，有：
權值轉換的核心是將BN和其前面的卷積層轉換成單個包含偏置向量的卷積層。假設 為從 轉換得到的核權值和偏置，則有：
轉換後的卷積操作與原本的卷積+BN操作是等價的，即：
上述的轉換也可應用於identity分支，將identity mapping視作卷積核為單位矩陣的 卷積。
以上圖為例，在 的情況下，將3個分支分別轉換後得到1個 卷積和兩個 卷積，最終的卷積偏置由3個卷積的偏置直接相加，而最終的卷積核則是將兩個 卷積核加到 卷積核中心。需要注意的是，為了達到轉換的目的，訓練時的 卷積分支和 卷積分支需要有相同的步長，而 卷積的填充要比 卷積的小一個像素。
RepVGG是VGG風格的網路，主要依賴 卷積，但沒有使用最大池化，而是使用步長為2的 卷積作為替換。RepVGG共包含5個階段，每個階段的首個卷積的步長為2。對於分類任務，使用最大池化和全連接層作為head，而其它任務則使用對應的head。
每個階段的層數的設計如上表所示，除首尾兩個階段使用單層外，每個階段的層數逐漸增加。而每個階段的寬度則通過縮放因子 和 進行調整，通常 ，保證最後一個階段能夠提取更豐富的特徵。為了避免第一階段採用過大的卷積，進行了 的設置。
為了進一步壓縮參數，論文直接在特定的層加入分組卷積，從而達到速度和准確率之間的trade-off，比如RepVGG-A的3rd, 5th, 7th, ..., 21st層以及RepVGG-B的23rd, 25th和27th層。需要注意，這里沒有對連續的層使用分組卷積，主要為了保證通道間的信息交流。
SOTA分類在120epoch訓練的性能對比。
200epoch帶數據增強的分類性能對比。
對比多分支效果。
其它操作與結構重參數化的對比實驗。
作為分割任務的主幹網路的表現。
RepVGG將訓練推理網路結構進行獨立設計，在訓練時使用高精度的多分支網路學習權值，在推理時使用低延遲的單分支網路，然後通過結構重參數化將多分支網路的權值轉移到單分支網路。RepVGG性能達到了SOTA，思路簡單新穎，相信可以在上面做更多的工作來獲得更好的性能。
❷ 怎麼設置雙線雙路網路路由
隨著路由行業的發展，其市場競爭非常激烈。對於用戶來講，如何正確的設置路由，也是非常重要的問題之一，本文為大家講解怎麼設置雙線雙路網路路由，希望能幫到大家。
設置雙線雙路網路路由的知識
眾所周知目前我國國內網路接入服務提供商基本由中國網通和中國電信兩家壟斷，在線路和站點互訪方面存在一定的問題，那就是如果你的網路屬於中國網通的線路，那麼訪問中國電信的資源會比較慢，而如果你的網路是中國電信提供的，同樣訪問中國網通的資源會比較慢。這也是為什麼很多企業用戶開始申請雙線路來解決這種問題的原因，但是身為網路管理員的我們是否了解合理分配網路訪問出口和鏈路方向呢?通過合理分配目的地IP地址可以讓我們更好的利用網路資源，讓訪問電信網路的數據可以發送到電信鏈路，同理讓訪問網通的數據可以順利發送到網通鏈路。今天就請讀者跟 隨筆 者一起學習如何通過路由策略實現雙線雙路網路路由信息的自動分配，讓數據包轉發更加智能化。
一、路由策略的優勢
我們介紹過如何從本地計算機的路由信息入手解決這種雙線雙路的實際網路問題，然而該 方法 只限於在單台計算機上操作，如果企業的員工計算機非常多，一台一台機器的設置肯定不太現實，這時我們就可以通過路由策略實現對企業網路路由出口的統籌管理，將出口路由器上配置合理的路由策略，從而讓網路數據包可以根據不同需求轉發到不同的線路。
總體說來路由策略各個命令只需要我們在企業連接網路外部出口的路由器上進行設置即可，該路由器實際連接的是雙線雙路，即一個介面連接通往中國網通的網路，一個介面連接抵達中國電信的網路。
二、路由策略命令簡單講解
路由策略的意義在於他可以讓路由器根據一定的規則選擇下一跳路由信息，這樣就可以自動的根據接收來的網路數據包的基本信息，判斷其應該按照哪個路由表中的信息進行轉發了。通過路由策略我們可以為一台路由器指定多個下一跳轉發路由地址。下面我們來看一段路由策略指令，然後根據其後面的指示信息來了解他的意義。
(1)路由策略基本信息的設置：
route-map src80 permit 10
//建立一個策略路由，名字為src80，序號為10，規則為容許。
match ip address 151
//設置match滿足條件，意思是只有滿足ip address符合訪問控制列表151中規定的才進行後面的set操作，否則直接跳過。
set ip next-hop 10.91.31.254
//滿足上面條件的話就將這些數據的下一跳路由信息修改為10.91.31.254。
access-list 150 deny tcp any 10.80.0.0 0.7.255.255 eq www
access-list 150 permit tcp 10.80.0.0 0.7.255.255 any eq ww
//設置對應的訪問控制列表150中的匹配信息
(2)將已經設置的路由策略在某介面啟用並生效：
int FastEthernet3/2
//進入千兆快速乙太網介面
ip policy route-map src80
//應用路由策略src80。
no ip policy route-map src80
//取消src80路由策略的應用。
當然各個路由策略的實際指令會有所區別，不過基本的諸如match與set等指令類似，我們在實際使用過程中根據需求去修改即可。
三、路由策略設置實例
了解了基本的路由策略設置方法後我們來通過他解決雙線雙路網路路由實際問題，首先虛擬出這樣一個環境，企業申請了雙線網路出口，一邊是網通線路另一邊則是電信線路，我們需要做的就是通過路由策略讓發往不同網路的數據可以直接轉發到對應網路的介面。
知道了技術應用點後我們就要運用該技術解決實際問題了，策略路由的使用和我們編寫程序一樣是非常靈活的，他可以設置轉發的條件，也可以通過源地址或目的地址信息來指引數據包的發送方向。
(1)基於源地址的策略路由
如果企業是根據網路劃分部門的話，我們可以通過基於源地址的策略路由來實現分發網路數據包的目的。針對源地址進行策略路由的話，那就是將網通部門要訪問網通的數據都轉發到網通線路對應的WAN1介面;而電信部門要訪問電信的數據都轉發到電信線路對應的WAN2介面。這樣兩個部門都可以順利的快速開展業務，而不互相干擾。但是這種設置存在一個問題，那就是如果臨時需要網通部工作人員解決電信客戶需求時將無法實現，因為網通部的數據只會發送到網通線路，針對電信客戶的訪問速度會大打折扣。
(2)基於目的地址的策略路由
既然基於源地址的策略路由在交叉網路訪問方面存在問題的話，那麼基於目的地址的策略路由是否能夠完美解決實際問題呢?所謂目的地址就是指我們要訪問客戶的IP地址，一般來說判斷客戶是電信還是網通網路是可以通過他的IP地址實現的。所以只要企業收集到了電信和網通網路地址段，就可以基於目的地址採取策略路由，將發送或接收到的電信地址數據通過WAN2(電信線路)介面傳輸，將發送或接收到的網通地址數據通過WAN1(網通線路)介面傳輸。即使出現網通部工作人員臨時解決電信客戶情況時依然可以保證高速狀態。
通過上面的分析我們可以明確的是通過設置基於目的地址的策略路由，可以有效的解決企業用戶遇到的雙線路雙路由的訪問和維護問題。這里我們假設連接企業路由器WAN2介面的電信對端設備IP為A，而連接WAN1介面網通對端設備IP為B，電信網路的地址段為C，網通網路地址段是D，在路由器上建立基於目的地址的策略路由具體設置命令如下。
第一步：建立匹配C和D的兩條訪問控制列表，即這兩條訪問控制列表中針對目的地址設置為C或D，控制列表名稱依次為ACLC，ACLD。
第二步：在路由器上使用match ip address ACLC(限定只要地址段符合ACLC訪問控制列表設定的條件)，set ip next-hop A(將此數據訪問的下一跳地址設置A)，這樣對電信網路的訪問將順利的發送到電信網路對端設備。
第三步：同理使用match ip address ACLD，set ip next-hop B命令即可完成對網通數據的路由策略。
第四步：最後在路由器上應用這兩條路由策略即可有效解決企業遇到的雙線路訪問的問題。讓數據包轉發更加智能更加靈活，按照需求提高網路訪問速度，讓企業業務運轉得更有效率。
從本文的描述我們可以看出，通過路由策略解決雙線雙路網路實際問題要比之前介紹過的從本機路由表入手靈活得多，並且解決問題的效率更高，不需要網路管理員為企業員工計算機一台台設置。另一方面路由策略的功能還不僅僅局限於此，了解了他的真諦後我們可以像編寫程序一樣，從企業實際需求出發制定更合理更有效的轉發策略，可以精細到每台計算機路由信息的控制。
設置雙線雙路網路路由的相關 文章 ：
1. 分線路由器怎麼設置
2. cisco雙線雙路網路路由器怎麼設置
3. 雙WAN口路由器WAN口設置中的“內部網路”功能
4. D-Link設置雙路由器連接圖解
❸ 雙路由設置
你是選擇的自動向導設置之後不可以使用么!其實,在TPLINK設置之後,第二個路由的設置可以直接用向導連接,如果不可以的話,把第一個路由(TPLINK)設置為自動,但是別去分配地址,把電腦的IP設置成自動!因為電信原因,想在貓上接2個路由不行,只能接一個,然後在在路由上接另一個,將其中一個路由做分支用!
❹ Fast-SCNN
https://blog.csdn.net/calvinpaean/article/details/88534052
https://arxiv.org/pdf/1902.04502.pdf
https://github.com/Tramac/Fast-SCNN-pytorch
https://github.com/xiaoyufenfei/Efficient-Segmentation-Networks
摘要 ：本文介紹一種適用於低內存嵌入式設備、計算高效、可用於高解析度圖像（1024×2048px）的實時語義分割模型FastSCNN。在現有的快速分割的雙分支方法的基礎上，我們引入「學習下采樣」模塊，該模塊同時計算多個解析度分支的低層級特徵。然後將高解析度的空間細節與低解析度提取的深層特徵結合起來，在Cityspaces數據集上獲得68.0%mIoU的精度，123.5FPS的速度。我們還證明大規模預訓練沒必要。我們用ImageNet預訓練和Cityspaces的粗標記數據對我們的度量進行了實驗驗證。最後，我們不修改網路結構，在下采樣的輸入上獲得了速度更快、精度有可比性的結果。
1.引言
實時語義分割的研究最近獲得了顯著的普及[21,34,17,25,36,20]。
我們發現，文獻中語義分割通常由具有編碼器-解碼器框架的深卷積神經網路來處理[29,2]，而許多計算高效的方法使用雙分支或多分支架構[21,34,17]。通常情況下：
•更大的感受野對於學習對象類之間的復雜關聯（即全局上下文）很重要，
•圖像中的空間細節是保持物體邊界所必需的，以及
•需要具體的設計來平衡速度和准確性（而不是重定位的分類DCNNs）。
具體地說，在兩個分支網路中，較深的分支在低解析度下用於捕獲全局上下文，而較淺的分支在全輸入解析度下用於學習空間細節。然後將二者合並，得到最終的語義分割結果。重要的是，較深的分支帶來的計算成本的提升需要靠縮小輸入尺寸來克服。而要獲得全解析度圖只需要較少的層數。因而，在現代GPU上，實時性是可以實現的。與編碼-解碼不同的是，雙分支中不同解析度的初始卷積是不共享的。這里值得注意的是，引導上采樣網路(GUN)[17]和圖像級聯網路(ICNet)[36]只在前幾層之間共享權重。
我們提出FastSCNN，將雙分支技術[21,34,17,36]與編碼-解碼[29,2]結合起來。FastSCNN的結構如圖1。因為深度卷積網路的淺層主要提取低級特徵[35,19]，我們共享了雙分支中初始層的計算。我們稱這種技術為「學習下采樣」，其效果與編碼-解碼中的跳連相似。我們只使用了一次跳連來保證計算效率。「學習下采樣」模塊層數比較淺，以保證特徵共享的有效性。最後，我們還使用了深度可分離卷積[30,10]和逆殘差模塊[28]。
在Cityspaces數據集[6]上，FastSCNN在NvidiaTitanXp(Pascal)上處理全解析度圖像(1024×2048px)，速度是123.5FPS，精度是68.0%mIoU。比現有最先進技術快兩倍。(BiSeNet，71.4%mIoU，[34])。
雖然我們的參數量達到1.11M，但大多數離線分割方法（如DeepLab[4]和PSPNet[37]）以及一些實時演算法（如GUN[17]和ICNet[36]）的參數量多得多。FastSCNN的模型容量特別低，原因是：(1)要在低內存的嵌入式設備上運行，(2)期待有更好的泛化能力。先前的很多工作都建議在ImageNet數據集[27]上預訓練以提高精度和泛化能力。我們研究了預訓練對低容量的FastSCNN的影響，結論是，使用預訓練或者弱標簽數據沒有明顯的提升效果，在Cityscapes數據集上只提升了0.5%mIoU，這一點和那些大容量的模型剛好相反。總結下我們的貢獻：
(1) 提出了FastSCNN，在高解析度圖像(1024×2048px)上，精度有競爭力(68.0%)，速度特別強(123.5fps)。
(2) 使用離線方法中常用的跳連，提出了一個淺層的「學習下采樣」模塊，以快速高效地多分支低層級特徵提取。
(3)將FastSCNN設計為小容量，並且實驗證明，對於小容量網路，多跑一些epoch，和使用預訓練或額外的弱標簽數據是等效的。
此外，對於下采樣的輸入，我們不對網路做任何修改就達到了最先進水平。
2.相關工作
我們對比分析語義分割方法，尤其是低功耗低內存的實時語義分割方法[2,20,21,36,34,17,25,18]。
2.1.語義分割的基礎
最先進的語義分割結合了兩個獨立的模塊：編碼器和解碼器。編碼器用卷積和池化來提取特徵。解碼器從低解析度特徵中恢復空間細節，並預測分割結果[29,2]。通常，編碼器用一個移除全連接層的分類網路，例如VGG或ResNet。
FCN[29]是大多數分割模型的基礎，采樣VGG為編碼器，雙線性上采樣結合較低層的跳接來恢復空間細節。U-Net[26]使用密集的跳連進一步利用空間細節。
之後，受全局的圖像上下文先驗啟發[13,16]，PSPNet[37]使用金字塔池化模塊，DeepLab[4]使用atrous空間金字塔池化(ASPP)對全局上下文進行編碼和利用。
其他競爭性的基本分割結構使用條件隨機場(CRF)[38,3]或遞歸神經網路[32,38]。然而它們不實時。
與目標檢測[23,24,15]類似，速度是一個重要因素[21,34,17,25,36,20]。SegNet在FCN的基礎上引入了聯合編解碼模型，成為最早的高效分割模型之一。繼SegNet之後，ENet[20]還設計了一個具有很少幾層的編碼器-解碼器，以降低計算成本。
最近出現了雙分支和多分支方法。ICNet[36]、ContextNet[21]、BiSeNet[34]和GUN[17]通過在深度分支中減少輸入的解析度來學習全局上下文，而在淺層分支的全解析度特徵中學習邊緣的細節信息。
然而，最先進的實時語義分割仍然具有局限性，並且通常需要高端GPU。受雙分支方法的啟發，FastSCNN使用了一個淺層的網路路徑來編碼細節信息，上下文信息在低分辨特徵中被有效地學習，如圖2所示。
2.2 DCNN中的高效設計
深度可分離卷積： MobileNet[10]提出深度可分離卷積，減少了浮點運算和卷積參數，降低了計算量和內存需求。
高效的重新設計： Chollet[5]使用高效的深度可分離卷積設計了Xception 網路。MobileNet-V2提出了inverted bottleneck resial block[28]來構建一個高效率的深度網路，用於分類任務。ContextNet[21]使用 inverted bottleneck resial block設計了一個雙分支網路，用於實時語義分割。
網路量化： 浮點計算相較於整型和二進制操作要昂貴的多，模型運行時間可以進一步通過量化技巧來縮短。
網路壓縮： 剪枝可以用於減小預訓練網路的大小，使運行速度更快，參數更少，內存佔用更少。
FastSCNN很依賴於深度可分離卷積和resial bottleneck blocks[28]。此外，我們還引入雙分支結構，與「學習下采樣」模塊結合起來，允許在多級解析度上共享特徵，如圖2所示。注意，盡管多個分支的初始層提取了相似的特徵[35,19]，但常用的雙分支方法並沒有使用這一點。網路量化和網路壓縮可以正交應用，這個留給我們以後的工作。
2.3 輔助任務的預訓練
普遍認為輔助任務的預訓練可以提高精度。早期的目標檢測[7]和語義分割[4,37]的研究在ImageNet上進行了預訓練[27]。其他實時高效的語義分割方法也在ImageNet上進行了預訓練[36,34,17]。然而，尚不清楚低容量網路是否有必要預訓練。我們實驗證明預訓練對小網路沒有明顯的提升效果。數據增廣和訓練更多的epoch也能取得類似的效果。
3 我們提出的FastSCNN
FastSCNN靈感來自於雙分支結構[21,34,17]和具有跳連的編碼器網路[29,26]。因為注意到網路的前幾層通常提取低級特徵，我們將跳連重新解釋為一個「學習下采樣」模塊，這樣我們就能夠融合兩個框架的關鍵思想，並可以構建一個快速的語義分割模型。圖1和表1是FastSCNN的結構。接下來將介紹我們的設計動機和各模塊的詳細設置。
3.1 動機
當前最先進的實時語義分割方法是基於雙分支結構，每個分支作用在不同級別的解析度上[21,34,17]，從輸入圖像的低分辨特徵中學習全局信息，並使用淺層網路的全解析度來細化分割結果的精度。由於輸入解析度和網路深度是決定運行時間的主要因素，雙分支結構使得模型可以是實時的。
眾所周知，網路的前幾層提取低級特徵，例如邊和角[35,19]。因此，我們不採用將兩個分支完全獨立的方法，而是引入學習下采樣模塊，讓兩個分支共享淺層的網路模塊。
3.2 網路結構
我們的FastSCNN使用「學習下采樣模塊」，一個粗糙的全局特徵提取模塊、一個特徵融合模塊和一個標準的分類器。所有模塊都是用深度可分離卷積來構建，深度可分離卷積已經是許多高效網路的關鍵[5,10,21]。
3.2.1學習下采樣
為了保證低層特徵共享的有效和高效，學習下采樣模塊只採用了三層結構。第一層是標准卷積層(Conv2D)，另外兩層是深度可分離卷積(DSConv)。這里要說明的是，雖然DSConv可以提升計算效率，但由於輸入圖像只有3個通道，深度可分離卷積放在第一層的話帶來的效率的提升是微不足道的，因此第一層用標准卷積。
學習下采樣的3層中的每一層的卷積滑動步長都是2，然後是批量歸一化和ReLU。標准卷積和深度可分離中的深度層的卷積核尺寸都是3×3。和[5,28,21]一樣，我們省略了深度可分離卷積中深度卷積和點卷積的非線性運算。
3.2.2全局特徵提取器
全局特徵提取模塊是為了獲取圖像分割的全局上下文。與通常的雙分支方法在原始圖像上獲取低解析度特徵不同，我們是取「學習下采樣」模塊的輸出作為全局特徵提取器的輸入，其解析度是原始圖像的1/8。詳細結構如表1所示。我們使用MobileNet-v2[28]中提出的高效的bottleneck resial block，如表2所示。
特別地，當輸入輸出大小相同時，我們對bottleneck resial block採用殘差連接。我們的bottleneck block使用了一個高效的深度可分離卷積，這樣參數量更小，浮點計算更少。此外，在末尾添加金字塔池模塊(PPM)[37]，以聚合基於不同區域的上下文信息。
3.2.3特徵融合模塊
與ICNet[36]和ContextNet[21]類似，我們更喜歡簡單的特徵相加，以確保效率。或者，使用更復雜的特徵融合模塊，例如[34]，這樣精度更高而計算量也更大。特徵融合模塊的細節如表3所示。
3.2.4分類器
分類器中使用了兩個深度可分離卷積和一個點卷積。我們發現在特徵融合模塊後增加幾層可以提高精度。分類器模塊的詳細信息如表1所示。
在訓練過程中使用Softmax，因為使用了梯度下降。在推理過程中，我們可以用Argmax代替昂貴的Softmax計算。我們將此選項表示為Fast SCNN cls（分類）。另一方面，如果需要輸出概率模型，則使用softmax，表示為FastSCNN prob(概率)。
3.3 和現有的最先進技術比較
3.3.1與雙分支模型的關系
最先進的實時模型（ContextNet[21]、BiSeNet[34]和GUN[17]）使用雙分支結構。我們的「學習下采樣」模塊相當於它們的空間路徑，因為它很淺，從全解析度學習，並用於特徵融合模塊（圖1）。
我們的全局特徵提取模塊相當於這種方法更深層的低解析度分支。相反，我們的全局特徵抽取器與學習下采樣模塊共享其前幾層的計算。通過共享層，我們不僅降低了特徵提取的計算復雜度，而且還降低了所需的輸入大小，因為FastSCNN使用1/8解析度而不是1/4解析度進行全局特徵提取。
3.3.2與編碼-解碼模型的關系
FastSCNN可以看做是諸如FCN[29]或U-Net[26]等編碼-解碼框架的特例。然而，與FCN中的多個跳連和U-Net中的密集跳連不同，FastSCNN只使用一個跳連來減少計算量和內存。
與[35]一致，他主張在DCNNs中只在前幾層共享特徵，我們將跳連放在網路的前幾層。和我們相反，現有的最先進技術都是在每個解析度下使用很深的模塊之後才使用跳連。
4.實驗
我們在Cityscapes數據集[6]上評估我們的方法，並且在測試集，也就是Cityscapes benchmark server上提交了它的性能。
4.1實現細節
我們用Python、Tensorflow上進行了實驗。我們實驗的工作站有有Nvidia Titan X(Maxwell)或Nvidia Titan Xp(Pascal)GPU、CUDA 9.0和CuDNN v7。運行時評估在單個CPU線程和一個GPU中執行，以測量前向推理時間。我們取100幀的平均耗時作為單幀耗時。
我們使用SGD(momentum=0.9)，批量大小是12。受[4,37,10]的啟發，我們使用「poly」學習率，其中基學習率為0.045，冪為0.9。與MobileNet-V2類似，我們發現L2正則化對深度卷積(depthwise convolution)不必要。其他的層，L2系數是0.00004。因為語義分割的訓練數據有限，我們使用了多種數據增強技術：隨機縮放(縮放率范圍是0.5到2)、平移/裁剪、水平翻轉、顏色通道雜訊和亮度變化。使用交叉熵損失訓練。我們發現學習結束時的輔助損失和0.4權值的全局特徵提取模塊是有益的。
批量歸一化在每個激活函數之前使用。Dropout只在最後一層，也就是softmax之前。與MobileNet[10]和ContextNet[21]相反，我們發現使用ReLU訓練得更快，而且精度比ReLU6稍高，即使整個模型都使用深度可分離卷積。
我們發現訓練更多的迭代次數可以提高性能。除非另有說明，我們使用Cityescapes數據集[6]用1000個epoch訓練我們的模型。值得注意的是，Fast-SCNN的容量故意非常低，只有1.11million個參數。後來我們發現有益的數據增強技術使得不太可能過度擬合。
4.2.在Cityscapes數據集上的評估
Cityscapes是最大的公開的城市道路數據集，包含從歐洲50個不同城市拍攝的高解析度圖像(1024×2048px)。它有5000個高質量標注的圖像，其中訓練集2975個，驗證集500個，測試集1525個。訓練集和驗證集的標注是公開的，測試集的結果可以在評估伺服器上進行評估。此外，20000個弱標注圖像（粗糙標簽）可用於訓練。我們在這兩者上都進行評估：高質量標注樣本和粗糙標注樣本。Cityscapes提供30個類別標簽，而只有19個類別用於評估。接下來我們報告模型的mIoU和推斷時間。下面報告聯合上的平均交集(mIoU)和網路推理時間。
我們在Cityscapes不公開的測試集上評估總體性能。我們所提的FastSCNN與其他最先進的實時語義分割方法（ContextNet[21]、BiSeNet[34]、GUN[17]、ENet[20]和ICNet[36]）和離線方法（PSPNet[37]和DeepLab-V2[4]）的比較如表4所示。FastSCNN達到68.0%mIoU，略低於BiSeNet(71.5%)和GUN(70.4%)。ContextNet在這里只達到66.1%。
表5比較了不同解析度下的推斷時間。在這里，BiSeNet(57.3 fps)和GUN(33.3 fps)明顯慢於FastSCNN(123.5 fps)。與ContextNet(41.9fps)相比，在Nvidia Titan X（Maxwell）上，FastSCNN的速度也明顯更快。因此，我們得出結論，FastSCNN顯著提高了最先進模型的速度，而只以輕微的精度降低為代價。FastSCNN為低內存嵌入設備而設計，使用1.11million個參數，比BiSeNet的5.8million個參數少5倍。
最後，我們將跳連的作用置零，來測試FastSCNN的性能。驗證集上，mIoU從69.22%降低到64.30%。圖3比較了定性結果。正如所料，跳連對FastSCNN是有益的，特別是在邊界和小尺寸物體周圍。
4.3 預訓練和弱標注數據
大容量的深度卷積網路，如R-CNN[7]和PSPNet[37]已經表明，通過不同的輔助任務，預訓練可以提高性能。由於我們的FastSCNN是低容量的，我們希望在使用預訓練和不使用預訓練的情況下分別測試性能。據我們所知，預訓練和弱標注數據對低容量模型的作用的重要性，還沒有被研究過。結果如表6所示。
我們在ImageNet[27]上預先訓練FastSCNN，用平均池化替換特徵融合模塊，分類模塊現在只有一個softmax層。FastSCNN在ImageNet的驗證集上達到60.71%的top-1精度和83.0%的top-5精度。這一結果表明，FastSCNN的容量不足以達到ImageNet上大多數標准DCNNs的性能（>70%top-1）[10,28]。使用ImageNet預訓練的Fast-SCNN在城市景觀驗證集上的准確率為69.15%mIoU，僅比沒有預訓練的FastSCNN提高0.53%。因此，我們得出結論，在FastSCNN中，使用ImageNet預訓練不能獲得顯著的提升。
由於Cityscapes數據集和ImageNet數據集之間的重疊是有限的，因此可以合理地假設，由於兩個領域的容量有限，FastSCNN可能不會受益。因此，我們現在合並了Cityscapes提供的20000張粗糙標記的附加圖像，因為這些圖像來自類似的領域。然而，使用粗糙標注數據訓練的FastSCNN（使用或不使用ImageNet預訓練）性能相似，僅在沒有預訓練的情況下略優於原始的FastSCNN。請注意，由於DCNNs的隨機初始化，微小的性能浮動是微不足道的。
我們表明，無論是ImageNet預訓練還是弱標記數據都對我們的低容量DCNN沒有顯著的好處。圖4顯示了訓練曲線。使用粗糙標注數據訓練的FastSCNN的迭代速度慢，因為標注的質量差。使用ImageNet預訓練的兩個模型在早期階段（對不用粗標注數據的模型是前400個epoch，對使用粗標注數據的模型是前100個epoch）表現的更好。帶有粗數據序列的快速SCNN迭代速度慢是標簽質量差的原因。ImageNet的兩個預訓練版本只在早期階段都表現得更好（單獨訓練集最多400個階段，使用附加的粗略標記數據訓練時為100個階段）。這意味著，當我們從頭訓練模型（也就是不使用預訓練）時，多訓練一些epoch就能達到和使用預訓練類似的精度。
4.4 更低的輸入解析度
我們評估下在1/2和1/4解析度下模型的性能（表7）。
1/4解析度下，模型精度51.9%，速度485.4fps，這比MiniNet（佚名）的40.7%mIoU、250fps好得多。在1/2解析度下，可達到具有競爭力的62.8%mIoU、285.8fps。我們強調，無需修改，快速SCNN直接適用於較低的輸入解析度，使其非常適合嵌入式設備。
5 結論
我們提出了FastSCNN用於實時語義分割。多分支結構的共享計算可以節省計算量提高速度。實驗表明跳連有利於恢復空間細節。如果訓練的epoch數足夠多，對低容量網路而言，大規模輔助任務預訓練沒必要。
❺ 關於雙網卡雙網路問題
兩種網路連接可以同時使用，但連接Internet的只有一個——後啟動的那個網路在工作，所以不能加快網速。
如果你的機器是網路伺服器，多網卡可同時工作，可以提高總訪問流量。
❻ 網路分支器怎麼設置
隨著信息時代的到來，越來越多的網路變成了無線網路，可以清楚的看到的是，現在的網路覆蓋面積變得越來越大，對於很多人來說網路的使用是日常生活中必須要做的一件事，在網路埠只有一個的時候，網路分配問題也產生了，對於怎樣去尋找網路的分配方法，今天小編就帶大家來看看網路分配器的設置。
網路分配器多個路由器設置方法：
網路分配器的設置方法有兩個，分別從不同的角度去解決網路分配問題。
方法一、設置2級路由
一、兩台路由器連接方法
1、有電信貓:電信貓----路由器1wan口;路由器1lan口----路由器2wan口;路由器2lan口----電腦。
2、沒有電信貓: 網線 ----路由器1wan口;路由器1lan口----路由器2wan口;路由器2lan口----電腦。
二、設置方法
設置前,請斷開這台路由器2wan口網線，等設置完成後在插上。
1、設置第2台路由器ip段。
①、lan口設置,如果你有多個路由器，而且是第二台路由器，為了避免沖突(路由器1lan口IP:192.168.1.1)，可以將此IP改為其它。比如修改為:192.168.2.1
在重啟路由器,進入路由器的地址是:192.168.2.1了。
2、設置第二台路由器上網方法。
①、查看第1台路由器下連接的電腦的ip詳細信息。(win-輸入,cmd--輸入:ipconfig /all [記住:ip，掩碼，網關，dns])
②、在第2台路由器上設置,在【設置向導】選擇【靜態ip】。輸入第1台路由器不用的ip，其他的：掩碼，網關，dns設置一樣。
③、設置好後重啟路由器。
方法二、路由器b做 交換機 使用。
1、路由器a正常設置。
2、路由器b設置方法：
①、首先要空出wan口，所有的接線都接在lan口上。
②、關閉路由b的dhcp服務。
③、修改路由b的lan口ip地址(不要與路由器a的網段相同即可)，修改IP為192.168。
對於很多人來說，能夠讓網路接入到自己的電子設備中就意味著可以看到越來越多的自己想要的信息了，在信息時代到來的時候，我們能夠在網路方面取得長足的進步當然也離不開人們對於技術的改革和開發，在不久的將來，更多的 高科 技產品會誕生，那時候現在分配器的一些弊端相信也能夠克服，在網速問題上應該不會再有什麼大的問題了。
❼ 如何使用tensorflow進行聯合訓練，即網路結構有分支，兩個loss
具體描述一下可以么。。。比如，數據-〉網路1-〉網路2-〉輸出，同時訓練兩個網路，還是說，兩個網路都是訓練好的，調用一下就好？？