如何用nas搜索自己的網路結構

❶ 我剛購買了鐵威馬NAS，如何在網路上查找NAS設備

為了幫助你找到鐵威馬NAS，你可以下載 TNAS PC 桌面應用程序，並通過在 Windows 或 MAC 電腦上運行TNAS PC來搜索TNAS，選中列表中顯示的TNAS，然後單擊「登錄」就可以了。需要注意的是：如果在 TNAS PC 上單擊「登錄」後，應用程序跳至 IE（Windows自帶的默認瀏覽器）Web瀏覽器，請從IE復制IP地址，然後嘗試使用其他最近版本的Web瀏覽器，由於 IE 的兼容性，你可能會在安裝過程中遇到問題。如果你偏好從 TNAS PC 登錄，請將Windows默認瀏覽器從 IE 更改為其他瀏覽器。

❷ 如何用電腦查看全網路架構

查看網路構架步驟如下：
1.右鍵「計算機」,選擇「屬性」,在左上角選擇「設備管理器」。
2.打開設備管理器。在其中選擇處理器。
3、上網查詢，即可得到該處理器的性質

❸ NAS網路存儲的結構

網路存儲技術（Network Storage Technologies）基於標准網路協議實現數據傳輸，為網路中的Windows
/ Linux / Mac OS 等各種不同操作系統的計算機提供文件共享和數據備份； 支持24小時不斷電BT、FTP、HTTP、eMule 及 NZB 下載；作為多媒體中心，為SONY PlayStation3/微軟Xbox / 蘋果 iPad iPhone/Android手機平板提供多媒體文件串流服務；為建設個人網站提供HTTP/FTP服務；支持蘋果iMac/Mac mini/Mac Pro/MacBook/Mac Air (包括黑蘋果)TimeMachine備份還原。。網路存儲結構大致分為三種：直連式存儲（DAS：Direct Attached Storage）、網路連接式存儲（NAS：Network Attached Storage）和存儲網路（SAN：Storage Area Network）。 NAS的優點
NAS 是一種採用直接與網路介質相連的特殊設備實現數據存儲的機制。由於這些設備都分配有 IP 地址，所以客戶機通過充當數據網關的伺服器可以對其進行存取訪問，甚至在某些情況下，不需要任何中間介質客戶機也可以直接訪問這些設備。
第一，NAS適用於那些需要通過網路將文件數據傳送到多台客戶機上的用戶。NAS設備在數據必須長距離傳送的環境中可以很好地發揮作用。
第二，NAS設備非常易於部署。可以使NAS主機、客戶機和其他設備廣泛分布在整個企業的網路環境中。NAS可以提供可靠的文件級數據整合，因為文件鎖定是由設備自身來處理的。
第三，NAS應用於高效的文件共享任務中，例如UNIX中的NFS和Windows NT中的CIFS，其中基於網路的文件級鎖定提供了高級並發訪問保護的功能。
NAS的主要應用
介紹NAS能夠滿足那些希望降低存儲成本但又無法承受SAN昂貴價格的中小企業的需求，具有相當好的性能價格比。究竟哪些行業可以使用到NAS設備呢？首先，看這個單位的核心業務是否建立在某種信息系統上，對數據的安全性要求很高；其次，看該信息系統是否已經有或者將會有海量的數據需要保存，並且對數據管理程度要求較高；最後，還可以判斷一下網路中是否有異構平台，或者以後會不會用到。如果上述有一個問題的答案是肯定的，那麼就有必要重點考慮使用NAS設備。
1.辦公自動化NAS解決方案
辦公自動化系統(OA)是政府機構和企業信息化建設的重點。現代企事業單位的管理和運作是離不開計算機和區域網的，企業在利用網路進行日常辦公管理和運作時，將產生日常辦公文件、圖紙文件、ERP等企業業務數據資料以及個人的許多文檔資料。傳統的內部區域網內一般都沒有文件伺服器，上述數據一般都存放在員工的電腦和伺服器上，沒有一個合適的設備作為其備份和存儲的應用。由於個人電腦的安全級別很低，員工的安全意識參差不齊，重要資料很容易被竊取、惡意破壞或者由於硬碟故障而丟失。
從對企事業單位數據存儲的分析中可以看出，要使整個企、事業單位內部的數據得到統一管理和安全應用，就必須有一個安全、性價比好、應用方便、管理簡單的物理介質來存儲和備份企業內部的數據資料。NAS網路存儲伺服器是一款特殊設計的文件存儲和備份的伺服器，它能夠將網路中的數據資料合理有效、安全地管理起來，並且可以作為備份設備將資料庫和其它的應用數據時時自動備份到NAS上。
2.稅務NAS解決方案
稅務行業需要的是集業務、信息、決策支持為一體的綜合系統。行業業務系統主要是稅收征管信息系統，還有稅務業務信息、通用業務信息等。整個系統將行政辦公信息、輔助決策信息與業務系統結合起來，組成一個通用的綜合系統平台，從而形成一個完整、集成、一體化的稅務業務管理系統。
稅務行業的業務數據資料、日常辦公文件資料及數據郵件系統非常重要，一旦數據資料丟失將會給日常工作和整個地區的稅收工作帶來麻煩。保證整個數據資料的安全運行及應用成為了稅務行業中一個必須解決的現實問題。解決這個問題的辦法，就是將這些數據資料存儲或備份到一個安全、快速、方便的應用環境中，以此來保證稅務行業數據的安全運行。
為合理解決數據業務資料備份和存儲的問題，可以使用一台NAS 網路存儲伺服器來存儲和備份業務數據資料以及日常辦公數據。在業務主機內，資料庫里的信息資料直接通過數據增量備份功能備份到NAS中。連同區域網內部的業務資料以及工作人員的日常辦公文件資料或是基於光碟的數據資料，都可以存儲到NAS伺服器上，以便工作人員隨時使用和瀏覽這些數據資料。使用NAS後，管理員能夠有效、合理地安排和管理其內部數據資料，使數據文件從其它網路機器上分離出來，實現數據資料的分散存儲，統一管理數據資料環境系統。
3.廣告NAS解決方案
廣告設計行業是集市場調研、行銷策略、創意生產、設計執行、後期製作和媒介發布為一體的綜合服務行業。
很多廣告公司的數據存儲模式比較落後，成本較高且效率低下，主要問題在於數據安全性差；整體數據量大以及原有大量陳舊的數據難以存儲管理；存在多操作系統平台，設備繁雜導致存放的數據難以共享和管理，造成效率低下；廣告設計人員的離職造成設計資料無辜丟失。採用NAS存儲和備份廣告設計行業網路中的業務數據資料，實現數據的集中存儲、備份、分析與共享，依據設計研究單位對不同數據的不同要求，充分利用現有數據，合理構建廣告設計行業的數據存儲平台，從而提高了信息資料的傳送速度，節省了時間，提高了工作效率。
4.教育NAS解決方案
自提出」校校通」工程後，各個學校都在積極建設自己的校園網，以便將來能及時適應信息時代的發展。隨著」校校通」工程逐步到位，」資源通」成為下一步信息化建設的重點，具體體現在學校需要大量的資源信息以滿足學生與教師的需求。隨著校園內數據資源不斷增加，需要存儲數據的物理介質具有大容量的存儲空間和安全性，並要有非常快的傳輸速率，確保整個數據資料的安全、快速存取。
2012年以後在校園網建設過程中偏重於網路系統的建設，在網路上配備了大量先進設備，但網路上的教學應用資源卻相對匱乏。原有的存儲模式在增加教學資源時會顯現很多弊病：由於學校傳統的網路應用中所有教育資源都存放在一台伺服器上，具有高性能與高擴展能力的伺服器成本較高；教學資源的訪問服務會與應用服務爭奪系統資源，造成系統服務效率的大幅下降；應用伺服器的系統故障將直接影響資源數據的安全性和可用性，給學校的教學工作帶來不便。
針對這些問題，可以引入NAS設備來實現集中存儲與備份。
（1）.NAS提供了一個高效、低成本的資源應用系統。由於NAS本身就是一套獨立的網路伺服器，可以靈活地布置在校園網路的任意網段上，提高了資源信息服務的效率和安全性，同時具有良好的可擴展性，且成本低廉。
（2）.提供靈活的個人磁碟空間服務。NAS可以為每個學生用戶創建個人的磁碟使用空間，方便師生查找和修改自己創建的數據資料。
（3）.提供數據在線備份的環境。NAS支持外接的磁帶機，它能有效地將數據從伺服器中傳送到外掛的磁帶機上，保證數據安全、快捷備份。
（4）.有效保護資源數據。NAS具有自動日誌功能，可自動記錄所有用戶的訪問信息。嵌入式的操作管理系統能夠保證系統永不崩潰，以保證連續的資源服務，並有效保護資源數據的安全。
5.醫療數據存儲NAS方案
醫院作為社會的醫療服務機構，病人的病例檔案資料管理是非常重要的。基於CT和X光的膠片要通過膠片數字化儀轉化為數字的信息存儲起來，以方便日後查找。這些片子的數據量非常大而且十分重要，對這些片子的安全存儲、管理數據與信息的快速訪問以及有效利用，是提高工作效率的重要因素，更是醫院信息化建設的重點問題。據調查，一所醫院一年的數據量將近400GB，這么大的數據量僅靠計算機存儲是勝任不了的，有的醫院會使用刻錄機將過去的數據圖片刻錄到光碟上進行存儲，但這種存儲解決方式比較費時，且工作效率不高。醫院需要一種容量大、安全性高、管理方便、數據查詢快捷的物理介質來安全、有效地存儲和管理這些數據。使用NAS解決方案可以將醫院放射科內的這些數字化圖片安全、方便、有效地存儲和管理起來，從而縮短了數據存儲、查找的時間，提高了工作效率。
6.製造業NAS解決方案
對於製造業來說，各種市場數據、客戶數據、交易歷史數據、社會綜合數據都是公司至關重要的資產，是企業運行的命脈。在企業數據電子化的基礎上，保護企業的關鍵數據並加以合理利用已成為企業成功的關鍵因素。因此，對製造行業的各種數據進行集中存儲、管理與備份，依據企業對不同數據的不同要求，從而合理構建企業數據存儲平台。採用NAS的存儲方式是比較適合的，可以實現數據的集中存儲、備份、分析與共享，並在此基礎上充分利用現有數據，以適應市場需求，提高自身競爭力。
綜上所述，在數據管理方面，NAS具有很大優勢，在某些數據膨脹較快、對數據安全要求較高、異構平台應用的網路環境中更能充分體現其價值。另外，NAS的性能價格比極高，廣泛適合從中小企業到大中型企業的各種應用環境。
7.NAS的影樓存儲解決方案
NAS數據保護存儲方案，為數據提供有效保障，可對重復數據進行刪除、壓縮以優化存儲空間，最高可有效節省80%的存儲空間，並且可以通過NAS特有的RAID機制，對硬碟進行有效的保障。NAS支持多電腦及終端設備共享，無論存取，都可以方便使用。設置不同的使用許可權，即可以方便用戶查看，也可以防止數據丟失;性價比高，影樓配置鐵威馬F4-NAS增強版的NAS存儲器，另加4塊4T的企業級硬碟，一套下來總價不到一萬元，是用伺服器存儲成本的十分之一不到，安全方便，實惠高效。 SAN 是指存儲設備相互連接且與一台伺服器或一個伺服器群相連的網路。其中的伺服器用作 SAN 的接入點。在有些配置中，SAN 也與網路相連。SAN 中將特殊交換機當作連接設備。它們看起來很像常規的乙太網絡交換機，是 SAN 中的連通點。SAN 使得在各自網路上實現相互通信成為可能，同時並帶來了很多有利條件。
網路存儲通信中使用到的相關技術和協議包括 SCSI 、RAID 、iSCSI 以及光纖信道。一直以來 SCSI 支持高速、可靠的數據存儲。RAID（獨立磁碟冗餘陣列）指的是一組標准，提供改進的性能和/或磁碟容錯能力。光纖信道是一種提供存儲設備相互連接的技術，支持高速通信（將來可以達到 10Gbps ）。與傳統存儲技術，如 SCSI 相比，光纖信道也支持較遠距離的設備相互連接。iSCSI 技術支持通過 IP 網路實現存儲設備間雙向的數據傳輸。其實質是使 SCSI 連接中的數據連續化。通過 iSCSI，網路存儲器可以應用於包含 IP 的任何位置。而作為 Internet 的主要元素，IP 幾乎無所不在。

❹ ENAS：首個權值共享的神經網路搜索方法，千倍加速 | ICML 2018

論文: Efficient Neural Architecture Search via Parameter Sharing

  神經網路結構搜索(NAS)目前在圖像分類的模型結構設計上有很大的成果，但十分耗時，主要花在搜索到的網路(child model)的訓練。論文的主要工作是提出 Efficient Neural Architecture Search (ENAS)，強制所有的child model進行權重共享，避免從零開始訓練，從而達到提高效率的目的。雖然不同的模型使用不同的權重，但從遷移學習和多任務學習的研究結果來看，將當前任務的模型A學習到的參數應用於別的任務的模型B是可行的。從實驗看來，不僅共享參數是可行的，而且能帶來很強的表現，實驗僅用單張1080Ti，相對與NAS有1000x倍加速

  NAS的搜索結果可以看作是大圖中的子圖，可以用單向無環圖(DAG)來表示搜索空間，每個搜索的結構可以認為是圖2的DAG一個子網。ENAS定義的DAG為所有子網的疊加，其中每個節點的每種計算類型都有自己的參數，當特定的計算方法激活時，參數才使用。因此，ENAS的設計允許子網進行參數共享，下面會介紹具體細節

  為了設計循環單元(recurrent cell)，採用 節點的DAG，節點代表計算類型，邊代表信息流向，ENAS的controller也是RNN，主要定義：1) 激活的邊 2) 每個節點的計算類型。在NAS(Zoph 2017)，循環單元的搜索空間在預先定義結構的拓撲結構(二叉樹)上，僅學習每個節點的計算類型，而NAS則同時學習拓撲結構和計算類型，更靈活

  為了創建循環單元，the controller RNN首先採樣 個block的結果，取 ， 為當前單元輸入信息(例如word embedding)， 為前一個time step的隱藏層輸出，具體步驟如下：

  注意到每對節點( )都有獨立的參數 ，根據選擇的索引決定使用哪個參數，因此，ENAS的所有循環單元能同一個共享參數集合。論文的搜索空間包含指數數量的配置，假設有N個節點和4種激活函數，則共有 種配置

  ENAS的controller為100個隱藏單元的LSTM，通過softmax分類器以自回歸(autoregressive fashion)的方式進行選擇的決定，上一個step的輸出作為下一個step的輸入embedding，controller的第一個step則接受空embedding輸入。學習的參數主要有controller LSTM的參數 和子網的共享權重 ，ENAS的訓練分兩個交叉的階段，第一階段在完整的訓練集上進行共享權重 學習，第二階段訓練controller LSTM的參數

  固定controller的策略 ，然後進行 進行隨機梯度下降(SGD)來最小化交叉熵損失函數的期望 ， 為模型 在mini-batch上的交叉熵損失，模型 從 采樣而來

  梯度的計算如公式1， 上從 采樣來的，集合所有模型的梯度進行更新。公式1是梯度的無偏估計，但有一個很高的方差（跟NAS一樣，采樣的模型性能差異），而論文發現，當 時，訓練的效果還行

  固定 然後更新策略參數 ，目標是最大化期望獎勵 ，使用Adam優化器，梯度計算使用Williams的REINFORCE方法，加上指數滑動平均來降低方差， 的計算在獨立的驗證集上進行，整體基本跟Zoph的NAS一樣

  訓練好的ENAS進行新模型構造，首先從訓練的策略 采樣幾個新的結構，對於每個采樣的模型，計算其在驗證集的minibatch上的准確率，取准確率最高的模型進行從零開始的重新訓練，可以對所有采樣的網路進行從零訓練，但是論文的方法准確率差不多，經濟效益更大

  對於創建卷積網路，the controller每個decision block進行兩個決定，這些決定構成卷積網路的一層：

  做 次選擇產生 層的網路，共 種網路，在實驗中，L取12

  NASNet提出設計小的模塊，然後堆疊成完整的網路，主要設計convolutional cell和rection cell

  使用ENAS生成convolutional cell，構建B節點的DAG來代表單元內的計算，其中node 1和node 2代表單元輸入，為完整網路中前兩個單元的輸出，剩餘的 個節點，預測兩個選擇：1) 選擇兩個之前的節點作為當前節點輸入 2) 選擇用於兩個輸入的計算類型，共5種運算元：identity, separable convolution with kernel size 3 × 3 and 5 × 5, and average pooling and max pooling with kernel size 3×3，然後將運算元結果相加。對於 ，搜索過程如下:

  對於rection cell，可以同樣地使用上面的搜索空間生成: 1) 如圖5采樣一個計算圖 2) 將所有計算的stride改為2。這樣rection cell就能將輸入縮小為1/2，controller共預測 blocks
  最後計算下搜索空間的復雜度，對於node i ，troller選擇前 個節點中的兩個，然後選擇五種運算元的兩種，共 種坑的單元。因為兩種單元是獨立的，所以搜索空間的大小最終為 ，對於 ，大約 種網路

  節點的計算做了一點修改，增加highway connections，例如 修改為 ，其中 ， 為elementwise乘法。搜索到的結果如圖6所示，有意思的是：1) 激活方法全部為tanh或ReLU 2) 結構可能為局部最優，隨機替換節點的激活函數都會造成大幅的性能下降 3) 搜索的輸出是6個node的平均，與mixture of contexts(MoC)類似

  單1080Ti訓練了10小時，Penn Treebank上的結果如表1所示，PPL越低則性能越好，可以看到ENAS不準復雜度低，參數量也很少

  表2的第一塊為最好的分類網路DenseNet的結構，第二塊為ENAS設計整個卷積網路的結果(感覺這里不應有micro search space)，第三塊為設計單元的結果

  全網路搜索的最優結構如圖7所示，達到4.23%錯誤率，比NAS的效果要好，大概單卡搜索7小時，相對NAS有50000x倍加速

  單元搜索的結構如圖8所示，單卡搜索11.5小時， ，錯誤率為3.54%，加上CutOut增強後比NASNet要好。論文發現ENAS搜索的結構都是局部最優的，修改都會帶來性能的降低，而ENAS不採樣多個網路進行訓練，這個給NAS帶來很大性能的提升

 

  NAS是自動設計網路結構的重要方法，但需要耗費巨大的資源，導致不能廣泛地應用，而論文提出的 Efficient Neural Architecture Search (ENAS)，在搜索時對子網的參數進行共享，相對於NAS有超過1000x倍加速，單卡搜索不到半天，而且性能並沒有降低，十分值得參考

 
 
 

❺ 群暉NAS 連接到光纖貓上面 怎麼被路由器搜索到網路位置

理論上能實現，但是前提太多，非網路技術人員我說了你也讀不懂，而且那麼多前提你的設備並非工業級別應該不具備，即便具備了，不懂路由配置你也沒法實現。所以得用別的方案：

房間1裡面的千兆路由器別當路由器用，當交換機用（或者乾脆買個交換機沒多錢），用網線將Lan口直接連接到百兆路由器（我猜你的光纖貓是唯一接外網的，這是前提）的Lan口，這樣就保證了在拓補結構上所有電腦都在百兆交路由器之下包括NAS，這樣就既保證了所有電腦都接受百兆路由器統一分配IP使所有電腦在同一個網段上當然就可以訪問NAS，也保證了所有電腦通過光纖貓上外網。

❻ 如何查詢自己的網路結構，急！！！

1、區域網的機器，可以用區域網掃描工具，掃描
2、經過的路由可以用 tracert 命令來得知
交換機不好測試了，因為交換機只轉發數據，軟體測試基本行不通，方法是查找先前的網路結構資料，找不到的話只能實地查看網路連接。

❼ 知識蒸餾綜述:網路結構搜索應用

【GiantPandaCV導語】知識蒸餾將教師網路中的知識遷移到學生網路，而NAS中天然的存在大量的網路，使用KD有助於提升超網整體性能。兩者結合出現了許多工作，本文收集了部分代表性工作，並進行總結。

知識蒸餾可以看做教師網路通過提供soft label的方式將知識傳遞到學生網路中，可以被視為一種更高級的label smooth方法。soft label與hard label相比具有以下優點：

那麼知識蒸餾在網路結構搜索中有什麼作用呢？總結如下：

知識蒸餾在很多工作中作為訓練技巧來使用，比如OFA中使用漸進收縮訓練策略，使用最大的網路指導小網路的學習，採用inplace distillation進行蒸餾。BigNAS中則使用三明治法則，讓最大的網路指導剩下網路的蒸餾。

目標：解決教師網路和學生網路的匹配問題（知識蒸餾中教師網路和學生網路匹配的情況下效果更好）。

在知識蒸餾中，選擇不同的教師網路、不同的學生網路的情況下，最終學生網路的性能千差萬別。如果學生網路和教師網路的容量相差過多，會導致學生難以學習的情況。Cream這篇文章就是為了解決兩者匹配問題。

普通的SPOS方法如左圖所示，通過采樣單路徑子網路進行訓練。右圖則是結合了知識蒸餾的方法，Cream提出了兩個模塊：

Cream中心思想是，子網路可以在整個訓練過程中協作學習並相互教導，目的是提高單個模型的收斂性。

消融實驗如下：

目標：通過教師引導各個block特徵層的學習，根據loss大小評判各子網的性能。

這是一篇將NAS和KD融合的非常深的一個工作，被CVPR20接收。之前寫過一篇文章進行講解，這里簡單回顧一下。

DNA是兩階段的one-shot NAS方法，因此其引入蒸餾也是為了取代普通的acc指標，提出了使用子網路與教師網路接近程度作為衡量子網性能的指標。

在訓練的過程中，進行了分塊蒸餾，學生網路某一層的輸入來自教師網路上一層的輸出，並強制學生網路這一層的輸出與教師網路輸出一致（使用MSELoss)。在搜索過程結束後，通過計算各子網路與教師網路的接近程度來衡量子網路。

目標：通過改進KL divergence防止學生over estimate或者under estimate教師網路。

上圖展示了OFA,BigNAS等搜索演算法中常用到的蒸餾方法，子網使用的是KL divergence進行衡量，文中分析了KL 散度存在的局限性：即避零性以及零強制性。如下公式所示，p是教師的邏輯層輸出，q是學生邏輯層輸出。

AlphaNet提出了一個新的散度衡量損失函數，防止出現過估計或者低估的問題。如下所示，引入了 。

其中 不為0或者1，這樣如下圖所示：

藍色線對應example 2表示，當 為負值，如果q過估計了p中的不確定性， 的值會變大。

紫色線對應example 1表示，當 為正數，如果q低估了p中的不確定性， 的值會變大

同時考慮兩種情況，取兩者中最大值作為散度：

目標：提出了衡量學生網路和教師網路 內部激活相似度 衡量指標，通過表徵匹配可以用來加速網路結構搜索。

這部分其實是屬於知識蒸餾分類中基於關系的知識，構建的知識由不同樣本之間的互作用構成。

具體的指標構成如上圖所示，是一個bsxbs大小的矩陣，這個在文中被稱為Representational Dissmilarity Matrix，其功能是構建了激活層內部的表徵，可以通過評估RDM的相似度通過計算上三角矩陣的關系系數，比如皮爾遜系數。

該文章實際上也是構建了一個指標P+TG來衡量子網的性能，挑選出最優子網路。

如上圖所示，RDM的計算是通過衡量教師網路的feature以及學生網路的feature的相似度，並選擇選取其中最高的RDM相似度。通過構建了一組指標，隨著epoch的進行，排序一致性很快就可以提高。

目標：固定教師網路，搜索最合適的學生網路。

對於相同的教師網路來說，不同的架構的學生網路，即便具有相同的flops或者參數，其泛化能力也有所區別。在這個工作中選擇固定教師網路，通過網路搜索的方法找到最優的學生網路，使用L1 Norm優化基礎上，選擇出與教師網路KL散度差距最小的學生網路。

目標：在給定教師網路情況下，搜索最合適的學生網路。

神經網路中的知識不僅蘊含於參數，還受到網路結構影響。KD普遍方法是將教師網路知識提煉到學生網路中，本文提出了一種架構感知的知識蒸餾方法Architecture-Aware KD （AKD），能夠找到最合適提煉給特定教師模型的學生網路。

Motivation: 先做了一組實驗，發現不同的教師網路會傾向於不同的學生網路，因此在NAS中，使用不同的教師網路會導致模型傾向於選擇不同的網路結構。

AKD做法是選擇使用強化學習的方法指導搜索過程， 使用的是ENAS那種通過RNN采樣的方法。

目標：從集成的教師網路中學習，並使用NAS調整學生網路模型的容量。NAS+KD+集成。

這篇文章之前也進行了講解，是網路結構搜索，知識蒸餾，模型集成的大雜燴。

詳見： https://blog.csdn.net/DD_PP_JJ/article/details/121268840

這篇文章比較有意思，使用上一步中得到的多個子網路進行集成，可以得到教師網路，然後使用知識蒸餾的方法來引導新的子網路的學習。關注重點在於：

AdaNAS受Born Again Network（BAN）啟發, 提出Adaptive Knowledge Distillation（AKD)的方法以輔助子網路的訓練。

集成模型選擇 ：

從左到右代表四次迭代，每個迭代中從搜索空間中選擇三個模型。綠色線框出的模型代表每個迭代中最優的模型，AdaNAS選擇將每個迭代中最優subnet作為集成的對象。

最終集成的時候還添加了額外的weight參數w1-w4：

最終輸出邏輯層如下所示：（這個w權重也會被訓練，此時各個集成網路的權重是固定的，只優化w）

Knowledge Distillation

目標：解決知識蒸餾的效率和有效性，通過使用特徵聚合來引導教師網路與學生網路的學習，網路結構搜索則是體現在特徵聚合的過程，使用了類似darts的方法進行自適應調整放縮系數。ECCV20

文章總結了幾種蒸餾範式：

最後一種是本文提出的方法，普通的特徵蒸餾都是每個block的最後feature map進行互相蒸餾，本文認為可以讓教師網路的整個block都引導學生網路。

具體如何將教師網路整個block中所有feature map進行聚合，本文使用的是darts的方法進行動態聚合信息。(a) 圖展示的是對group i進行的可微分搜索過程。(b)表示從教師到學生的路徑loss構建，使用的是CE loss。(c)表示從學生到教師網路的路徑loss構建，使用的是L2 Loss。其中connector實際上是一個1x1 卷積層。

（ps: connector讓人想到VID這個工作）

❽ 網路架構搜索

        作為計算智能方法的代表，起源於上個世紀四十年代的人工神經網路經歷了五六十年代的繁榮，七十年代的低潮，八十年代的再次復甦，到近十年的廣泛關注，如今已經成為理論日趨完善，應用逐步發展的前沿方向。Hinton 等人2006 年在《Science》上發表的文章引發了深度神經網路研究的熱潮。面對大數據的諸多挑戰，以深度信念網路、卷積神經網路和遞歸神經網路為代表的深度神經網路模型在很多應用領域展示出明顯的優勢和潛力，特別是隨著數據量和數據維數的增加，深度學習的優勢愈加突出。例如，Google 藉助深度學習開發的AlphaGo 能從海量的對弈中學習正確的決策，微軟語音識別採用深度學習使識別錯誤率顯著降低，網路基於深度學習開發的機器人「小度」在跨年齡人臉識別上超越了人類。

       經過多年的研究和發展，基於人工神經網路的識別方法也逐漸取代傳統的模式識別方法。神經網路已成為當前比較先進的技術，用來解決許多具有挑戰性的識別任務如文字識別、語音識別、指紋識別、遙感圖像識別、人臉識別、手寫體字元的識別等。其中主流的神經網路模型有卷積網路和遞歸神經網路，卷積神經網路由 Yann LeCun 在 1998 年提出，自從 AlexNe 在 2012 年的 ImageNet 比賽中使用了這一架構拔得頭籌，卷積神經網路迅速流行起來並廣泛應用到視覺任務。如今，最先進的卷積神經網路演算法在進行圖像識別時，甚至可以超過人類肉眼識別的准確率。遞歸神經網路網路提出於 1990 年，被視為循環神經網路的推廣，遞歸神經網路可以引入門控機制以學習長距離依賴，適用於包含結構關系的機器學習任務，在序列識別方面有重要應用。

        深度神經網路和深度學習演算法因為在科研工作與工程任務中都取得了顯著的效果從而大受歡迎。它取代了傳統的手動提取特徵方法，夠端到端地自動提取和學習特徵。而其中取得顯著成功的深度神經網路通常是由於它們成功的架構設計，研究的工作重心從提取特徵轉移到了尋找最優架構上。通常來說，模型的容量越大網路的性能就越好，能夠擬合任意函數。因此為了提升網路性能，網路結構被設計的越來越復雜。例如，VGG-16 約有1.4億浮點數參數，整個網路佔用超過500兆存儲空間，需要153億次浮點操作來處理一個$224\times224$大小的圖像。雖然更深的網路層次和復雜的拓撲結構能夠更有效地學習特徵，但是網路規模的增大意味著人工設計網路時需要花費更多時間來反復試驗，即使是專家也需要大量的資源和時間來創建性能良好的模型。

        神經網路架構搜索(NAS)是一種自動化學習網路結構的新方法，用於減少繁重的網路設計成本。目前為止，NAS方法設計的網路在識別任務上的表現已經超過了人工設計的架構。NAS可以視作自動機器學習（AutoML）的子領域，與超參數優化和元學習有明顯的重疊。不同的NAS方法的區別主要在於三個維度：搜索空間、搜索策略和性能評估，我們對此分別進行了調研。

        搜索空間：搜索空間定義了網路的所有可選結構和操作，通常指數級大，甚至無界。在設計搜索空間時結合先驗知識，即參考現有的針對當前任務的先進結構設計知識，能夠有效減小搜索空間並簡化搜索。但這也會引入偏好，從而限制網路學習到超越當前人類知識的結構。

        搜索策略：定義搜索空間後，搜索策略引導尋找高性能的模型架構，其中的難點是保證探索和利用的平衡。一方面，希望快速找到性能良好的架構，另一方面，需要避免過早收斂到次優的架構。

        性能評估：NSA的目的是找到一個在未知數據上具有良好泛化性能的架構，一旦模型生成，就需要對其性能進行評估。直觀的方法是在訓練集上訓練收斂，並在驗證集上得到其性能，但是這種方法會耗費巨大的算力，從而限制了可探索的網路結構。一些先進的方法關注於減小性能評估時的計算代價，但會引入誤差。因此，平衡評價的效率和效果是一個需要研究的問題。

       從計算的角度來看，神經網路代表了一個通過一系列操作將輸入變數 x 轉換為輸出變數 y 的函數。基於計算圖語言，神經網路可以表示為一個有向無環圖(DAG)，其中每個節點表示一個張量 z ，通過邊連接其父節點 I(k)，每條邊表示從候選操作集O中選擇的一個操作 o 。節點 k 的計算公式為：

        其中候選操作集合$O$主要包括卷積、池化、激活函數、跳躍連接、拼接、加法等基本操作。此外，為了進一步提高模型的性能，一些先進的人工設計模塊也可以作為候選操作，如深度可分離卷積、膨脹卷積、組卷積。基於操作的類型可以選擇不同的超參數，例如輸入節點選取、卷積核數量、尺寸、步長等。不同的搜索空間設計，選擇和組合操作的方法也不同所以參數化的形式也不一樣。一般來說，一個好的搜索空間應該能夠排除人類的偏見，並且足夠靈活，能夠覆蓋更廣泛的模型架構。

        全局搜索空間搜索一個完整的網路結構，具有很高的自由度。最簡單的例子是鏈式搜索空間，見圖1左。固定的數量的節點按順序堆疊，只有前一個節點的輸出提供給後一個節點作為輸入，每個節點代表一個層，並具有指定的操作。右圖引入更復雜的跳躍鏈接和多支路結構，此時當前節點可以結合前面所有節點的輸出作為輸入，使得搜索的自由度顯著增大。許多網路都是多分支網路的特例，比如

1）鏈式網路： ；

2）殘差網路： ；

3）DenseNets：

        雖然整體結構搜索很容易實現，但它也有一些缺點。首先，搜索空間的大小與網路深度是指數級關系，尋找泛化性能好的深度網路計算成本高。此外，生成的架構缺乏可遷移性和靈活性，在小型數據集上生成的模型可能不適合較大的數據集。有研究提出，初始架構的選擇在搜索全局結構時十分重要。在適當的初始條件下，可以獲得與單元搜索空間性能相當的架構，但是初始架構選擇的指導原則仍然不明確。

        基於單元的搜索空間受啟發於人工設計知識，許多有效的網路結構都會重復使用固定結構，例如在RNNs中重復LSTM塊或堆疊殘差模塊。因此可以只搜索這樣的重復單元(cells)，整個神經結構的搜索問題被簡化為在單元搜索空間中搜索最優的單元結構，從而極大的減小搜索空間。大多數研究對比了基於全局搜索空間和單元搜索空間的實驗結果，證明在基於單元的搜索空間中可以獲得良好的性能。單元搜索空間的另一個優勢是能方便地在數據集和任務之間進行泛化，因為通過增減卷積核和單元的數量，架構的復雜性幾乎可以任意改變。

        NASNet是最早提出的單元搜索空間之一，也是當前最熱門的選擇，之後的大部分改進只是在此基礎上對操作選擇和單元組合策略進行了少量修改。如圖2所示，它由兩種單元組成，分別為保持輸入特徵維度的標准單元(normal cell)，和減小空間維度的簡化單元(rection cell)。每個單元由b個塊組成，每個塊由它的兩個輸入和相應的操作定義。可選的輸入包括前兩個單元的輸出和單元中先前定義的塊的輸出，所以它支持跨單元的跳躍連接。未使用的塊被連接起來並作為單元格的輸出，最終通過預定義好的規則級聯這些單元。

        不同於上面將單元結構按照人工定義的宏結構進行連接，層次結構是將前一步驟生成的單元結構作為下一步單元結構的基本組成部件，通過迭代的思想得到最終的網路結構。Hier提出的層次搜索空間，通過合並低層單元生成高級單元實現單元級別和網路級別的同時優化。此方法具體分為3層。第一層包含一系列的基礎操作；第二層通過有向無環圖連接第一層的基礎操作，構建不同的單元，圖結構用鄰接矩陣編碼；第三層是網路級的編碼，決定如何連接第二層的單元，組合成一個完整的網路。基於單元的搜索空間可以看作是這種層次搜索空間的一個特殊情況。

        強化學習方法（RL）能夠有效建模一個順序決策的過程，其中代理與環境相互作用，代理學會改善其行為從而使目標回報最大化。（圖3）給出了一個基於強化的NAS演算法的概述。代理通常是一個遞歸神經網路(RNN)，它在每一步t執行一個動作 來從搜索空間采樣一個新的樣本，同時接收狀態 的觀察值和環境中的獎勵 ，以更新代理的采樣策略。這種方法非常適合於神經結構搜索，代理的行為是生成神經結構，行為空間是搜索空間，環境是指對代理生成的網路進行訓練和評估，獎勵是訓練後的網路結構對未知數據的預測性能，在最後一個行為之後獲得。

4.2進化演算法

        進化演算法（EA）是一種成熟的全局優化方法，具有較高的魯棒性和廣泛的適用性。許多研究使用進化演算法來優化神經網路結構。進化演算法演化了一組模型，即一組網路；在每個世代中，至少從這組模型中選擇一個模型，作為親本在突變後作為生成子代。在對子代進行訓練之後，評估它們的適應度並將它們添加到種群中。

        典型的進化演算法包括選擇、交叉、變異和更新等步驟。選擇時一般使用聯賽選擇演算法對父類進行采樣，其中適應性最好的一個作為親本。Lemonade對適應度使用核密度估計，使網路被選擇的概率與密度成反比。交叉方式因編碼方案的不同而不同。突變針對的是親本的部分操作，例如添加或移除層，改變層的超參數，添加跳躍連接，以及改變訓練超參數。對於產生的後代，大多數方法隨機初始化子網路權重，而Lemonade把父網路學習到的權重通過使用網路態射傳遞給其子網路。Real等人讓後代繼承其父母的所有不受突變影響的參數，雖然這種繼承不是嚴格意義上的功能保留，它可以加速學習。生成新的網路的同時需要從種群中移除一些個體。Real等人從群體中移除最差的個體，AmoebaNet移除最老的個體。也有一些方法定期丟棄所有個體，或者完全不移除個體。EENA通過一個變數調節最壞模型和最老模型的刪除概率。

        基於代理模型的優化方法(SMBO)用一個代理模型來近似目標函數。即不需要訓練采樣到的網路結構，只需要訓練一個代理模型，使用代理模型預測網路的性能。通常在實踐中只需要得到架構的性能排序，而不一定要計算出具體的損失值，因此代理模型只需要預測相對得分並選出有前途的候選架構。然後只對預測性能好的架構進行評估，用它們的驗證精度更新代理模型，這樣只需要完全訓練少量候選架構，大大減少搜索時間。代理模型通常訓練為最小化平方誤差：

        貝葉斯優化（BO）是用於超參數優化的最流行的方法之一。最經典的是基於高斯過程的BO，生成的神經結構的驗證結果可以建模為高斯過程，然而，基於高斯的BO方法在觀察次數上的推理時間尺度是立方的，並且不擅長處理變長神經網路。有些工作使用基於樹或者隨機森林的方法來在非常高維的空間中高效的搜索，並且在很多問題上取得了優異的效果。Negrinho利用其搜索空間的樹形結構，並使用蒙特卡洛樹搜索。雖然沒有完整的比較，但初步的證據表明這些方法可以超越進化演算法。

        上面的搜索策略搜是從一個離散的搜索空間提取神經結構樣本。DARTS提出搜索空間的連續鬆弛，在連續可微的搜索空間上搜索神經架構如圖4所示，並使用如下softmax函數來鬆弛離散空間:

 

鬆弛後，架構搜索的任務轉化為網路架構與神經權值的聯合優化。這兩類參數分別在訓練集和驗證集上交替優化，表示為一個雙層優化問題。

        為了對搜索過程進行引導，必須對產生的神經網路性能進行評估。一種直觀的方法是訓練網路至收斂，然後評估其性能。但是，這種方法需要大量的時間和計算資源。因此提出了幾種加速模型評估的方法。

        為了減少計算負擔，可以用實際性能的低質近似來估測性能。實現方法包括: 縮短訓練時間、選擇數據集的子集、在低解析度的圖像上訓練、每層使用更少的通道數、堆疊更少的單元結構。在低質條件下搜索到的最優網路或單元，構建出最終結構在數據集上重新訓練，得到目標網路。雖然這些低精度的近似能夠減少訓練花費，但性能被低估的同時不可避免地引入了誤差。最近的研究表明，當這種低質評價與完全評價之間的差異較大時，網路性能的相對排名可能變化很大，並強調這種誤差會逐漸增加。

        早停技術最初用於防止過擬合。一些研究通過在訓練初期預測網路性能，在驗證集上預計表現不佳的模型被強制停止訓練，以此來加速模型評估。一種在早期估計網路性能的方法是學習曲線外推法。Domhan 等提出訓練初期對學習曲線進行插值，並終止那些預測性能不好的網路結構的訓練。Swersky等在評估學習曲線的好壞時，把網路架構的超參數作為參考因素。另一種方法根據梯度的局部統計信息實現早期停止，它不再依賴驗證集，允許優化器充分利用所有的訓練數據。

        代理模型可以被訓練用預測網路性能。PNAS提出訓練一個代理網路（LSTM）來預測網路結構的性能，他不考慮學習曲線而是基於結構的特點來預測性能，並在訓練時推斷更大的網路結構。SemiNAS是一種半監督NAS方法，利用大量的未標記架構進一步提高搜索效率。不需要在對模型進行訓練，只使用代理模型來預測模型精度。預測網路性能的主要難點是：為加快搜索過程，需要在對較大的搜索空間進行較少的評估的基礎上進行良好的預測。當優化空間過大且難以量化，且對每個結構的評估成本極高時，基於代理的方法就不適用。

        代理模型還可以用來預測網路權重。超網路（Hypernetworks）是一種神經網路，被訓練來為各種架構生成網路權值。超網路在搜索過程中節省了候選體系結構的訓練時間，因為它們的權值是通過超網路的預測得到的。Zhang等人提出了一種計算圖表示，並使用圖超網路(GHN)比常規超網路(SMASH)更快更准確地預測所有可能架構的權值。

        權重繼承是讓新網路結構繼承之前訓練完成的其他網路結構的權值。其中一種方法是網路態射，一般的網路設計方法是首先設計出一個網路結構，然後訓練它並在驗證集上查看它的性能表現，如果表現較差，則重新設計一個網路。可以很明顯地發現這種設計方法會做很多無用功，因此耗費大量時間。而基於網路態射結構方法能夠在原有的網路結構基礎上做修改，修改後的網路可以重用之前訓練好的權重。其特殊的變換方式能夠保證新的網路結構還原成原網路，因此子網路的表現至少不會差於原網路，並且能在較短的訓練時間內繼續成長為一個更健壯的網路。具體地，網路射態能夠處理任意非線性激活函數，可以添加跳躍連接，並且支持添加層或通道得到更深或更寬的等效模型。經典的網路態射只能使網路變大，這可能導致網路過於復雜，之後提出的近似網路態射通過知識蒸餾允許網路結構減小。進化演算法經常使用基於網路態射的變異，或者直接讓孩子繼承親本的權重，再執行一般變異操作，這樣產生的網路具有一個更好的初始值，而不用重頭開始訓練。

❾ NAS 新方法：用 Petridish 自動搜索最佳神經網路結構

更多信息請查看原文：https://www.yanxishe.com/TextTranslation/2358?from=jianshu0318

神經架構搜索（NAS）是現代深度學習技術中最熱門的趨勢之一。從概念上講，NAS方法專注於為給定問題和數據集找到合適的神經網路體系結構。可以將其視為使機器學習架構本身成為機器學習問題。近年來，NAS技術的數量激增，正在侵入主流的深度學習框架和平台。但是，第一代NAS模型在將經過一個域測試的神經網路改編為另一個域時遇到了許多挑戰。因此，尋找新的NAS技術可能會繼續推動該領域的新創新。最近， Microsoft Research推出了Petridish ，這是一種NAS演算法，用於優化神經網路體系結構的選擇。

之所以存在NAS，是因為設計神經網路的過程非常消耗資源。在當前的深度學習生態系統中，依賴於知名的，性能最高的網路，在您的數據集看起來可能與之前已證明的網路所遇到的一切完全不同的空間中，提供的保證很少。在許多情況下，NAS方法通常需要數百個GPU天才能找到好的架構，並且幾乎比隨機搜索更好。機器學習中還有一個類似於NAS技術挑戰的問題：特徵選擇。

就像NAS方法一樣，特徵選擇演算法需要為給定特定數據集的模型提取相關特徵。顯然，選擇特徵比神經網路體系結構要簡單得多，但是特徵選擇技術的許多原理為Petridish團隊提供了靈感。

NAS簡史

鑒於NAS方法最近很流行，許多人可能認為NAS是一門新興學科。毫無疑問，自2016年以來，NAS經歷了復興， 谷歌發表了有關強化學習的著名NAS論文 。但是，其許多起源可以追溯到1980年代後期。 NAS最早的論文之一是1988年的「 用於識別問題的自組織神經網路 」。從那裡開始，這個領域看到了一些出版物，概述了有趣的技術，但是直到Google推動NAS引起了主流機器學習社區的關注。如果您對NAS方法的發布歷史感興趣， AutoML Freiburg-Hannover網站 將提供迄今為止最完整的匯編之一。

NAS的兩種類型：前向搜索與後向搜索

探索NAS空間時，有兩種基本類型的技術：向後搜索和正向搜索。向後搜索方法是實現NAS方法的最常用方法。從概念上講，向後搜索NAS方法從一個超級圖開始，該圖是所有可能架構的結合，並學會通過梯度下降或強化學習逐步降低不必要的邊緣的權重。盡管此類方法極大地減少了NAS的搜索時間，但它們在首先需要創建人名圖需要人員領域知識的情況下具有主要局限性。

前向搜索NAS方法試圖將神經網路體系結構從小型擴展到大型。這種方法類似於深度學習模型中特徵選擇演算法的許多原理。與後向方法不同，前向方法不需要預先指定有限的搜索空間，因此在從現有模型中進行熱啟動以及進行終生學習時，前向方法更加通用並且更易於使用。

培養皿

Petridish是一種前向搜索NAS方法，受特徵選擇和梯度增強技術的啟發。該演算法的工作原理是創建一個模型庫以供選擇，作為其搜索輸出，然後合並停止前進和停止梯度層以更有效地識別用於構建該畫廊的有益候選者，並使用非同步訓練。

Petridish演算法可以分為三個基本階段：

階段0：Petridish從某些父模型開始，這是一個很小的人為編寫的具有一到兩層的模型，或者是領域專家已經在數據集中找到的模型。

階段1：Petridish使用停止梯度層和停止向前層將候選層連接到父模型，並對其進行部分訓練。候選層可以是搜索空間中的任何操作包。使用停止梯度層和停止向前層可以在不影響模型的正向激活和反向梯度的情況下累積相對於候選對象的梯度。如果沒有停止梯度層和停止向前層，將很難確定哪些候選層對父模型的性能有所貢獻，並且如果您想查看它們各自的貢獻，則會需要單獨的培訓，從而增加了成本。

階段2：如果發現某個特定候選者或一組候選者對該模型有利，那麼我們將移除停止梯度和停止前進層以及其他候選者，並訓練模型收斂。訓練結果被添加到散點圖中，自然而然地產生了帕累托邊界的估計。

帕累托邊界的合並是對Petridish的有趣補充，它使研究人員可以更輕松地確定實現特定任務最佳性能組合的體系結構。 帕累托邊界的估計使我們更容易看到准確性，FLOPS，內存，延遲和其他條件之間的折衷。 在下圖中，沿著Pareto邊界（紅線）的模型構成了搜索輸出，這是一個模型庫，研究人員和工程師可以從中選擇。

Microsoft Research在不同的NAS基準測試中評估了Petridish。 具體而言，使用CIFAR-10數據集對Petridish進行了圖像分類模型測試，然後將結果傳輸到ImageNet。 在CIFAR-10上，Petridish的平均測試錯誤率為2.75±0.21％，最佳結果為2.51％，僅在流行的單元格搜索空間上使用3.2M參數和5天的GPU搜索時間即可獲得最佳測試結果。 將CIFAR-10上找到的模型轉移到ImageNet時，Petridish僅在宏搜索空間上使用4.3M參數即可達到28.7±0.15％的top-1測試錯誤，最佳結果為28.5％。 初始測試能夠勝過現有的NAS方法，同時保持可行的計算成本水平。

Petridish是NAS技術快速發展的生態系統中有趣的補充。 Petridis依賴於前向搜索模型這一事實使它更加引人入勝，因為大多數流行的NAS方法都依賴於向後搜索技術。 微軟已經將NAS模型作為其Azure ML平台的一部分，因此有趣的是Petridish成為了該堆棧的一部分。

❿ NAS網路存儲的整體結構

1、網路附屬存儲（NAS）包括核心處理器，文件服務管理工具，一個或者多個的硬碟驅動器。
2、 NAS在一個LAN上佔有自己的節點。
3、 NAS設備包括存儲器件（例如磁碟陣列、CD/DVD驅動器、磁帶驅動器 或可移動的存儲介質）和集成在一起的簡易伺服器(功能伺服器)，可用於實現涉及文件存取及管理的所有功能。