Ⅰ pytorch筆記五-nn的網路層介紹(卷積層、池化層、激活函數、全連接層等)
深入解析PyTorch網路層：從卷積到全連接
卷積運算的核心在於卷積核與輸入信號的交互，通過滑動卷積核，計算對應位置的乘積和，從而提取圖像中的特定特徵。卷積核，作為模式識別的工具，可以捕捉不同尺寸的特徵，包括一維、二維和三維。
通過動圖演示不同維度卷積操作，直觀理解卷積核如何在輸入信號上滑動。
nn.Conv2d模塊用於對二維信號進行二維卷積，關鍵參數包括輸入通道數、輸出通道數、卷積核尺寸、步長、填充和孔洞卷積等。解釋各參數的作用，如步長影響滑動速度，填充用於維持輸入和輸出尺寸的匹配。
轉置卷積用於上采樣操作，將較小的輸入圖像通過卷積轉換為較大的輸出圖像。解釋轉置卷積與正常卷積的矩陣乘法關系，並通過示例演示轉置卷積的實現過程。
池化層通過最大值或平均值操作對輸入信號進行壓縮，減少尺寸的同時保留關鍵信息。介紹最大池化和平均池化函數的參數和使用方法，以及池化層的作用。
解釋反池化操作，通過最大值池化的索引值將小尺寸圖像恢復到原大小，使用nn.MaxUnpool2d模塊實現。
線性層實現對輸入信號的線性變換，其計算公式為y=xW^T+bias，其中W表示權重矩陣，b為偏置。使用nn.Linear模塊對向量進行線性組合。
激活函數為神經網路引入非線性，增強模型的表示能力。介紹常用的激活函數如sigmoid、tanh和ReLU，並解釋其作用和優勢。
綜上所述，PyTorch的網路層涵蓋了卷積、池化、線性變換和激活函數，這些組件共同構建深度學習模型，通過不同層的組合，實現復雜問題的解決。
Ⅱ nnUNet論文解析
nnUnet論文解析，雖非最新，卻有卓越成果，它並未革新網路結構，而是通過技巧的巧妙運用，實現了分割任務的統一，並在多個任務中取得了優異成績，體現了作者深厚的技術底蘊。
在分割任務領域，unet問世以來的幾年間，網路結構上的突破乏善可陳，過擬合風險隨結構復雜度增加而增大。作者認為，提升空間更多地在於理解數據，採用適合醫學數據的預處理與訓練方法。
本文旨在通過深入研究nnUnet論文，提煉出其中的訓練方法與技巧，與大家分享。
論文摘要概述了nnUnet作為基於2D UNet和3D UNet的自適應框架，通過與當前STOA方法的比較，無需手動調整參數，最終在所有任務上取得最高平均dice值的特性。
論文介紹部分提出了當前醫學圖像分割由CNN主導，但需針對不同任務設計特定結構和參數調整，導致方法在某任務上優秀而在其他任務上不理想的問題。Medical Segmentation Decathlon計劃旨在通過統一演算法，使其在多種數據集上表現良好，且演算法自動適應，不進行人為調整。
作者認為，過多的網路結構調整易導致特定數據集的過擬合，而非網路結構因素對分割任務影響更大。為此，提出nnUNet框架，基於原始UNet（略有修改），不採用諸如殘差連接、密集連接、注意力機制等復雜結構，而側重於預處理、訓練、推理與後處理。
方法部分介紹了基礎版UNet，包括2D UNet、3D UNet和UNet級聯，並詳細說明了微小修改（如ReLU替換為leaky ReLU，Batch Norm替換為Instance Norm）以及網路拓撲自適應策略。默認參數設置涉及crop-size、batch-size、base-channel等，強調整體數據Crop與Resample策略，並解釋UNet Cascade採用的特殊Resample規則。
論文深入探討了Normalization、從頭訓練、數據增廣、學習率調整與訓練停止條件等關鍵訓練參數，並指出在特定情況下應用2D數據增廣的建議。對於推理階段，強調了基於patch的方法，包括邊界精度損失處理、像素融合權重設置、stride、test-time-augmentations集成與模型集成。
總結部分指出，nnUnet通過使用單一UNet結構，成功解決了一段時間內的網路結構創新問題，強調結構之外的因素（如預處理、訓練與推理策略）更為關鍵。nnUnet的廣泛使用證明了其效果，引發對深度學習領域研究方向的思考，即可能需要更多關注數據理解而非復雜的網路結構。
論文解析揭示了nnUnet的成功秘訣在於其對數據處理、訓練方法與推理策略的優化，而非新的網路架構創新，這一發現對當前深度學習領域的研究具有重要啟示作用。
Ⅲ mm和nn是什麼意思
網路詞彙mm就是「妹妹」或者「美眉」的意思，是取自這兩個詞的首寫字母縮寫。此詞的縮寫最早出現在BBS上，當時因為電腦的儲存空間和網路傳輸帶寬極其有限而出現了很多漢字片語的縮寫，在當時甚至發表帖子都盡量使用半形的標點符號來節省空間。
網路語nn是奶奶的意思，也是取字奶奶的拼音的首寫字母。
網路語言有兩種含義：
一是指跟互聯網及計算機技術與應用有關的術語和詞彙。
二是人們利用計算機互聯網媒介進行交際與表達活動時所使用的語言。
總結：網路語是伴隨著網路的發展而新興的一種有別於傳統平面媒介的語言形式。其以簡潔生動的形式甫一誕生就得到了廣大網友的喜愛，發展得很神速。