㈠ BEGAN邊界平衡生成對抗網路
解決問題： GAN訓練模型較為困難
做法： BEGAN並沒有直接去估計生成分布 pg 和真實分布 px 的距離，而是估計兩者分布誤差的距離。
分布之間的誤差分布相近的話，也可以認為 pg 和 px 是相近的。
BEGAN 將判別器 G 設計成自編碼器用來重構分布誤差，並優化分
布誤差之間的距離，如下式：
BEGAN 提出一種均衡概念，用以平衡 G 和 D 的訓練，使 GAN 即使使用很簡單的網路，不加如 BN、minibath 等訓練技巧也能得到很好的訓練效果。
同時還提出了一種能夠在樣本多樣性和樣本質量上均衡的超參數以及衡量模型收斂性的方法。
實驗中發現 BEGAN 收斂很快，並且 G 和 D 訓練平衡，但超參數的選取比較考驗經驗。
1.使得GAN具有快速而穩定的收斂的標准訓練過程。
2.引入均衡概念，均衡鑒別器和發生器的功率。
3.提供控制圖像多樣性和視覺質量之間權衡的新方法
4.收斂的近似度量
使用自動編碼器作為鑒別器，使用從瓦瑟斯坦距離（類似於我先前提到的KL散度，具有正定性，對稱性，三角不等式特性）導出的損失來匹配自動編碼器損失分布。
L:R^Nx->R+訓練像素式自動編碼器的 1.損失函數：
BEGAN中提出了一種思路，它使用了自動編碼器做為判別器 D，它所做的是盡可能地匹配誤差的分布而不是直接匹配樣本的分布，如果誤差的分布之間足夠的接近，那麼真實的樣本之間的分布也會足夠的接近。
D:自動編碼器功能
n：是目標標准
v:是Nx維度的樣例
u1,2是自動編碼器損失函數的兩個分布
Γ(u1，u2)是1和2的所有組合的集合
m1,2∈R是他們各自的平均值
瓦瑟斯坦距離為：
其中x1和x2是從
利用詹森不等式，可以導出W1(u1,u2)的下界：
目標是優化自動編碼器損失分布之間的瓦瑟斯坦距離的下限，而不是樣本分布之間的下限。
設計鑒頻器，使自動編碼器損耗之間的等式1最大化。
設u1為損失L(x)的分布，其中x為實樣本。
設u2為損失L(G(z))的分布
其中G : RNz →RNx為生成函數
z∈[-1，1]Nz為維數Nz的均勻隨機樣本
由於m1，m2 ∈R+到達最大化| m1-m2 |只有兩種可能的解決方案：
選擇解決方案(b)作為我們的目標，因為最小化m1自然會導致對真實圖像的自動編碼。
給定鑒別器和發生器參數θD和θG
每個參數都通過最小化損耗LD和LG來更新
將問題表示為GAN目標，其中zD和zG是z的樣本:
在BEGAN中G和D對應的損失函數：
2.引入平衡：
當產生器和鑒別器損失之間保持平衡，滿足情況：
生成的樣本不能被鑒別器從真實樣本中區分出來，那麼它們的 誤差分布包括預期誤差應該是相同的 ，使得其均衡。
γ引入來平衡D既可以對真實圖像自動編碼，又可以正確的判別輸入的樣本。γ很小時，說明分母部分值很大，那麼此時模型專注於識別的正確率，則出現G只生成可以騙過D的圖像
鑒別器有兩個相互競爭的目標:
1.自動編碼真實圖像和從生成的圖像中鑒別真實圖像。
2.γ項讓我們平衡這兩個目標。
較低的γ值導致較低的圖像多樣性 ，因為鑒別器更側重於自動編碼真實圖像。
將γ稱為分集比。有一個自然的邊界，圖像清晰，有細節。
對於θD和θG和每一訓練步t,來說的目標
γ∈[0,1]是一個超參數，值越小代表生成的樣本多樣性越低
λk是 kt + 1 的更新步長，kt表示對D判別能力的重視度
採用比例控制理論來維持平衡
這是使用一個變數kt ∈[0，1]來實現的，以控制在梯度下降過程中對L(G(zD))的重視程度。
我們初始化k0 = 0.λk是k的比例增益；
在機器學習術語中，它是k的學習率。
我們在實驗中使用了0.001。
本質上，這可以被認為是閉環反饋控制的一種形式，其中kt在每一步被調整以保持等式4。
在早期訓練階段，G傾向於為自動編碼器生成易於重建的數據，因為生成的數據接近於0，並且還沒有準確地了解真實的數據分布。
這時L(X)>L(G(z))
與需要交替訓練 D 和 G 或預訓練 D 的傳統訓練相比，BEGAN提出的方法開始不需要穩定訓練。
Adam在訓練中使用默認的超參數
θD 和 θG 基於各自的損失通過獨立的Adam優化器獨立更新。
我們通常使用 n = 16 的批量。
3.全局收斂度量:
確定 GANs 的收斂性通常是一項困難的任務，因為最初的公式被定義為零和博弈。
結果，一個虧損上升，另一個虧損下降。
我們通過使用 平衡概念 導出了 收斂的全局度量 :我們可以將收斂過程框架為找到比例控制演算法（控制裝置輸出信號與輸人信號間呈線性關系的控製作用數學表示法）|γL(x)-L(G(Zg))|的 瞬時過程誤差絕對值最小的最近重構L(x) 。這一衡量標准由兩項和:
該度量可用於確定網路何時達到其 最終狀態 或 模型是否已崩潰 也即是模型是否收斂。
4.模型架構
鑒別器： R Nx->R Nx是一個卷積深度神經網路,其架構為自動編碼器。
Nx = H × W × C 是x 尺寸的簡寫
其中 H、 W、 C 是高度、寬度和顏色。
我們使用自動編碼器和深度編碼器和解碼器。目的是盡可能簡單，以避免典型的GAN詭計。
結構如圖 1 所示。我們使用了 3 × 3 的卷積，在它們的輸出端應用了指數線性單位。
每層重復多次(通常為 2 次)。我們觀察到，重復次數越多，視覺效果越好。
卷積濾波器隨著每次下采樣線性增加。
下采樣作為步長為 2 的子采樣實現，上采樣由最近鄰完成。
在編碼器和解碼器之間的邊界處，經過處理的數據的張量通過完全連接的層被映射到嵌入狀態 h ∈RNh 和從嵌入狀態 h∈ RNh 來，其中 Nh 是自動編碼器的隱藏狀態的維度，而沒有任何非線性。
生成器 G : RNz → RNx 使用與鑒別器解碼器相同的架構(雖然權重不同)。
但為了簡化。輸入狀態為均勻采樣的 z∈ [-1， 1]Nz。
這個簡單的架構實現了高質量的結果，並展示了技術的健壯性。
此外，可選的細化有助於梯度傳播，並產生更清晰的圖像。受深度殘差網路[8]的啟發，使用消失殘差初始化網路:對於連續的相同大小的層，層的輸入與其輸出相結合:inx+1 =carry×inx+(1 carry)×outx。
在實驗中，我們從進位= 1 開始，經過 16000 步
逐漸減少到 0。
我們還引入了跳躍連接[8， 17， 9]來幫助梯度傳播。第一解碼器張量 h0 是通過將 h 投影到 8 × 8 × n 張量而獲得的。在每個上采樣步驟之後，輸出與上采樣到相同維數的 h0 連接。
這在隱藏狀態和解碼器的每個連續上采樣層之間創建了跳躍連接。
我們沒有探索 GANs 中通常使用的其他技術，如批量歸一化、缺失、轉置卷積或卷積濾波器的指數增長，盡管它們可能會進一步改進這些結果
5.通過實驗來理解
變 γ 的值時，模型生成結果的多樣性和質量對比效果如下所示，從中可以看出
γ值越小，生成的圖像越清晰，也更接近；
γ值越大，多樣性提高了，但是圖像的質量同樣也下降了
BEGAN的空間連續性與其他GAN相比表現更優異：
伴隨著模型收斂，圖像質量也在不斷提升
總之：BEGAN針對 GAN 訓練難易度難、控制生成樣本多樣性難、平衡鑒別器和生成器收斂難等問題，做出了很大的改善。
參考論文：Berthelot D, Schumm T, Metz L. BEGAN: boundary equilibrium generative adversarial networks[J]. arXiv:1703.10717,
2017
㈡ 生成式對抗網路GAN（一）
上面這張圖很好的很好的闡述了生成式對抗網路的結構~~ 博弈論
此圖給出了生成性對抗網路的概述。目前最重要的是要理解GAN是使兩個網路協同工作的一種方式 - 而Generator和Discriminator都有自己的架構。為了更好地理解這個想法的來源，我們需要回憶一些基本的代數並問自己 - 我們怎麼能欺騙一個比大多數人更好地分類圖像的神經網路？
在我們詳細描述GAN之前，讓我們看一下類似的主題。給定一個訓練有素的分類器，我們可以生成一個欺騙網路的樣本嗎？如果我們這樣做，它會是什麼樣子？
事實證明，我們可以。
甚至更多 - 對於幾乎任何給定的圖像分類器，可以將圖像變換為另一個圖像，這將被高度置信地錯誤分類，同時在視覺上與原始圖像無法區分！這種過程稱為對抗性攻擊，生成方法的簡單性解釋了很多關於GAN的內容。
精心計算的示例中的對抗性示例，其目的是錯誤分類。以下是此過程的說明。左邊的熊貓與右邊的熊貓無法區分 - 但它被歸類為長臂猿。
圖像分類器本質上是高維空間中的復雜決策邊界。當然，在對圖像進行分類時，我們無法繪制這個邊界。但我們可以安全地假設，當訓練結束時，網路並不是針對所有圖像進行推廣的 - 僅針對我們在訓練集中的那些圖像。這種概括可能不是現實生活的良好近似。換句話說，它適用於我們的數據 - 我們將利用它。
讓我們開始為圖像添加隨機雜訊並使其非常接近零。我們可以通過控制雜訊的L2范數來實現這一點。數學符號不應該讓您擔心 - 出於所有實際目的，您可以將L2范數視為向量的長度。這里的訣竅是你在圖像中擁有的像素越多 - 它的平均L2范數就越大。因此，如果雜訊的范數足夠低，您可以預期它在視覺上難以察覺，而損壞的圖像將遠離矢量空間中的原始圖像。
為什麼？
好吧，如果HxW圖像是矢量，那麼我們添加到它的HxW雜訊也是矢量。原始圖像具有相當密集的各種顏色 - 這增加了L2規范。另一方面，雜訊是一組視覺上混亂的相當蒼白的像素 - 一個小范數的矢量。最後，我們將它們添加到一起，為損壞的圖像獲取新的矢量，這與原始圖像相對接近 - 但卻錯誤分類！
現在，如果原始類 Dog 的決策邊界不是那麼遠（就L2范數而言），這種加性雜訊將新圖像置於決策邊界之外。
您不需要成為世界級拓撲學家來理解某些類別的流形或決策邊界。由於每個圖像只是高維空間中的矢量，因此在其上訓練的分類器將「所有猴子」定義為「由隱藏參數描述的該高維斑點中的所有圖像矢量」。我們將該blob稱為該類的決策邊界。
好的，所以，你說我們可以通過添加隨機雜訊輕松欺騙網路。它與生成新圖像有什麼關系？
現在我們假設有兩個結構模型，相當於兩個神經網路：
這是關於判別網路D和生成網路G的價值函數（Value Function），訓練網路D使得最大概率地分對訓練樣本的標簽（最大化log D(x)），訓練網路G最小化log(1 – D(G(z)))，即最大化D的損失。訓練過程中固定一方，更新另一個網路的參數，交替迭代，使得對方的錯誤最大化，最終，G 能估測出樣本數據的分布。生成模型G隱式地定義了一個概率分布Pg，我們希望Pg 收斂到數據真實分布Pdata。論文證明了這個極小化極大博弈當且僅當Pg = Pdata時存在最優解，即達到納什均衡，此時生成模型G恢復了訓練數據的分布，判別模型D的准確率等於50%。
接著上面最後一個問題：怎麼才能生成我指定的圖像呢？
指定標簽去訓練
顧名思義就是把標簽也帶進公式，得到有條件的公式：
具體怎麼讓CGAN更好的優化，這里不解釋，就是平常的優化網路了。
參考文章：
本文大部分翻譯此外文
通俗易懂
小博客的總結
唐宇迪大神
㈢ 鐢熸垚瀵規姉緗戠粶鈥斺擥AN鍘熺悊涓庝唬鐮
鎻紺虹敓鎴愬規姉緗戠粶鐨勫ゥ縐橈細GAN鍘熺悊涓庡疄鎴樹唬鐮佽В鏋
鍦2014騫寸殑縐戠爺鐣岋紝Ian Goodfellow鐨勬澃浣溾斺旂敓鎴愬規姉緗戠粶錛圙AN錛夋í絀哄嚭涓栵紝闈╂柊浜嗗浘鍍忕敓鎴愮瓑棰嗗煙鐨勬妧鏈杈圭晫銆侴AN鐨勬牳蹇冨湪浜庢瀯寤轟竴涓鍙岄泟瀵瑰紙鐨勬嗘灦錛岀敱鏃犵洃鐫ｇ殑鐢熸垚鍣℅鍜岀洃鐫ｇ殑鍒ゅ埆鍣―鑱旀墜錛岀洰鏍囨槸閫氳繃瀵規姉鎬х殑瀛︿範鎻愬崌鐢熸垚鏁版嵁鐨勯肩湡搴︺傚叾宸у欑殑鎹熷け鍑芥暟璁捐℃棬鍦ㄨ╁垽鍒鍣―綺懼噯鍖哄垎鐪熶吉錛岃岀敓鎴愬櫒G鍒欏姫鍔涗嬌鑷韜鐢熸垚鐨勬暟鎹鍒嗗竷閫艱繎鐪熷疄涓栫晫銆
娣卞害鍓栨瀽GAN鐨勫唴蹇冧笘鐣岋細
GAN鐨勮緇冭繃紼嬬姽濡備竴鍦虹瓥鐣ユ父鎴忥紝閫氳繃涓ゆヨ蛋絳栫暐浼樺寲銆傞栧厛錛屼繚鎸佺敓鎴愬櫒G涓嶅彉錛屾渶澶у寲鍒ゅ埆鍣―鐨勬ц兘錛岄氳繃璁＄畻鐪熷疄鏍鋒湰涓庣敓鎴愭牱鏈鐨勪氦鍙夌喌宸鍊兼潵琛￠噺D鐨勫尯鍒嗗姏銆傛帴鐫錛屽滻瀹氬垽鍒鍣―錛岃╃敓鎴愬櫒G璋冩暣鍙傛暟錛屼互鏈熺敓鎴愮殑鏁版嵁鑳介獥榪嘍錛屽嵆璁〥瀵笹鐢熸垚鐨勬牱鏈鍒ゆ柇涓虹湡銆傝繖涓榪囩▼涓鐨勭敓鎴愬櫒鎹熷けV錛屽疄璐ㄤ笂鏄閽堝笵璇鍒や負鍋囩殑鐢熸垚鏍鋒湰鐨勪氦鍙夌喌銆
鍦≒yTorch鐨勭ず渚嬩腑錛孧NIST鏁版嵁闆嗕負璁緇冩彁渚涗簡鑸炲彴錛孏enerator鍜孌iscriminator妯″瀷閲囩敤LeakyReLU銆丩inear鍜孴anh絳夋妧鏈錛屽閥濡欏湴澶勭悊256緇磋緭鍏ワ紝浠ヤ究浜庡湪GPU絳夐珮鎬ц兘璁懼囦笂榪愯屻
浼樺寲絳栫暐涓庢妧鏈緇嗚妭錛
鍏抽敭鍦ㄤ簬閫夋嫨Adam浼樺寲鍣ㄥ拰BCELoss浣滀負鎹熷け鍑芥暟錛岃緇冭繃紼嬪垎涓轟袱涓姝ラわ細鍏堝滻瀹欴錛屾洿鏂癎錛岀劧鍚庡弽榪囨潵銆傛瘡杞榪浠ｄ腑錛屽厛璇勪及D瀵圭湡瀹炴暟鎹鍜岀敓鎴愭暟鎹鐨勫垽鏂錛屽啀渚濇′紭鍖朌鍜孏錛岀『淇濅俊鎮鐨勬祦鐣呬紶閫掋
鐒惰岋紝GAN騫墮潪涓甯嗛庨『銆侸S鏁ｅ害鐨勮＄畻闂棰橈紝鐗瑰埆鏄鍦ㄨ緇冨垵鏈燂紝鐢變簬闅忔満鎬у彲鑳藉艱嚧鏁版嵁宸璺濊繃澶э紝JS鏁ｅ害鍊兼亽涓簂og2錛岃繖鍦ㄥ弽鍚戜紶鎾涓浼氬艱嚧姊搴︽秷澶憋紝闃葷嶇敓鎴愬櫒鍙傛暟鐨勬湁鏁堟洿鏂般
闈㈠規寫鎴樹笌鍒涙柊瑙ｅ喅鏂規堬細
涓鴻В鍐寵繖涓闂棰橈紝GAN鐨勫彉縐嶅侺SGAN鍜學GAN搴旇繍鑰岀敓銆侺SGAN閫氳繃璋冩暣鎹熷け鍑芥暟鐨勫艦寮忥紝鍑忓皯瀵歸噸鍙犲垎甯冪殑渚濊禆錛屽噺杞諱簡姊搴︽秷澶辯殑褰卞搷銆傝學GAN鍒欏紩鍏ヤ簡涓嶅悓鐨勮窛紱誨害閲忥紝濡俉asserstein璺濈伙紝浠ュ疄鐜版洿紼沖畾涓旈珮鏁堢殑璁緇冭繃紼嬨
鎬葷殑鏉ヨ達紝GAN鐨勪笘鐣屽厖婊′簡鎸戞垬涓庡壋鏂幫紝姣忎竴涓緇嗚妭閮藉叧涔庣敓鎴愭暟鎹鐨勭湡瀹炴у拰妯″瀷鐨勭ǔ瀹氭с傛繁鍏ョ悊瑙ｅ苟鎺屾彙榪欎簺鍘熺悊鍜屾妧宸э紝鏃犵枒灝嗘帹鍔ㄦ垜浠鍦ㄨ繖鍦虹敓鎴愯壓鏈鐨勭珵璧涗腑涓嶆柇鍓嶈屻
㈣ LSGAN:最小二乘生成對抗網路
解決問題： 解決傳統 GAN 生成圖片質量不高，訓練不穩定的問題。
做法： 將傳統 GAN 的 交叉熵損失函數 換成 最小二乘損失函數
本篇主要通過GAN對比來學習LSGAN
通過例子介紹：
使用 位於決策邊界正確側 但仍然 遠離真實數據的假樣本 更新生成器時，交叉熵損失函數將導致梯度消失的問題。
如圖 (b)所示，當我們使用 假樣本 (品紅色)通過使鑒別器相信它們來自真實數據來更新生成器時，它 幾乎不會引起錯誤 ，因為它們在正確的一側，既決策邊界的真實數據面。
然而，這些樣本 仍然離真實數據很遠 ，我們想把它們拉得接近真實數據。
問題總結：在交叉熵損失函數情況下，判別器判定真實面的假數據距離真實數據較遠，效果不足。
基於這一觀察，我們提出了最小二乘生成對抗網路，它採用 最小二乘損失函數作為鑒別器 。
最小二乘損失函數能夠 將偽樣本移向決策邊界 ，
因為最小二乘損失函數會 懲罰位於決策邊界正確一側很遠的樣本 。
如圖 (c)所示，最小二乘損失函數將懲罰假樣本(品紅色)，並 將它們拉向決策邊界 ，使它們被正確分類。
基於這一特性，最小二乘能夠生成更接近真實數據的樣本
總結概括
最小二乘： 最小二乘損失與交叉熵損失相比，優勢在於生成樣本在欺騙判別器的前提下同時讓生成器把 距離決策邊界比較遠 的生成圖片拉向 決策邊界 ，這樣保證了生成高質量的樣本。
交叉熵： 以交叉熵作為損失，會使得生成器 不會再優化那些被判別器識別為真實圖片的生成圖片 ，即使這些生成圖片距離判別器的決策邊界仍然很遠，也就是距離真實數據比較遠，因為此時的交叉熵損失已經很小，生成器完成了為它設計的目標。
LSGAN的缺陷： 在於它並 沒有解決當判別器足夠優秀時生成器發生梯度彌散的問題
梯度彌散: 使用反向傳播演算法傳播梯度的時候，隨著傳播深度的增加， 梯度的幅度會急劇減小，會導致淺層神經元的權重更新非常緩慢 ，不能有效學習。
這樣一來，深層模型也就變成了前幾層相對固定，只能改變最後幾層的淺層模型。
GANs 的損失函數：
LSGANs的損失函數：
最小二乘
公式注釋：
鑒別器 D
生成器 G
G 的目標是學習數據 x 上的分布 pg。
G 服從均勻或高斯分布 pz(z)對輸入變數 z 進行采樣開始，然後將輸入變數 z 映射到數據空間 G(z； θg)。
D 是分類器 D(x； θd)，其目的是識別圖像是來自訓練數據還是來自g。
z 為噪音，它可以服從歸一化或者高斯分布，為真實數據 x 服從的概率分布，為 z 服從的概率分布。為期望值，同為期望值。
假設我們對鑒別器使用 a-b 編碼方案 ，其中a 和b 分別是假數據和真實數據的標簽。
c 表示 G 預測的D 相信的假數據的值。
最小二乘法的具體優點：
1.決策邊界固定（鑒別器參數固定），生成樣本靠近決策邊界，更接近真實數據。
2.懲罰遠離決策邊界的樣本時，可以在更新生成器時生成更多的梯度，這反過來緩解了梯度消失的問題（梯度消失：前面隱藏層的學習速率低於後面隱藏層的學習速率，即隨著隱藏層數目的增加，分類准確率反而下降）
GAN中：最小化等式 1 產生最小化詹森-香農散度:
LSGAN：探討LSGAN與f散度的關系
公式解釋：（下文關於a-b編碼證明a,b,c條件）
將
加入到
並不會改變最佳值，因為並沒有引入含有G的參數
從而我們可以推出G固定情況下的最佳鑒別器：
使用 pd 來表示 pdata，來重新表示4式
此處不詳細證明
化簡為：
如果： b-c = 1， b-a = 2，則
是皮爾遜散度，總之可證，當 a,b,c滿足b-c = 1 和 b-a = 2的條件，則最小化等式 4 會使 pd + pg 和 2pg 之間的皮爾遜 χ2 散度最小化。
採用 a-b編碼方案：
由上述證明可設a = 1， b = 1， c = 0
採用 0-1二進制編碼方案 ：
兩式接近，但此處，論文作者採用a-b編碼方式，來實現實驗：
帶上其中一個實驗：
參考論文：Mao X D, Li Q, Xie H R, et al. Least squares generative
adversarial networks[C]//Proceedings of the 2017 IEEE
International Conference on Computer Vision, Venice, Oct
22- 29, 2017. Washington: IEEE Computer Society, 2017:
2813-2821.