什麼是神經網路注意力

Ⅰ 目前主流的attention方法都有哪些

首先是Object Recognition。是因為模型結合了CNN，RNN 和 Reinforcement Learning，來解決問題。並且在其上對它進行很大程度了改進，並引入了weakly supervised的因素；然後是Image Caption。Xu在ICML上的 Show, Attend and Tell: Neural Image Caption Generation with Visual Attention可謂應用Attetion來解image caption的經典。再是NLP中的MachinTranslation. 前面的工作都是用時序地進行Attention來關注一幅圖像的不同位置區域。類比sequence問題，也就順理成章地用在Machine Translation上了。劃重點來說attention機制聽起來高達上，其實就是學出一個權重分布，再拿這個權重分布施加在原來的特徵之上，就可以叫attention。當然這個加權可以是保留所有分量均做加權（即soft attention）；也可以是在分布中以某種采樣策略選取部分分量（即hard attention）。

Ⅱ 意識、感知和注意力，這三者之間有怎樣的關系呢

感知(perception)的出現不需要意識(consciousness)存在。簡單形容是，你的眼睛"看見"了，但你"看不到"。人腦（主要是對應各個感覺的初級皮層）可以因感知到刺激物而變得活躍，但這樣的感知可以是自動的、無意識的，也就是不被人所察覺的。但由於大腦皮層的活躍，無意識的感知影響人未來短時間內的相關行為。這方面的研究比較成熟，主要手段是priming,masking，知覺負載（Perceptualload）影響你能有意識感知到（consciouslyperceive）的范圍。人只有在低知覺負載（low load)的情況下會意識到注意力以外的內容。在高知覺負載（high load)的情況下，也就是需要應付的任務比較難、環境復雜的條件下，人的意識僅限於注意力導向的范圍。主要見Lavie的perceptualloadtheory和相關實驗，注意力(attention)可以獨立於意識(consciousness)存在，也同時說明單單注意力自身不足以實現意識。這方面的證據來源於在人沒有產生意識的情況下，注意力仍然能夠單獨運作。

比如說（盲視）的病人，因為大腦初級視覺皮層（V1）受損，視覺信號無法傳遞，他們「看不到」任何東西（無意識），但當一個他們表示「看不到」的提示出現，將他們的注意力導到一個地點，他們能更迅速地對那個地點的目標作出反應。人「看不見」的信息可以吸引並引導注意力。Jiangetal.(2006)的實驗非常好玩，總所周知，色情圖片會吸引人注意力，於是他們把一堆情色裸照渲染到人看不清、意識不到圖片內容是什麼的程度（被試回答不出圖片內容）。但就算人們看不見，當裸照在左邊閃了一下時，人對接下來出現在左邊的目標反應就加快了速度，表示他們的注意力事先被吸引到了左邊，普通照片則沒產生這個效果。更好玩的是「看不見」的裸女的照片只吸引直男的注意力，對gay男和異性戀女性無效。在異性戀者當中，只有異性的「看不見」的裸照才能吸引到注意力，產生以上描述的促進反應。

Ⅲ 意識與注意力

表面上你的問題是注意力問題，但是問題中的實質是：

由於你未能掌握如何在緊張的時候進行自我調節，所以你不得不竭力控制自己的緊張，以致於過於集中注意力去讀書，從而導致你思維與生活規律發生混亂，現在根本不能看書，只要一做什麼事，自己就很自然的非常集中注意力，不能自然的去思考和做事情，結果弄得自己很容易感到疲倦，記憶力和創造力都大大下降了，心靈一直都很痛苦，看醫生吃所謂的健腦葯物皆沒有效果。

解決之道是：

永遠不要控制自己的緊張。一種緊張當你越想控制時，它就越會變成一種妖魔，反而更加厲害。讓自己平靜下來自然地去思考和做事情的最好的辦法便是利用以下六步法將緊張轉化為能量。

1.微笑。
當你特別緊張時，不妨面帶微笑。為此，請你放鬆你的下巴，抬起你的臉頰，張開你的嘴唇，向上翹起你的嘴角，用輕松歡快的節奏對你自己說：「憶些趣事」，它將使你意識到臉、心和腦之間的聯系，這種聯系的價值就是使你心中和腦中的快樂反映在臉上，呈現出你所預想的愉快表情：放鬆、清醒、警惕，看起來既舒服，又給人以有能力的感覺，彷彿你已真正放鬆和滿足。研究證明，當人們微笑時，內腦接收的訊息通常是積極的，並且能使身體處於放鬆和滿足狀態；當人們處在焦慮和恐懼中時，微笑也能產生同樣的效果。無論你是否意識到微笑對自我控制緊張感所起到的作用，這種「人為的」努力表明了內腦在毫不懷疑其真實性的情況下對外部訊息作出了積極有效的反應。
2.對自己傳遞積極的訊息。
然後，和微笑一起，你需要利用的一個積極的訊息。它可以是一個積極話語，例如，「這種情境不過是提醒我，我有能力將緊張轉化為能量」。
3.運用想像力。
隨即，運用想像力。在你的腦海中想像出一片林間空地。在空地的一邊是一塊絕壁，底部有一個洞穴。在你的背上有一個背包，裡面放著你的那些緊張感。把背包放在洞穴的入口，進入洞穴。隨著你一步步地走進，你注意到這個洞穴裡面溫暖舒適，並且非常明亮。在前方，你聽到了流水的聲音。循著水聲走去，你看見了一個金色的高腳玻璃杯，裡面滿溢出一種像水晶一般清透的液體。這液體就是你想要帶入你的生活的能量。它從這個高腳杯里留出來，傾瀉在地上。你舉杯喝下它。當你喝著的時候，你感到這些能量充滿了你的身體。不可思議的是，你一邊喝，這個高腳杯一邊自動充滿並且還不斷溢出。杯子永遠不會空。你渴望的東西是充裕的，而且這充裕將一直為你而存在。當你喝飽的時候，把杯子放回去，心裡想著任何時候你都可以回來。走出洞穴，回到陽光下，慢慢地把你自己從想像狀態中喚醒。
4.與身體的感覺聯系起來。
與身體的感覺聯系起來意味著，與鑒別出緊張點時相比，你感覺自己已經逃離緊張狀態並將其轉化為有生產力的能量，你感到自己已經更為放鬆。人們經常發現自己在這種時候會深深吸一口氣。現在，你可能就想這樣做。但是，不管你是否深吸一口氣，都要想像自己的身體開始放鬆並感到相當滿意和舒適，而給你造成緊張的事情正離你遠去。
5.想像緊張感正在消失。
用一些時間想像自己正在遠離緊張情境，直到你在內心看到它離自己已相當遙遠。
6.返回目前的活動中。
最後，准備好回到當前。通過這種方式，你已經把緊張轉化成能量。

Ⅳ 為什麼iphone12用的第一代神經網路引擎什麼意思

神經網路引擎是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型，這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。

神經網路引擎通過對人腦的基本單元神經元的建模和聯接，探索模擬人腦神經系統功能的模型，並研製一種具有學習、聯想、記憶和模式識別等智能信息處理功能的人工系統，神經網路引擎的一個重要特性是它能夠從環境中學習，並把學習的結果分布存儲於網路的突觸連接中，其學習是一個過程。

在所處環境的激勵下，相繼給網路輸入一些樣本模式，並按照一定的學習演算法規則調整網路各層的權值矩陣，待網路各層權值都收斂到一定值，學習過程結束，然後可用生成的神經網路來對真實數據做分類。

(4)什麼是神經網路注意力擴展閱讀

蘋果在最新發布會上，公布了十周年版iPhone X，極大地吸引了人們的注意力。在iPhone X眾多特性中，使用面部識別FaceID代替原有的指紋識別TouchID進行屏幕解鎖和身份認證無疑是最大的亮點之一，這有可能成為蘋果對於手機交互進步的又一次推動。

FaceID使用了人工智慧技術完成人臉三維建模中的特徵提取，並且用這些特徵配合演算法來實現人臉識別。現場演示中，FaceID人臉識別用戶體驗非常流暢，而在流暢體驗背後的功臣，則是A11 Bionic SoC上集成的人工智慧加速器，蘋果官方稱之為「神經網路引擎(neural engine)」。

Ⅳ 如何做到注意力高度集中

高度集中會大幅度降低對周圍事情的敏感度（大腦處理外部環境輸入的模塊受到抑制），使其更能專注在某件事上。類似計算機中CPU利用率，如果某個進程佔用80%，那麼其他進程就只能處理很小一部分數據。
在高度集中很容易會進入一種沉浸式的體驗，想像下在高度集中下看一本小說，這時大腦中由1000億個神經細胞組成的龐大神經網路，開始構建小說描繪的場景對話、人物性格、背景關系、花草樹木，甚至你會把自我意識投入到裡面。網游或網路小說一直強調的代入感，就是通過各種手段誘導大腦進入這種沉浸式體驗。
在這種狀態下發生的記憶，基本上很難在忘記，處理事情的效率也是平常的數倍。由於對周圍的感知度下降，當你突然從這種狀態跳出來的話，會感覺到有明顯的不適感。因為你把意識投遞在由你自構建的一個世界裡，這個世界和現實世界的法則是完全不一樣的。就拿時間來說，我們經常會因為一部好的小說或電視劇連續看幾個小時，當突然看完後意識回到現實世界，會感覺時間像被抽走了一塊似的。比如我在寫代碼高度集中時，大腦完全就是個數據流的世界。高度集中時，看你當時專注的是哪種類型。
如果是身體動作類的，你會感受自己的心跳、呼吸、肌肉、關節的狀態、發力的點，那些里怎麼通過肌肉傳達到你想要的地方，身體的一些極限。除此以外，思想或者不是特別重要的身體部位都會被你忽略。這個狀態的時長跟你的身體機能有關。
如果是做事時集中：忘記時間、聽不到旁邊人講話、感覺就一口氣憋著推著停不下來、思維特別敏銳。這個狀態時長，跟你預想達到的目的是否完成有關。

Ⅵ 中科院提出圖神經網路加速晶元設計，這是一種怎樣的晶元呢

隨著技術發展，人工智慧技術也在不斷的發展。現有的晶元已經難以滿足一些神經網路的計算了，中科院提出了圖神經網路加速晶元，這種晶元專用於圖神經網路的運算。讓我們一起來了解一下什麼是圖神經網路，這種晶元有什麼重大的突破。

圖神經網路的應用前景非常廣泛，不僅用在日常交通預測、網約車調度、運動檢測等民用領域，還可以助力科研的知識推理、化學研究以及在知識圖譜、視覺推理等學科發展方向上。

Ⅶ 注意力的認知神經機制是什麼

我們外部的世界看起來豐富而具體，好像放眼看去，所有景物都一覽無遺。但是事實是我們經常會視而不見。比如我們每一天都會有找不到東西的經歷，車鑰匙明明在眼皮底下，卻東張西望，怎麼找也找不到。這說明，我們對於我們視野中的每一樣東西，並不是一視同仁地同等看待，同等加工的。因為我們大腦處理信息的資源和速度有限，所以在每一個擁擠的視覺場景中，我們的大腦有一個過濾機制，就是注意力，注意力讓我們每次優先加工眼前的一部分東西，忽略另外一部分東西。科學家做了一些有趣的小實驗說明這一點。在一個實驗中，讓參與者觀看一場籃球賽，並且數場上的傳球次數。然後在參與者全神貫注數著傳球次數的時候， 實驗者安排一個穿著大猩猩服裝的人從籃球場正中大搖大擺地走過。 結果實驗結束後問參與的人有沒有看到大猩猩，結果大部分人竟然都完全沒有注意到有大猩猩。這個在心理學上叫做不注意盲視。同樣的，當你在圖書館借書時，如果圖書管理員低下身子到書櫃里幫你找書，起身時換成另一個管理員， 這種明顯的差別你也可能注意不到，因為你從頭到尾就沒有太注意這個圖書管理員長什麼樣。

這個在心理學上叫做改變盲視。因為我們的視覺、聽覺、觸覺和其他感覺，都在無時無刻不在被外界的信息轟炸著，於是我們的大腦就發展出了一種機制，就是注意機制。這個機制會像篩子一樣，通過放大一些信息的神經信號強度，來篩選出需要優先加工的信息，並且忽略其他的信息。注意機制的存在，使得我們不會一直被一些無關緊要的大量信息干擾。比如我們的衣服隨時隨地都在摩擦身體，但是我們不會意識到，因為我們一般不會注意這些觸覺信號。只有當你刻意地關注某個身體部位的觸覺，比如左邊手肘和衣服的觸感，你才會感覺到。在聽覺領域也有一些類似的例子。比如在群聊的時候，我們可以同時聽幾個正在進行的對話，並且在某種程度上，過濾掉一些無關緊要的對話。比如讓你同時聽幾個正在進行的對話，一些是對話主線，一些無關經驗，這個時候如果一段不重要的對話中，說話的人從男生的聲音變成了女生的聲音，或者從中文轉換成了英文，我們甚至可能都注意不到。在這個例子中， 這些不重要的聽覺信息到達了大腦的聽覺皮層，但是沒有被送達到更高級的大腦區域，比如前額葉和頂葉區域，這些信息也就沒有被完全的加工，我們也就不會意識到這些對話。我們可能經常遇到這樣的狀況，比如在會場中聽著主講人的報告，自己卻開始神遊天外，想一會要做的事，昨天遇到了那個誰，晚上去哪吃飯。這樣的走神每個人一天中都會出現幾次。我們在活在當下的同時，思維可能漫遊到了過去或者未來，結果我們對身邊正在發生著的事一無所知。而如果在學習、工作的時候經常發生這種狀況，就會導致我們的學習、工作表現低下。

Ⅷ 小孩注意力不集中什麼原因

小朋友注意力不集中可能與下列原因有關系：
1.小朋友生性比較頑劣，出現注意力不集中也是很正常的現象。
2.缺少微量元素鋅、鐵或維生素D。
3.如果小朋友長期注意力不集中，影響到正常的學習，在自身主觀意識想要集中時，注意力也無法做到集中的情況，考慮多動症的可能。
4.神經系統疾病所導致，如腦腫瘤。
所以小朋友出現注意力不集中症狀時，可以進行微量元素檢測，經過補充微量元素後症狀仍未得到明顯改善，建議及時到醫院就診，明確具體原因，進行針對性治療。

Ⅸ 為什麼說Transformer的注意力機制是相對廉價的注意力機制相對更對於RNN系列及CNN系列演算法有何優勢

QA形式對自然語言處理中注意力機制（Attention）進行總結，並對Transformer進行深入解析。

二、Transformer（Attention Is All You Need）詳解
1、Transformer的整體架構是怎樣的？由哪些部分組成？
2、Transformer Encoder 與 Transformer Decoder 有哪些不同？
3、Encoder-Decoder attention 與self-attention mechanism有哪些不同？
4、multi-head self-attention mechanism具體的計算過程是怎樣的？
5、Transformer在GPT和Bert等詞向量預訓練模型中具體是怎麼應用的？有什麼變化？

一、Attention機制剖析

1、為什麼要引入Attention機制？

根據通用近似定理，前饋網路和循環網路都有很強的能力。但為什麼還要引入注意力機制呢？

• 計算能力的限制：當要記住很多「信息「，模型就要變得更復雜，然而目前計算能力依然是限制神經網路發展的瓶頸。

• 優化演算法的限制：雖然局部連接、權重共享以及pooling等優化操作可以讓神經網路變得簡單一些，有效緩解模型復雜度和表達能力之間的矛盾；但是，如循環神經網路中的長距離以來問題，信息「記憶」能力並不高。

可以藉助人腦處理信息過載的方式，例如Attention機制可以提高神經網路處理信息的能力。

2、Attention機制有哪些？（怎麼分類？）

當用神經網路來處理大量的輸入信息時，也可以借鑒人腦的注意力機制，只 選擇一些關鍵的信息輸入進行處理，來提高神經網路的效率。按照認知神經學中的注意力，可以總體上分為兩類：

• 聚焦式（focus）注意力：自上而下的有意識的注意力，主動注意——是指有預定目的、依賴任務的、主動有意識地聚焦於某一對象的注意力；

• 顯著性（saliency-based）注意力：自下而上的有意識的注意力，被動注意——基於顯著性的注意力是由外界刺激驅動的注意，不需要主動干預，也和任務無關；可以將max-pooling和門控（gating）機制來近似地看作是自下而上的基於顯著性的注意力機制。

在人工神經網路中，注意力機制一般就特指聚焦式注意力。

3、Attention機制的計算流程是怎樣的？



• Attention機制的實質：定址（addressing）

Attention機制的實質其實就是一個定址（addressing）的過程，如上圖所示：給定一個和任務相關的查詢Query向量q，通過計算與Key的注意力分布並附加在Value上，從而計算Attention Value，這個過程實際上是Attention機制緩解神經網路模型復雜度的體現：不需要將所有的N個輸入信息都輸入到神經網路進行計算，只需要從X中選擇一些和任務相關的信息輸入給神經網路。

• 注意力機制可以分為三步：一是信息輸入；二是計算注意力分布α；三是根據注意力分布α 來計算輸入信息的加權平均。

step1-信息輸入：用X= [x1, · · · , xN ]表示N 個輸入信息；

step2-注意力分布計算：令Key=Value=X，則可以給出注意力分布

我們將稱之為注意力分布（概率分布），為注意力打分機制，有幾種打分機制：




step3-信息加權平均：注意力分布可以解釋為在上下文查詢q時，第i個信息受關注的程度，採用一種「軟性」的信息選擇機制對輸入信息X進行編碼為：

這種編碼方式為軟性注意力機制（soft Attention），軟性注意力機制有兩種：普通模式（Key=Value=X）和鍵值對模式（Key！=Value）。



• 軟性注意力機制（soft Attention）

4、Attention機制的變種有哪些？

與普通的Attention機制（上圖左）相比，Attention機制有哪些變種呢？

• 變種1-硬性注意力：之前提到的注意力是軟性注意力，其選擇的信息是所有輸入信息在注意力 分布下的期望。還有一種注意力是只關注到某一個位置上的信息，叫做硬性注意力（hard attention）。硬性注意力有兩種實現方式：（1）一種是選取最高概率的輸入信息；（2）另一種硬性注意力可以通過在注意力分布式上隨機采樣的方式實現。硬性注意力模型的缺點：

• 硬性注意力的一個缺點是基於最大采樣或隨機采樣的方式來選擇信息。因此最終的損失函數與注意力分布之間的函數關系不可導，因此無法使用在反向傳播演算法進行訓練。為了使用反向傳播演算法，一般使用軟性注意力來代替硬性注意力。硬性注意力需要通過強化學習來進行訓練。——《神經網路與深度學習》

• 變種2-鍵值對注意力：即上圖右邊的鍵值對模式，此時Key！=Value，注意力函數變為：




• 變種3-多頭注意力：多頭注意力（multi-head attention）是利用多個查詢Q = [q1, · · · , qM]，來平行地計算從輸入信息中選取多個信息。每個注意力關注輸入信息的不同部分，然後再進行拼接：




5、一種強大的Attention機制：為什麼自注意力模型（self-Attention model）在長距離序列中如此強大？

（1）卷積或循環神經網路難道不能處理長距離序列嗎？

當使用神經網路來處理一個變長的向量序列時，我們通常可以使用卷積網路或循環網路進行編碼來得到一個相同長度的輸出向量序列，如圖所示：



• 基於卷積網路和循環網路的變長序列編碼

從上圖可以看出，無論卷積還是循環神經網路其實都是對變長序列的一種「局部編碼」：卷積神經網路顯然是基於N-gram的局部編碼；而對於循環神經網路，由於梯度消失等問題也只能建立短距離依賴。

（2）要解決這種短距離依賴的「局部編碼」問題，從而對輸入序列建立長距離依賴關系，有哪些辦法呢？

• 如果要建立輸入序列之間的長距離依賴關系，可以使用以下兩種方法：一 種方法是增加網路的層數，通過一個深層網路來獲取遠距離的信息交互，另一種方法是使用全連接網路。 ——《神經網路與深度學習》
• 全連接模型和自注意力模型：實線表示為可學習的權重，虛線表示動態生成的權重。

由上圖可以看出，全連接網路雖然是一種非常直接的建模遠距離依賴的模型， 但是無法處理變長的輸入序列。不同的輸入長度，其連接權重的大小也是不同的。

這時我們就可以利用注意力機制來「動態」地生成不同連接的權重，這就是自注意力模型（self-attention model）。由於自注意力模型的權重是動態生成的，因此可以處理變長的信息序列。

總體來說，為什麼自注意力模型（self-Attention model）如此強大：利用注意力機制來「動態」地生成不同連接的權重，從而處理變長的信息序列。

（3）自注意力模型（self-Attention model）具體的計算流程是怎樣的呢?

同樣，給出信息輸入：用X = [x1, · · · , xN ]表示N 個輸入信息；通過線性變換得到為查詢向量序列，鍵向量序列和值向量序列：




上面的公式可以看出，self-Attention中的Q是對自身（self）輸入的變換，而在傳統的Attention中，Q來自於外部。



• self-Attention計算過程剖解（來自《細講 | Attention Is All You Need 》）

注意力計算公式為：




自注意力模型（self-Attention model）中，通常使用縮放點積來作為注意力打分函數，輸出向量序列可以寫為：




二、Transformer（Attention Is All You Need）詳解

從Transformer這篇論文的題目可以看出，Transformer的核心就是Attention，這也就是為什麼本文會在剖析玩Attention機制之後會引出Transformer，如果對上面的Attention機制特別是自注意力模型（self-Attention model）理解後，Transformer就很容易理解了。

1、Transformer的整體架構是怎樣的？由哪些部分組成？



• Transformer模型架構

Transformer其實這就是一個Seq2Seq模型，左邊一個encoder把輸入讀進去，右邊一個decoder得到輸出：



• Seq2Seq模型

Transformer=Transformer Encoder+Transformer Decoder

（1）Transformer Encoder（N=6層，每層包括2個sub-layers）：



• Transformer Encoder

• sub-layer-1：multi-head self-attention mechanism，用來進行self-attention。

• sub-layer-2：Position-wise Feed-forward Networks，簡單的全連接網路，對每個position的向量分別進行相同的操作，包括兩個線性變換和一個ReLU激活輸出（輸入輸出層的維度都為512，中間層為2048）：



每個sub-layer都使用了殘差網路：

（2）Transformer Decoder（N=6層，每層包括3個sub-layers）：



• Transformer Decoder

• sub-layer-1：Masked multi-head self-attention mechanism，用來進行self-attention，與Encoder不同：由於是序列生成過程，所以在時刻 i 的時候，大於 i 的時刻都沒有結果，只有小於 i 的時刻有結果，因此需要做Mask。

• sub-layer-2：Position-wise Feed-forward Networks，同Encoder。

• sub-layer-3：Encoder-Decoder attention計算。

2、Transformer Encoder 與 Transformer Decoder 有哪些不同？

（1）multi-head self-attention mechanism不同，Encoder中不需要使用Masked，而Decoder中需要使用Masked；

（2）Decoder中多了一層Encoder-Decoder attention，這與 self-attention mechanism不同。

3、Encoder-Decoder attention 與self-attention mechanism有哪些不同？

它們都是用了 multi-head計算，不過Encoder-Decoder attention採用傳統的attention機制，其中的Query是self-attention mechanism已經計算出的上一時間i處的編碼值，Key和Value都是Encoder的輸出，這與self-attention mechanism不同。代碼中具體體現：

• ## Multihead Attention ( self-attention)


• self.dec = multihead_attention(queries=self.dec,


• keys=self.dec,


• num_units=hp.hidden_units,


• num_heads=hp.num_heads,


• dropout_rate=hp.dropout_rate,


• is_training=is_training,


• causality=True,


• scope="self_attention")



• ## Multihead Attention ( Encoder-Decoder attention)


• self.dec = multihead_attention(queries=self.dec,


• keys=self.enc,


• num_units=hp.hidden_units,


• num_heads=hp.num_heads,


• dropout_rate=hp.dropout_rate,


• is_training=is_training,


• causality=False,


• scope="vanilla_attention")



4、multi-head self-attention mechanism具體的計算過程是怎樣的？



• multi-head self-attention mechanism計算過程

Transformer中的Attention機制由Scaled Dot-Proct Attention和Multi-Head Attention組成，上圖給出了整體流程。下面具體介紹各個環節：

• Expand：實際上是經過線性變換，生成Q、K、V三個向量；

• Split heads: 進行分頭操作，在原文中將原來每個位置512維度分成8個head，每個head維度變為64；

• Self Attention：對每個head進行Self Attention，具體過程和第一部分介紹的一致；

• Concat heads：對進行完Self Attention每個head進行拼接；

上述過程公式為：




5、Transformer在GPT和Bert等詞向量預訓練模型中具體是怎麼應用的？有什麼變化？

• GPT中訓練的是單向語言模型，其實就是直接應用Transformer Decoder；

• Bert中訓練的是雙向語言模型，應用了Transformer Encoder部分，不過在Encoder基礎上還做了Masked操作；

BERT Transformer 使用雙向self-attention，而GPT Transformer 使用受限制的self-attention，其中每個token只能處理其左側的上下文。雙向 Transformer 通常被稱為「Transformer encoder」，而左側上下文被稱為「Transformer decoder」，decoder是不能獲要預測的信息的。