下列哪個神經網路會發生權重共享

⑴ 學習人工智慧AI需要哪些知識

需要數學基礎：高等數學，線性代數，概率論數理統計和隨機過程，離散數學，數值分析。數學基礎知識蘊含著處理智能問題的基本思想與方法，也是理解復雜演算法的必備要素。今天的種種人工智慧技術歸根到底都建立在數學模型之上，要了解人工智慧，首先要掌握必備的數學基礎知識。線性代數將研究對象形式化，概率論描述統計規律。

需要演算法的積累：人工神經網路，支持向量機，遺傳演算法等等演算法；當然還有各個領域需要的演算法，比如要讓機器人自己在位置環境導航和建圖就需要研究SLAM；總之演算法很多需要時間的積累。

需要掌握至少一門編程語言，比如C語言，MATLAB之類。畢竟演算法的實現還是要編程的；如果深入到硬體的話，一些電類基礎課必不可少。

拓展資料：

人工智慧（Artificial Intelligence），英文縮寫為AI。它是研究、開發用於模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。

人工智慧是計算機科學的一個分支，它企圖了解智能的實質，並生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。

人工智慧從誕生以來，理論和技術日益成熟，應用領域也不斷擴大，可以設想，未來人工智慧帶來的科技產品，將會是人類智慧的「容器」。人工智慧可以對人的意識、思維的信息過程的模擬。人工智慧不是人的智能，但能像人那樣思考、也可能超過人的智能。

人工智慧是一門極富挑戰性的科學，從事這項工作的人必須懂得計算機知識，心理學和哲學。人工智慧是包括十分廣泛的科學，它由不同的領域組成，如機器學習，計算機視覺等等，總的說來，人工智慧研究的一個主要目標是使機器能夠勝任一些通常需要人類智能才能完成的復雜工作。但不同的時代、不同的人對這種「復雜工作」的理解是不同的。2017年12月，人工智慧入選「2017年度中國媒體十大流行語」。

參考資料：網路—人工智慧：計算機科學的一個分支

⑵ 計算機網路技術畢業論文 5000字

計算機論文

計算機網路在電子商務中的應用

摘要：隨著計算機網路技術的飛進發展，電子商務正得到越來越廣泛的應用。由於電子商務中的交易行為大多數都是在網上完成的， 因此電子商務的安全性是影響躉易雙方成敗的一個關鍵因素。本文從電子商務系統對計算機網路安全，商務交易安全性出發，介紹利用網路安全枝術解決安全問題的方法。
關鍵詞：計算機網路，電子商務安全技術

一． 引言
近幾年來．電子商務的發展十分迅速 電子商務可以降低成本．增加貿易機會，簡化貿易流通過程，提高生產力，改善物流和金流、商品流．信息流的環境與系統 雖然電子商務發展勢頭很強，但其貿易額所佔整個貿易額的比例仍然很低。影響其發展的首要因素是安全問題．網上的交易是一種非面對面交易，因此「交易安全「在電子商務的發展中十分重要。可以說．沒有安全就沒有電子商務。電子商務的安全從整體上可分為兩大部分．計算機網路安全和商務交易安全。計算機網路安全包括計算機網路設備安全、計算機網路系統安全、資料庫安全等。其特徵是針對計算機網路本身可能存在的安全問題，實施網路安全增強方案．以保證計算機網路自身的安全性為目標。商務安全則緊緊圍繞傳統商務在Interne'(上應用時產生的各種安全問題．在計算機網路安全的基礎上．如何保障電子商務過程的順利進行。即實現電子商務的保密性．完整性．可鑒別性．不可偽造性和不可依賴性。

二、電子商務網路的安全隱患
1竊取信息：由於未採用加密措施．數據信息在網路上以明文形式傳送．入侵者在數據包經過的網關或路由器上可以截獲傳送的信息。通過多次竊取和分析，可以找到信息的規律和格式，進而得到傳輸信息的內容．造成網上傳輸信息泄密
2．篡改信息：當入侵者掌握了信息的格式和規律後．通過各種技術手段和方法．將網路上傳送的信息數據在中途修改 然後再發向目的地。這種方法並不新鮮．在路由器或者網關上都可以做此類工作。
3假冒由於掌握了數據的格式，並可以篡改通過的信息，攻擊者可以冒充合法用戶發送假冒的信息或者主動獲取信息，而遠端用戶通常很難分辨。
4惡意破壞：由於攻擊者可以接入網路．則可能對網路中的信息進行修改．掌握網上的機要信息．甚至可以潛入網路內部．其後果是非常嚴重的。

三、電子商務交易中應用的網路安全技術
為了提高電子商務的安全性．可以採用多種網路安全技術和協議．這些技術和協議各自有一定的使用范圍，可以給電子商務交易活動提供不同程度的安全保障。
1．防火牆技術。防火牆是目前主要的網路安全設備。防火牆通常使用的安全控制手段主要有包過濾、狀態檢測、代理服務 由於它假設了網路的邊界和服務，對內部的非法訪問難以有效地控制。因此．最適合於相對獨立的與外部網路互連途徑有限、網路服務種類相對集中的單一網路(如常見的企業專用網) 防火牆的隔離技術決定了它在電子商務安全交易中的重要作用。目前．防火牆產品主要分為兩大類基於代理服務方式的和基於狀態檢測方式的。例如Check Poim Fi rewalI-1 4 0是基於Unix、WinNT平台上的軟體防火牆．屬狀態檢測型 Cisco PIX是硬體防火牆．也屬狀態檢測型。由於它採用了專用的操作系統．因此減少了黑客利用操作系統G)H攻擊的可能性：Raptor完全是基於代理技術的軟體防火牆 由於互聯網的開放性和復雜性．防火牆也有其固有的缺點(1)防火牆不能防範不經由防火牆的攻擊。例如．如果允許從受保護網內部不受限制地向外撥號．一些用戶可以形成與Interne'(的直接連接．從而繞過防火牆：造成一個潛在的後門攻擊渠道，所以應該保證內部網與外部網之間通道的唯一性。(2)防火牆不能防止感染了病毒的軟體或文件的傳輸．這只能在每台主機上裝反病毒的實時監控軟體。(3)防火牆不能防止數據驅動式攻擊。當有些表面看來無害的數據被郵寄或復制到Interne'(主機上並被執行而發起攻擊時．就會發生數據驅動攻擊．所以對於來歷不明的數據要先進行殺毒或者程序編碼辨證，以防止帶有後門程序。
2．數據加密技術。防火牆技術是一種被動的防衛技術．它難以對電子商務活動中不安全的因素進行有效的防衛。因此．要保障電子商務的交易安全．就應當用當代密碼技術來助陣。加密技術是電子商務中採取的主要安全措施， 貿易方可根據需要在信息交換的階段使用。目前．加密技術分為兩類．即對稱加密／對稱密鑰加密／專用密鑰加密和非對稱加密／公開密鑰加密。現在許多機構運用PKI(punickey nfrastructur)的縮寫．即 公開密鑰體系」)技術實施構建完整的加密／簽名體系．更有效地解決上述難題．在充分利用互聯網實現資源共享的前提下從真正意義上確保了網上交易與信息傳遞的安全。在PKI中．密鑰被分解為一對(即一把公開密鑰或加密密鑰和一把專用密鑰或解密密鑰)。這對密鑰中的任何一把都可作為公開密鑰(加密密鑰)通過非保密方式向他人公開．而另一把則作為專用密鑰{解密密鑰)加以保存。公開密鑰用於對機密�6�11生息的加密．專用密鑰則用於對加信息的解密。專用密鑰只能由生成密鑰對的貿易方掌握．公開密鑰可廣泛發布．但它只對應用於生成該密鑰的貿易方。貿易方利用該方案實現機密信息交換的基本過程是 貿易方甲生成一對密鑰並將其中的一把作為公開密鑰向其他貿易方公開：得到該公開密鑰的貿易方乙使用該密鑰對機密信息進行加密後再發送給貿易方甲 貿易方甲再用自己保存的另一把專用密鑰對加密後的信息進行解密。貿易方甲只能用其專用密鑰解密由其公開密鑰加密後的任何信息。
3．身份認證技術。身份認證又稱為鑒別或確認，它通過驗證被認證對象的一個或多個參數的真實性與有效性 來證實被認證對象是否符合或是否有效的一種過程，用來確保數據的真實性。防止攻擊者假冒 篡改等。一般來說。用人的生理特徵參數f如指紋識別、虹膜識別)進行認證的安全性很高。但目前這種技術存在實現困難、成本很高的缺點。目前，計算機通信中採用的參數有口令、標識符 密鑰、隨機數等。而且一般使用基於證書的公鑰密碼體制(PK I)身份認證技術。要實現基於公鑰密碼演算法的身份認證需求。就必須建立一種信任及信任驗證機制。即每個網路上的實體必須有一個可以被驗證的數字標識 這就是 數字證書(Certifi2cate)」。數字證書是各實體在網上信息交流及商務交易活動中的身份證明。具有唯一性。證書基於公鑰密碼體制．它將用戶的公開密鑰同用戶本身的屬性(例如姓名，單位等)聯系在一起。這就意味著應有一個網上各方都信任的機構 專門負責對各個實體的身份進行審核，並簽發和管理數字證書，這個機構就是證書中心(certificate authorities．簡稱CA}。CA用自己的私鑰對所有的用戶屬性、證書屬性和用戶的公鑰進行數字簽名，產生用戶的數字證書。在基於證書的安全通信中．證書是證明用戶合法身份和提供用戶合法公鑰的憑證．是建立保密通信的基礎。因此，作為網路可信機構的證書管理設施 CA主要職能就是管理和維護它所簽發的證書 提供各種證書服務，包括：證書的簽發、更新 回收、歸檔等。
4．數字簽名技術。數字簽名也稱電子簽名 在信息安全包括身份認證，數據完整性、不可否認性以及匿名性等方面有重要應用。數字簽名是非對稱加密和數字摘要技術的聯合應用。其主要方式為：報文發送方從報文文本中生成一個1 28b it的散列值(或報文摘要)，並用自己的專用密鑰對這個散列值進行加密 形成發送方的數字簽名：然後 這個數字簽名將作為報文的附件和報文一起發送給報文的接收方 報文接收方首先從接收到的原始報文中計算出1 28bit位的散列值(或報文摘要)．接著再用發送方的公開密鑰來對報文附加的數字簽名進行解密 如果兩個散列值相同 那麼接收方就能確認該數字簽名是發送方的．通過數字簽名能夠實現對原始報文的鑒別和不可抵賴性。
四、結束語
電子商務安全對計算機網路安全與商務安全提出了雙重要求．其復雜程度比大多數計算機網路都高。在電子商務的建設過程中涉及到許多安全技術問題 制定安全技術規則和實施安全技術手段不僅可以推動安全技術的發展，同時也促進安全的電子商務體系的形成。當然，任何一個安全技術都不會提供永遠和絕對的安全，因為網路在變化．應用在變化，入侵和破壞的手段也在變化，只有技術的不斷進步才是真正的安全保障。

參考文獻：
[1]肖滿梅 羅蘭娥：電子商務及其安全技術問題．湖南科技學院學報，2006，27
[2]豐洪才 管華 陳珂：電子商務的關鍵技術及其安全性分析．武漢工業學院學報 2004，2
[3]閻慧 王偉：寧宇鵬等編著．防火牆原理與技術[M]北京：機械工業出版杜 2004

⑶ 深度學習與神經網路有什麼區別

深度學習與神經網路關系

2017-01-10

最近開始學習深度學習，基本上都是zouxy09博主的文章，寫的蠻好，很全面，也會根據自己的思路，做下刪減，細化。

五、Deep Learning的基本思想

假設我們有一個系統S，它有n層（S1,…Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>…..=>Sn => O，如果輸出O等於輸入I，即輸入I經過這個系統變化之後沒有任何的信息損失（呵呵，大牛說，這是不可能的。資訊理論中有個「信息逐層丟失」的說法（信息處理不等式），設處理a信息得到b，再對b處理得到c，那麼可以證明：a和c的互信息不會超過a和b的互信息。這表明信息處理不會增加信息，大部分處理會丟失信息。當然了，如果丟掉的是沒用的信息那多好啊），保持了不變，這意味著輸入I經過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。現在回到我們的主題Deep Learning，我們需要自動地學習特徵，假設我們有一堆輸入I（如一堆圖像或者文本），假設我們設計了一個系統S（有n層），我們通過調整系統中參數，使得它的輸出仍然是輸入I，那麼我們就可以自動地獲取得到輸入I的一系列層次特徵，即S1，…, Sn。

對於深度學習來說，其思想就是對堆疊多個層，也就是說這一層的輸出作為下一層的輸入。通過這種方式，就可以實現對輸入信息進行分級表達了。

另外，前面是假設輸出嚴格地等於輸入，這個限制太嚴格，我們可以略微地放鬆這個限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個放鬆會導致另外一類不同的Deep Learning方法。上述就是Deep Learning的基本思想。

六、淺層學習（Shallow Learning）和深度學習（Deep Learning）

淺層學習是機器學習的第一次浪潮。

20世紀80年代末期，用於人工神經網路的反向傳播演算法（也叫Back Propagation演算法或者BP演算法）的發明，給機器學習帶來了希望，掀起了基於統計模型的機器學習熱潮。這個熱潮一直持續到今天。人們發現，利用BP演算法可以讓一個人工神經網路模型從大量訓練樣本中學習統計規律，從而對未知事件做預測。這種基於統計的機器學習方法比起過去基於人工規則的系統，在很多方面顯出優越性。這個時候的人工神經網路，雖也被稱作多層感知機（Multi-layer Perceptron），但實際是種只含有一層隱層節點的淺層模型。

20世紀90年代，各種各樣的淺層機器學習模型相繼被提出，例如支撐向量機（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。這些模型的結構基本上可以看成帶有一層隱層節點（如SVM、Boosting），或沒有隱層節點（如LR）。這些模型無論是在理論分析還是應用中都獲得了巨大的成功。相比之下，由於理論分析的難度大，訓練方法又需要很多經驗和技巧，這個時期淺層人工神經網路反而相對沉寂。

深度學習是機器學習的第二次浪潮。

2006年，加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton和他的學生RuslanSalakhutdinov在《科學》上發表了一篇文章，開啟了深度學習在學術界和工業界的浪潮。這篇文章有兩個主要觀點：1）多隱層的人工神經網路具有優異的特徵學習能力，學習得到的特徵對數據有更本質的刻畫，從而有利於可視化或分類；2）深度神經網路在訓練上的難度，可以通過「逐層初始化」（layer-wise pre-training）來有效克服，在這篇文章中，逐層初始化是通過無監督學習實現的。

當前多數分類、回歸等學習方法為淺層結構演算法，其局限性在於有限樣本和計算單元情況下對復雜函數的表示能力有限，針對復雜分類問題其泛化能力受到一定製約。深度學習可通過學習一種深層非線性網路結構，實現復雜函數逼近，表徵輸入數據分布式表示，並展現了強大的從少數樣本集中學習數據集本質特徵的能力。（多層的好處是可以用較少的參數表示復雜的函數）

而為了克服神經網路訓練中的問題，DL採用了與神經網路很不同的訓練機制。傳統神經網路（這里作者主要指前向神經網路）中，採用的是back propagation的方式進行，簡單來講就是採用迭代的演算法來訓練整個網路，隨機設定初值，計算當前網路的輸出，然後根據當前輸出和label之間的差去改變前面各層的參數，直到收斂（整體是一個梯度下降法）。而deep learning整體上是一個layer-wise的訓練機制。這樣做的原因是因為，如果採用back propagation的機制，對於一個deep network（7層以上），殘差傳播到最前面的層已經變得太小，出現所謂的gradient diffusion（梯度擴散）。這個問題我們接下來討論。

八、Deep learning訓練過程

8.1、傳統神經網路的訓練方法為什麼不能用在深度神經網路

BP演算法作為傳統訓練多層網路的典型演算法，實際上對僅含幾層網路，該訓練方法就已經很不理想。深度結構（涉及多個非線性處理單元層）非凸目標代價函數中普遍存在的局部最小是訓練困難的主要來源。

BP演算法存在的問題：

（1）梯度越來越稀疏：從頂層越往下，誤差校正信號越來越小；

（2）收斂到局部最小值：尤其是從遠離最優區域開始的時候（隨機值初始化會導致這種情況的發生）；

（3）一般，我們只能用有標簽的數據來訓練：但大部分的數據是沒標簽的，而大腦可以從沒有標簽的的數據中學習；

8.2、deep learning訓練過程

如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監督學習中相反的問題，會嚴重欠擬合（因為深度網路的神經元和參數太多了）。

2006年，hinton提出了在非監督數據上建立多層神經網路的一個有效方法，簡單的說，分為兩步，一是每次訓練一層網路，二是調優，使原始表示x向上生成的高級表示r和該高級表示r向下生成的x'盡可能一致。方法是：

1）首先逐層構建單層神經元，這樣每次都是訓練一個單層網路。

2）當所有層訓練完後，Hinton使用wake-sleep演算法進行調優。

將除最頂層的其它層間的權重變為雙向的，這樣最頂層仍然是一個單層神經網路，而其它層則變為了圖模型。向上的權重用於「認知」，向下的權重用於「生成」。然後使用Wake-Sleep演算法調整所有的權重。讓認知和生成達成一致，也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結點。比如頂層的一個結點表示人臉，那麼所有人臉的圖像應該激活這個結點，並且這個結果向下生成的圖像應該能夠表現為一個大概的人臉圖像。Wake-Sleep演算法分為醒（wake）和睡（sleep）兩個部分。

1）wake階段：認知過程，通過外界的特徵和向上的權重（認知權重）產生每一層的抽象表示（結點狀態），並且使用梯度下降修改層間的下行權重（生成權重）。也就是「如果現實跟我想像的不一樣，改變我的權重使得我想像的東西就是這樣的」。

2）sleep階段：生成過程，通過頂層表示（醒時學得的概念）和向下權重，生成底層的狀態，同時修改層間向上的權重。也就是「如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念」。

deep learning訓練過程具體如下：

1）使用自下上升非監督學習（就是從底層開始，一層一層的往頂層訓練）：

採用無標定數據（有標定數據也可）分層訓練各層參數，這一步可以看作是一個無監督訓練過程，是和傳統神經網路區別最大的部分（這個過程可以看作是feature learning過程）：

具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網路的隱層），由於模型capacity的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特徵；在學習得到第n-1層後，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數；

2）自頂向下的監督學習（就是通過帶標簽的數據去訓練，誤差自頂向下傳輸，對網路進行微調）：

基於第一步得到的各層參數進一步fine-tune整個多層模型的參數，這一步是一個有監督訓練過程；第一步類似神經網路的隨機初始化初值過程，由於DL的第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功於第一步的feature learning過程。