❶ 大數據與大規模網路安全感知技術初探
大數據與大規模網路安全感知技術初探
快速發展的互聯網技術不斷地改變人們的生活方式，然而，多層面的安全威脅和安全風險也不斷出現。對於一個大型網路，在網路安全層面，除了訪問控制、入侵檢測、身份識別等基礎技術手段，需要安全運維和管理人員能夠及時感知網路中的異常事件與整體安全態勢。對於安全運維人員來說，如何從成千上萬的安全事件和日誌中找到最有價值、最需要處理和解決的安全問題，從而保障網路的安全狀態，是他們最關心也是最需要解決的問題。與此同時，對於安全管理者和高層管理者而言，如何描述當前網路安全的整體狀況，如何預測和判斷風險發展的趨勢，如何指導下一步安全建設與規劃，則是一道持久的難題。
隨著大數據技術的成熟、應用與推廣，網路安全態勢感知技術有了新的發展方向，大數據技術特有的海量存儲、並行計算、高效查詢等特點，為大規模網路安全態勢感知的關鍵技術創造了突破的機遇。本文將對大規模網路環境下的安全態勢感知、大數據技術在安全感知方面的促進做一些探討。
對於一個大規模的網路而言，面臨的風險也是巨大的，可分為廣度風險和深度風險。從廣度上講，以中國移動的CMNET網路為例，所轄IP地址超過3000萬個，提供對外服務的網站數千個，規模大、節點類型豐富多樣，伴隨其中的安全問題隨網路節點數量的增加呈指數級上升。從深度上講，下一代移動互聯網安全威脅主要表現在傳統攻擊依然存在且手段多樣、APT（高級持續性威脅）攻擊逐漸增多且造成的損失不斷增大。而攻擊者的工具和手段呈現平台化、集成化和自動化的特點，具有更強的隱蔽性、更長的攻擊與潛伏時間、更加明確和特定的攻擊目標。以上造成了下一代安全威脅具有更強的殺傷能力與逃避能力。結合廣度風險與深度風險來看，大規模網路所引發的安全保障的復雜度激增，主要面臨的問題包括：安全數據量巨大；安全事件被割裂，從而難以感知；安全的整體狀況無法描述。
網路安全感知能力具體可分為資產感知、脆弱性感知、安全事件感知和異常行為感知4個方面。資產感知是指自動化快速發現和收集大規模網路資產的分布情況、更新情況、屬性等信息；脆弱性感知則包括3個層面的脆弱性感知能力：不可見、可見、可利用；安全事件感知是指能夠確定安全事件發生的時間、地點、人物、起因、經過和結果；異常行為感知是指通過異常行為判定風險，以彌補對不可見脆弱性、未知安全事件發現的不足，主要面向的是感知未知的攻擊。
一個相對完整的網路安全感知的能力模型與架構設計如下圖所示：
隨著Hadoop、NoSQL等技術的興起，BigData大數據的應用逐漸增多和成熟，而大數據自身擁有Velocity快速處理、Volume大數據量存儲、Variety支持多類數據格式三大特性。大數據的這些天生特性，恰巧可以用於大規模網路的安全感知。首先，多類數據格式可以使網路安全感知獲取更多類型的日誌數據，包括網路與安全設備的日誌、網路運行情況信息、業務與應用的日誌記錄等；其次，大數據量存儲與快速處理為高速網路流量的深度安全分析提供了技術支持，可以為高智能模型演算法提供計算資源；最後，在異常行為的識別過程中，核心是對正常業務行為與異常攻擊行為之間的未識別行為進行離群度分析，大數據使得在分析過程中採用更小的匹配顆粒與更長的匹配時間成為可能。
中國移動自2010年起在雲計算和大數據方面就開始了積極探索。中國移動的「大雲」系統目前已實現了分布式海量數據倉庫、分布式計算框架、雲存儲系統、彈性計算系統、並行數據挖掘工具等關鍵功能。在「大雲」系統的基礎上，中國移動的網路安全感知也具備了一定的技術積累，進行了大規模網路安全感知和防禦體系的技術研究，在利用雲平台進行脆弱性發現方面的智能型任務調度演算法、主機和網路異常行為發現模式等關鍵技術上均有突破，在安全運維中取得了一些顯著的效果。
大數據的出現，擴展了計算和存儲資源，提供了基礎平台和大數據量處理的技術支撐，為安全態勢的分析、預測創造了無限可能。
計算機網路可以寫相關的論文，比如學校網路組建。當時也不懂，還是寢室同學給的文方網，寫的《網路安全風險評估關鍵技術研究》，非常專業的說
網路安全態勢感知模型研究與系統實現
高校網路安全存在的問題與對策研究
基於節點信譽的無線感測器網路安全關鍵技術研究
網路安全事件關聯分析與態勢評測技術研究
基於博弈論的無線感測器網路安全若干關鍵問題研究
基於流的大規模網路安全態勢感知關鍵技術研究
網路安全態勢評估與趨勢感知的分析研究
LINUX環境下的防火牆網路安全設計與實現
21世紀初美國網路安全戰略探析
奧巴馬政府的網路安全戰略研究
基於工作過程的《計算機網路安全》一體化課程開發及實施研究
面向多級安全的網路安全通信模型及其關鍵技術研究
基於攻擊圖的網路安全風險評估技術研究
網路安全公司商業模式研究
網路安全評估研究
基於異構感測器的網路安全態勢感知若干關鍵技術研究
基於融合決策的網路安全態勢感知技術研究
網路安全態勢評估模型研究
❸ 基於隱馬爾可夫模型的網路安全態勢預測方法
論文：文志誠,陳志剛.基於隱馬爾可夫模型的網路安全態勢預測方法[J].中南大學學報(自然科學版),2015,46(10):3689-3695.
摘要
為了給網路管理員制定決策和防禦措施提供可靠的依據，通過考察網路安全態勢變化特點，提出構建隱馬 爾可夫預測模型。利用時間序列分析方法刻畫不同時刻安全態勢的前後依賴關系，當安全態勢處於亞狀態或偏離 正常狀態時，採用安全態勢預測機制，分析其變化規律，預測系統的安全態勢變化趨勢。最後利用模擬數據，對 所提出的網路安全態勢預測演算法進行驗證。訪真結果驗證了該方法的正確性。
隱馬爾可夫模型（Hidden Markov Model，HMM）是統計模型，其難點是從可觀察的參數中確定該過程的隱含參數。隱馬爾可夫模型是關於時序的概率模型，描述由一個隱藏的馬爾科夫鏈隨機生成不可觀測的狀態隨機序列，再由各個狀態生成一個觀測而產生觀測隨機序列的過程。如果要利用隱馬爾可夫模型，模型的狀態集合和觀測集合應該事先給出。
舉個例子：有個孩子叫小明，小明每天早起上學晚上放學。假設小明在學校里的狀態有三種，分別是丟錢了，撿錢了，和沒丟沒撿錢，我們記作{q0,q1,q2}。
那麼對於如何確定他的丟錢狀態？如果小明丟錢了，那他今天應該心情不好，如果撿錢了，他回來肯定心情好，如果沒丟沒撿，那他肯定心情平淡。我們將他的心情狀態記作{v0,v1v2}。我們這里觀測了小明一周的心情狀態，心情狀態序列是{v0,v0,v1,v1,v2,v0,v1}。那麼小明這一周的丟撿錢狀態是什麼呢？這里引入隱馬爾科夫模型。
隱馬爾科夫模型的形式定義如下：
一個HMM模型可以由狀態轉移矩陣A、觀測概率矩陣B、以及初始狀態概率π確定，因此一個HMM模型可以表示為λ(A,B,π)。
利用隱馬爾可夫模型時，通常涉及三個問題，分別是：
後面的計算啥的和馬爾科夫差不多我就不寫了。。。。。。
2.1網路安全態勢
在網路態勢方面，國內外相關研究多見於軍事戰 場的態勢獲取，網路安全領域的態勢獲取研究尚處於 起步階段，還未有普遍認可的解決方法。張海霞等[9] 提出了一種計算綜合威脅值的網路安全分級量化方 法。該方法生成的態勢值滿足越危險的網路實體，威 脅值越高。本文定義網路安全態勢由網路基礎運行性 (runnability)、網路脆弱性(vulnerability)和網路威脅性 (threat)三維組成，從 3 個不同的維度(或稱作分量)以 直觀的形式向用戶展示整個網路當前安全態勢 SA=( runnability, vulnerability, threat)。每個維度可通過 網路安全態勢感知，從網路上各運行組件經信息融合 而得到量化分級。為了方便計算實驗與降低復雜度， 本文中，安全態勢每個維度取「高、中、差」或「1，2， 3」共 3 個等級取值。本文主要進行網路安全態勢預測
2.2構建預測模型
隱馬爾可夫模型易解決一類對於給定的觀測符號序列，預測新的觀測符號序列出現概率的基本問題。 隱馬爾可夫模型是一個關於可觀測變數O與隱藏變數 S 之間關系的隨機過程，與安全態勢系統的內部狀態 (隱狀態)及外部狀態(可觀測狀態)相比，具有很大的相 似性，因此，利用隱馬爾可夫模型能很好地分析網路 安全態勢問題。本文利用隱馬爾可夫的時間序列分析 方法刻畫不同時刻安全態勢的前後依賴關系。
已知 T 時刻網路安全態勢，預測 T+1，T+2，⋯， T+n 時刻可能的網路安全態勢。以網路安全態勢的網路基礎運行性(runnability)、網路脆弱性(vulnerability) 和網路威脅性(threat)三維組成隱馬爾可夫模型的外在表現特徵，即可觀測狀態或外部狀態，它們分別具有 「高、中、差」 或「1， 2，3」取值，則安全態勢共有 33=27 種外部組合狀態。模型的內部狀態(隱狀態)為安全態 勢 SA的「高、中高、中、中差、差」取值。注意：在本 文中外部特徵的 3 個維度，每個維度三等取值，而內部 狀態 SA為五等取值。模型示例如圖 1 所示。
網路安全態勢SA一般以某個概率aij在「高、中高、 中、中差、差」這 5 個狀態之間相互轉換，從一個狀態 向另一個狀態遷移，這些狀態稱為內部狀態或隱狀態， 外界無法監測到。然而，可以通過監測工具監測到安 全態勢外在的表現特徵，如網路基礎運行性 (runnability)、網路脆弱性(vulnerability)和網路威脅性 (threat)三維。監測到的這些參數值組合一個整體可以 認為是一個可觀測狀態(外部狀態，此觀測狀態由 L 個 分量構成，是 1 個向量)。圖 1 中，設狀態 1 為安全態 勢「高」狀態，狀態 5 為安全態勢「差」狀態。在實際應 用中，根據具體情況可自行設定，本文取安全態勢每 維外在表現特徵 L=3，則有 27 種安全態勢可觀測外部 狀態，而其內部狀態(隱狀態)N 共為 5 種。
定義 1： 設網路安全態勢 SA內部隱狀態可表示為S1，S2，⋯，S5，則網路安全態勢將在這 5 個隱狀態之 間以某個概率 aij自由轉移，其中 0≤aij≤1。
定義 2： 網路安全態勢 SA外在表現特徵可用 L 個 隨機變數 xi(1≤i≤L, 本處 L=3)表示，令 v=(x1， x2，⋯， xL)構成 1 個 L 維隨機變數 v；在時刻 I，1 次具體觀測 oi的觀測值表示為 vi，則經過 T 個時刻對 v 觀測得到 1 個安全態勢狀態觀測序列 O={o1，o2，⋯，oT}。
本文基本思路是：建立相應的隱馬爾可夫模型， 收集內、外部狀態總數訓練隱馬爾可夫模型；當網路安全態勢異常時，通過監測器收集網路外在表現特徵數據，利用已訓練好 HMM 的模型對網路安全態勢進行預測，為管理員提供決策服務。
基本步驟如下：首先，按引理 1 賦 給隱馬爾可夫模型 λ=(π，A，B)這 3 個參數的先驗值； 其次，按照一定規則隨機採集樣本訓練 HMM 模型直 至收斂，獲得 3 個參數的近似值；最後，由一組網路 安全態勢樣本觀測序列預測下一階段態勢。
本實驗採集一組 10 個觀測樣本數據為：
<高、高、 高>，<高、高、高>，<高、中、高>，
<高、中、中>， <中、中、中>，<中、中、中>，
<中、中、高>，<中、 高、高>，<高、高、高>和<高、高、高>。
輸入到隱馬爾可夫模型中，經解碼為安全態勢隱狀態： 「高、高、 中高、中高、中、中、中高、中高、高、高」。最後 1 個隱狀態 qT=「高」。由於 a11=0.682 6（上一次為高，下一次為高的狀態轉移概率），在所有的隱狀態 轉移概率中為最高，所以，在 T+1 時刻的安全態勢 SA 為 qT+1=「高」。網路安全態勢預測對比圖如圖 4 所示， 其中，縱軸表示安全態勢等級，「5」表示「高」，「0」表 示「低」；橫軸表示時間，在采樣序號 10 時，安全態勢 為高，經預測下一個時刻 11 時，安全態勢應該為高， 可信度達 68.26%。通過本實驗，依據訓練好的隱馬爾 可夫預測模式可方便地預測下一時刻的網路安全態勢 發展趨勢。從圖 4 可明顯看出本文的 HMM 方法可信 度比貝葉斯預測方法的高。