網路安全大數據分析

1. 大數據與大規模網路安全感知技術初探

大數據與大規模網路安全感知技術初探
快速發展的互聯網技術不斷地改變人們的生活方式，然而，多層面的安全威脅和安全風險也不斷出現。對於一個大型網路，在網路安全層面，除了訪問控制、入侵檢測、身份識別等基礎技術手段，需要安全運維和管理人員能夠及時感知網路中的異常事件與整體安全態勢。對於安全運維人員來說，如何從成千上萬的安全事件和日誌中找到最有價值、最需要處理和解決的安全問題，從而保障網路的安全狀態，是他們最關心也是最需要解決的問題。與此同時，對於安全管理者和高層管理者而言，如何描述當前網路安全的整體狀況，如何預測和判斷風險發展的趨勢，如何指導下一步安全建設與規劃，則是一道持久的難題。
隨著大數據技術的成熟、應用與推廣，網路安全態勢感知技術有了新的發展方向，大數據技術特有的海量存儲、並行計算、高效查詢等特點，為大規模網路安全態勢感知的關鍵技術創造了突破的機遇。本文將對大規模網路環境下的安全態勢感知、大數據技術在安全感知方面的促進做一些探討。
對於一個大規模的網路而言，面臨的風險也是巨大的，可分為廣度風險和深度風險。從廣度上講，以中國移動的CMNET網路為例，所轄IP地址超過3000萬個，提供對外服務的網站數千個，規模大、節點類型豐富多樣，伴隨其中的安全問題隨網路節點數量的增加呈指數級上升。從深度上講，下一代移動互聯網安全威脅主要表現在傳統攻擊依然存在且手段多樣、APT（高級持續性威脅）攻擊逐漸增多且造成的損失不斷增大。而攻擊者的工具和手段呈現平台化、集成化和自動化的特點，具有更強的隱蔽性、更長的攻擊與潛伏時間、更加明確和特定的攻擊目標。以上造成了下一代安全威脅具有更強的殺傷能力與逃避能力。結合廣度風險與深度風險來看，大規模網路所引發的安全保障的復雜度激增，主要面臨的問題包括：安全數據量巨大；安全事件被割裂，從而難以感知；安全的整體狀況無法描述。
網路安全感知能力具體可分為資產感知、脆弱性感知、安全事件感知和異常行為感知4個方面。資產感知是指自動化快速發現和收集大規模網路資產的分布情況、更新情況、屬性等信息；脆弱性感知則包括3個層面的脆弱性感知能力：不可見、可見、可利用；安全事件感知是指能夠確定安全事件發生的時間、地點、人物、起因、經過和結果；異常行為感知是指通過異常行為判定風險，以彌補對不可見脆弱性、未知安全事件發現的不足，主要面向的是感知未知的攻擊。
一個相對完整的網路安全感知的能力模型與架構設計如下圖所示：
隨著Hadoop、NoSQL等技術的興起，BigData大數據的應用逐漸增多和成熟，而大數據自身擁有Velocity快速處理、Volume大數據量存儲、Variety支持多類數據格式三大特性。大數據的這些天生特性，恰巧可以用於大規模網路的安全感知。首先，多類數據格式可以使網路安全感知獲取更多類型的日誌數據，包括網路與安全設備的日誌、網路運行情況信息、業務與應用的日誌記錄等；其次，大數據量存儲與快速處理為高速網路流量的深度安全分析提供了技術支持，可以為高智能模型演算法提供計算資源；最後，在異常行為的識別過程中，核心是對正常業務行為與異常攻擊行為之間的未識別行為進行離群度分析，大數據使得在分析過程中採用更小的匹配顆粒與更長的匹配時間成為可能。
中國移動自2010年起在雲計算和大數據方面就開始了積極探索。中國移動的「大雲」系統目前已實現了分布式海量數據倉庫、分布式計算框架、雲存儲系統、彈性計算系統、並行數據挖掘工具等關鍵功能。在「大雲」系統的基礎上，中國移動的網路安全感知也具備了一定的技術積累，進行了大規模網路安全感知和防禦體系的技術研究，在利用雲平台進行脆弱性發現方面的智能型任務調度演算法、主機和網路異常行為發現模式等關鍵技術上均有突破，在安全運維中取得了一些顯著的效果。
大數據的出現，擴展了計算和存儲資源，提供了基礎平台和大數據量處理的技術支撐，為安全態勢的分析、預測創造了無限可能。

2. 大數據和網路安全哪個方向更好

隨著工業物聯網(IIoT)在製造企業的全面鋪開，安全專家必須准備好弄懂這些網路應有的樣子與操作。同時，所有安全計劃都需擁有足夠的彈性，要能扛住迎面而來的各種攻擊。未來十年將給網路安全帶來最大影響的是什麼?簡單講，這個問題的答案有兩個方向：人工智慧(AI)和大數據分析。

鑒於這些技術發展會給未來時光帶來重大影響，未來的安全環境，將取決於AI和分析如何融入囊括了網路及物理安全的全面彈性安全計劃。

網路安全-工業物聯網

至於如何構建該整體安全項目，能夠賦予製造商資產清單與網路可見性的網路監視技術是個不錯的開始。隨著公司企業越來越依賴數字環境，擁有該總體安全觀也變得越來越重要了。如果十年內發生的攻擊類似烏克蘭兩次遭遇的大斷電，或挪威鋁業巨頭NorskHydro遭遇的勒索軟體攻擊，公司企業需准備備用工廠，以便在必要的時候能夠手動運營以阻止攻擊。

未來5~10年，物聯網對工業運營的意義愈加重大，工業系統也將接入可大幅降低設備間通信延遲的5G網路，因而工業系統聯網程度增加幾乎已成不爭的事實。物聯網設備安全通常天生不怎麼強，所以當物聯網設備大規模部署的時候，工業系統便面臨相當棘手的設備安全管理挑戰了。

網路安全-工業運營

更糟的是，連接性增加意味著能嘗試突破系統的黑客也增加了，更高端的黑客或許能夠窺探系統，而網路安全問題也隨著連接性的增長而愈加惡化。而且，很多工業系統如果以特定方式操縱可能傷及人命，所以連接性增加不僅影響到工業系統管理和保護，也影響公共政策制定。

網路安全-數字轉型

工業網路安全遭受的最大影響將是數字轉型的非預期結果。數字轉型很好，也很有必要，但同時伴隨著風險。隨著我們引入越來越多的數字終端，數據流隨之產生。數據流的飛速增長將超出我們的處理范圍，無法現場有效分析全部數據。而且，我們將以這些數據驅動有關過程的決策，甚或驅動過程本身。最終，我們或許會開始通過人工智慧/機器學習將這些分析性數據產品饋送回過程。

換句話說，過程產生數據，數據離開過程網路流向雲、霧、湖、現場、外部等等地方，被分析、重用再饋送回過程。所有這些都會以我們剛剛才開始考慮的方式，往過程數據及該控制/過程網路外部相關系統，引入新的風險。

3. 大數據與網路安全有何聯系

可以通過大數據的分析來確保網路安全 網路安全是是確保大數據順利進行 的基礎 採納吧

4. 如何利用大數據來處理網路安全攻擊

「大數據」已經成為時下最火熱的IT行業詞彙，各行各業的大數據解決方案層出不窮。究竟什麼是大數據、大數據給信息安全帶來哪些挑戰和機遇、為什麼網路安全需要大數據，以及怎樣把大數據思想應用於網路安全技術，本文給出解答。
一切都源於APT
APT（Advanced Persistent Threat）攻擊是一類特定的攻擊，為了獲取某個組織甚至是國家的重要信息，有針對性的進行的一系列攻擊行為的整個過程。APT攻擊利用了多種攻擊手段，包括各種最先進的手段和社會工程學方法，一步一步的獲取進入組織內部的許可權。APT往往利用組織內部的人員作為攻擊跳板。有時候，攻擊者會針對被攻擊對象編寫專門的攻擊程序，而非使用一些通用的攻擊代碼。此外，APT攻擊具有持續性，甚至長達數年。這種持續體現在攻擊者不斷嘗試各種攻擊手段，以及在滲透到網路內部後長期蟄伏，不斷收集各種信息，直到收集到重要情報。更加危險的是，這些新型的攻擊和威脅主要就針對國家重要的基礎設施和單位進行，包括能源、電力、金融、國防等關繫到國計民生，或者是國家核心利益的網路基礎設施。
現有技術為什麼失靈
先看兩個典型APT攻擊案例，分析一下盲點在哪裡：
1、 RSA SecureID竊取攻擊
1) 攻擊者給RSA的母公司EMC的4名員工發送了兩組惡意郵件。郵件標題為「2011 Recruitment Plan」，寄件人是[email protected]，正文很簡單，寫著「I forward this file to you for review. Please open and view it.」;裡面有個EXCEL附件名為「2011 Recruitment plan.xls」；
2) 很不幸，其中一位員工對此郵件感到興趣，並將其從垃圾郵件中取出來閱讀，殊不知此電子表格其實含有當時最新的Adobe Flash的0day漏洞(CVE-2011-0609)。這個Excel打開後啥也沒有，除了在一個表單的第一個格子裡面有個「X」(叉)。而這個叉實際上就是內嵌的一個Flash；
3) 該主機被植入臭名昭著的Poison Ivy遠端控制工具，並開始自BotNet的C&C伺服器(位於 good.mincesur.com)下載指令進行任務；
4) 首批受害的使用者並非「位高權重」人物，緊接著相關聯的人士包括IT與非IT等伺服器管理員相繼被黑；
5) RSA發現開發用伺服器(Staging server)遭入侵，攻擊方隨即進行撤離，加密並壓縮所有資料(都是rar格式)，並以FTP傳送至遠端主機，又迅速再次搬離該主機，清除任何蹤跡；
6) 在拿到了SecurID的信息後，攻擊者就開始對使用SecurID的公司(例如上述防務公司等)進行攻擊了。
2、 震網攻擊
遭遇超級工廠病毒攻擊的核電站計算機系統實際上是與外界物理隔離的，理論上不會遭遇外界攻擊。堅固的堡壘只有從內部才能被攻破，超級工廠病毒也正充分的利用了這一點。超級工廠病毒的攻擊者並沒有廣泛的去傳播病毒，而是針對核電站相關工作人員的家用電腦、個人電腦等能夠接觸到互聯網的計算機發起感染攻擊，以此 為第一道攻擊跳板，進一步感染相關人員的U盤，病毒以U盤為橋梁進入「堡壘」內部，隨即潛伏下來。病毒很有耐心的逐步擴散，利用多種漏洞，包括當時的一個 0day漏洞，一點一點的進行破壞。這是一次十分成功的APT攻擊，而其最為恐怖的地方就在於極為巧妙的控制了攻擊范圍，攻擊十分精準。
以上兩個典型的APT攻擊案例中可以看出，對於APT攻擊，現代安全防禦手段有三個主要盲點：

1、0day漏洞與遠程加密通信
支撐現代網路安全技術的理論基礎最重要的就是特徵匹配，廣泛應用於各類主流網路安全產品，如殺毒、入侵檢測/防禦、漏洞掃描、深度包檢測。Oday漏洞和遠程加密通信都意味著沒有特徵，或者說還沒來得及積累特徵，這是基於特徵匹配的邊界防護技術難以應對的。
2、長期持續性的攻擊
現代網路安全產品把實時性作為衡量系統能力的一項重要指標，追求的目標就是精準的識別威脅，並實時的阻斷。而對於APT這種Salami式的攻擊，則是基於實時時間點的檢測技術難以應對的。
3、內網攻擊
任何防禦體系都會做安全域劃分，內網通常被劃成信任域，信任域內部的通信不被監控，成為了盲點。需要做接入側的安全方案加固，但不在本文討論范圍。

大數據怎麼解決問題
大數據可總結為基於分布式計算的數據挖掘，可以跟傳統數據處理模式對比去理解大數據：
1、數據采樣——>全集原始數據（Raw Data）
2、小數據+大演算法——>大數據+小演算法+上下文關聯+知識積累
3、基於模型的演算法——>機械窮舉（不帶假設條件）
4、精確性+實時性——>過程中的預測
使用大數據思想，可對現代網路安全技術做如下改進：
1、特定協議報文分析——>全流量原始數據抓取（Raw Data）
2、實時數據+復雜模型演算法——>長期全流量數據+多種簡單挖掘演算法+上下文關聯+知識積累
3、實時性+自動化——>過程中的預警+人工調查
通過傳統安全防禦措施很難檢測高級持續性攻擊，企業必須先確定日常網路中各用戶、業務系統的正常行為模型是什麼，才能盡早確定企業的網路和數據是否受到了攻擊。而安全廠商可利用大數據技術對事件的模式、攻擊的模式、時間、空間、行為上的特徵進行處理，總結抽象出來一些模型，變成大數據安全工具。為了精準地描述威脅特徵，建模的過程可能耗費幾個月甚至幾年時間，企業需要耗費大量人力、物力、財力成本，才能達到目的。但可以通過整合大數據處理資源，協調大數據處理和分析機制，共享資料庫之間的關鍵模型數據，加快對高級可持續攻擊的建模進程，消除和控制高級可持續攻擊的危害。

5. 現在大數據有前途，還是網路安全有什麼前途

當然他們兩個是相輔相成的，缺一不可，大數據以後也是有前途，而網路安全確實也是很有前途的，他們只能說病假，其曲如曲，如果一個沒有了用處，另一個也就完蛋了，所以說他們倆看來以後都是朝陽企業

6. 網路安全發展現狀

過去，網路安全得不到用戶的足夠重視，行業發展緩慢。近幾年，一方面，工信部和發改委對網路安全行業的政策支持越來越大;另一方面，互聯網應用領域的發展越來越廣泛和深入，致使網路安全的需求越來越大。如今，5G網路、人工智慧、工業互聯網、大數據中心等為代表的一系列新型基礎設施逐漸成為了創新熱點。網路安全產業成為保障「新基建」安全的重要基石，隨著「新基建」在各個領域的深入開展，其將為網路安全企業的發展提供新的機遇。

網路安全行業政策密集出台

2013年11月，國家安全委員會正式成立;2014年2月，中央網路安全和信息化領導小組成立，充分展示了我國對網路安全行業的重視。近年來，我國政府一直出台多項政策推動網路信息安全行業的發展，以滿足對政府、企業等網路信息安全的合規要求。國家層面的政策從兩方面推動我國網路安全行業發展，一方面，加強對網路安全的重視，提高網路安全產品的應用規模;另一方面，從硬體設備等基礎設施上杜絕網路安全隱患。

一系列法規政策提高了政府、企業對網路信息安全的合規要求，預計將帶動政府、企業在網路信息安全方面的投入。

以上數據及分析均來自於前瞻產業研究院《中國網路安全行業發展前景預測與投資戰略規劃分析報告》。

7. 大數據環境下的網路安全分析

大數據環境下的網路安全分析
「大數據」一詞常被誤解。事實上，使用頻率太高反而使它幾乎沒有什麼意義了。大數據確實存儲並處理大量的數據集合，但其特性體現遠不止於此。

在著手解決大數據問題時，將其看作是一種觀念而不是特定的規模或技術非常有益。就其最簡單的表現來說，大數據現象由三個大趨勢的交集所推動：包含寶貴信息的大量數據、廉價的計算資源、幾乎免費的分析工具。
大數據架構和平台算是新事物，而且還在以一種非凡的速度不斷發展著。商業和開源的開發團隊幾乎每月都在發布其平台的新功能。當今的大數據集群將會與將來我們看到的數據集群有極大不同。適應這種新困難的安全工具也將發生變化。在採用大數據的生命周期中，業界仍處於早期階段，但公司越早開始應對大數據的安全問題，任務就越容易。如果安全成為大數據集群發展過程中的一種重要需求，集群就不容易被黑客破壞。此外，公司也能夠避免把不成熟的安全功能放在關鍵的生產環境中。
如今，有很多特別重視不同數據類型（例如，地理位置數據）的大數據管理系統。這些系統使用多種不同的查詢模式、不同的數據存儲模式、不同的任務管理和協調、不同的資源管理工具。雖然大數據常被描述為「反關系型」的，但這個概念還無法抓住大數據的本質。為了避免性能問題，大數據確實拋棄了許多關系型資料庫的核心功能，卻也沒犯什麼錯誤：有些大數據環境提供關系型結構、業務連續性和結構化查詢處理。
由於傳統的定義無法抓住大數據的本質，我們不妨根據組成大數據環境的關鍵要素思考一下大數據。這些關鍵要素使用了許多分布式的數據存儲和管理節點。這些要素存儲多個數據副本，在多個節點之間將數據變成「碎片」。這意味著在單一節點發生故障時，數據查詢將會轉向處理資源可用的數據。正是這種能夠彼此協作的分布式數據節點集群，可以解決數據管理和數據查詢問題，才使得大數據如此不同。
節點的鬆散聯系帶來了許多性能優勢，但也帶來了獨特的安全挑戰。大數據資料庫並不使用集中化的「圍牆花園」模式（與「完全開放」的互聯網相對而言，它指的是一個控制用戶對網頁內容或相關服務進行訪問的環境），內部的資料庫並不隱藏自己而使其它應用程序無法訪問。在這兒沒有「內部的」概念，而大數據並不依賴數據訪問的集中點。大數據將其架構暴露給使用它的應用程序，而客戶端在操作過程中與許多不同的節點進行通信。
規模、實時性和分布式處理：大數據的本質特徵（使大數據解決超過以前數據管理系統的數據管理和處理需求，例如，在容量、實時性、分布式架構和並行處理等方面）使得保障這些系統的安全更為困難。大數據集群具有開放性和自我組織性，並可以使用戶與多個數據節點同時通信。驗證哪些數據節點和哪些客戶應當訪問信息是很困難的。別忘了，大數據的本質屬性意味著新節點自動連接到集群中，共享數據和查詢結果，解決客戶任務。
嵌入式安全：在涉及大數據的瘋狂競賽中，大部分的開發資源都用於改善大數據的可升級、易用性和分析功能上。只有很少的功能用於增加安全功能。但是，你希望得到嵌入到大數據平台中的安全功能。你希望開發人員在設計和部署階段能夠支持所需要的功能。你希望安全功能就像大數據集群一樣可升級、高性能、自組織。問題是，開源系統或多數商業系統一般都不包括安全產品。而且許多安全產品無法嵌入到Hadoop或其它的非關系型資料庫中。多數系統提供最少的安全功能，但不足以包括所有的常見威脅。在很大程度上，你需要自己構建安全策略。
應用程序：面向大數據集群的大多數應用都是Web應用。它們利用基於Web的技術和無狀態的基於REST的API。雖然全面討論大數據安全的這個問題超出了本文的范圍，但基於Web的應用程序和API給這些大數據集群帶來了一種最重大的威脅。在遭受攻擊或破壞後，它們可以提供對大數據集群中所存儲數據的無限制訪問。應用程序安全、用戶訪問管理及授權控制非常重要，與重點保障大數據集群安全的安全措施一樣都不可或缺。
數據安全：存儲在大數據集群中的數據基本上都保存在文件中。每一個客戶端應用都可以維持其自己的包含數據的設計，但這種數據是存儲在大量節點上的。存儲在集群中的數據易於遭受正常文件容易感染的所有威脅，因而需要對這些文件進行保護，避免遭受非法的查看和復制。

8. 大數據帶來解決網路安全新機遇

大數據帶來解決網路安全新機遇_數據分析師考試

2015年中國互聯網大會近日在北京召開，網路安全成為討論熱點，在專家看來，傳統防禦手段已經失效。

普華永道發布的調查報告指出，2014年全球所有行業監測到的網路攻擊共有4280萬次，比上一年增長了48%。有專家分析，隨著大數據時代的到來，解決網路安全問題變得越來越難。

360公司總裁齊向東認為，以前的互聯網安全，企業面臨的是只是操作系統的安全問題，用軟體就能夠解決。但是進入萬物互聯的時代以後，包括智能攝像機、路由器、汽車，甚至隨身穿戴、智能醫療設備等，都趨於智能化、網路化，解決這些智能硬體的安全問題，無法用上網安全的解決方案完成。

齊向東透露了一組數據：2011年到2014年，國內互聯網公開的安全事故已經造成了累計11.3億用戶的信息泄露。95%的網站能夠被黑，40%網站存在後門，70%網站存在漏洞。」

隨著大數據、雲服務的普及，物聯網成為攻擊對象，網路安全威脅如「細胞分裂」般擴散。在新一代技術革命的浪潮下，信息資源已經成為基礎性社會資源，融入到了社會生活的各個領域，顛覆性地改變著人類的生活方式和生產方式。

齊向東表示，「在個人網路安全領域，360已擁有超過12億的用戶，這就相當於12億個安全大數據的「探測器」，分布在互聯網每一個節點上。每一個用戶在使用產品的同時，這些終端設備都可以實時感知各種威脅和攻擊，匯集到雲端。」

以上是小編為大家分享的關於大數據帶來解決網路安全新機遇的相關內容，更多信息可以關注環球青藤分享更多干貨

9. 中國網路安全現狀

2021年7月20日，新浪科技發文稱iPhone手機存在安全隱患，Pegasus惡意軟體可能會入侵用戶的iPhone手機，竊取用戶的信息和郵件，甚至可以控制手機的麥克風和攝像頭，大數據時代用戶或無隱私可言。

實際上，我國對打擊大數據泄露安全事件有著強大的決心和執行力，在滴滴事件之後，國家網信辦依據《中華人民共和國國家安全法》《中華人民共和國網路安全法》《中華人民共和國數據安全法》等法律法規修訂了《網路安全審查好辦法》，向社會公開徵求意見，擬規定掌握超百萬用戶信息國外上市須審查。

由此可見，在我國互聯網高速發展的時代，用戶數據的監管變得越來越困難，此次網信辦修訂《網路安全審查辦法》凸顯了我國對收集隱私數據行為嚴厲打擊的決心。

網路安全行業主要企業：目前國內網路安全行業的主要企業有深信服(300454)、安恆信息(688023)、綠盟科技(300369)、啟明星辰(002439)、北信源(300352)等。

1、iPhone存在漏洞對用戶數據安全造成威脅

2021年7月20日，新浪科技發文稱iPhone存在漏洞，Pegasus惡意軟體在用戶不點擊鏈接的情況下也可以入侵用戶的手機，竊取信息和郵件，甚至可以操控用戶的攝像頭，此消息一出，網友大呼大數據時代無隱私可言，網路安全問題堪憂，實際上，在我國對網路安全問題有著強大的決心，滴滴事件之後，國家網信辦依據《中華人民共和國國家安全法》《中華人民共和國網路安全法》《中華人民共和國數據安全法》等法律法規修訂了《網路安全審查好辦法》，向社會公開徵求意見，擬規定掌握超百萬用戶信息國外上市須審查。

由此可見，在我國互聯網高速發展的時代，用戶數據的監管變得越來越困難，此次網信辦修訂《網路安全審查辦法》凸顯了我國對收集隱私數據行為嚴厲打擊的決心。

綜合來看，滴滴事件對國家數據安全層面敲起了警鍾，而iPhone此次網路安全漏洞問題針對個人數據安全問題敲響了警鈴，相信未來隨著我國網路安全相關法案的不斷完善，我國個人網路安全問題將得到有效的保護。

—— 以上數據參考前瞻產業研究院《中國網路安全行業發展前景預測與投資戰略規劃分析報告》