① 大數據環境下的網路安全分析
大數據環境下的網路安全分析
「大數據」一詞常被誤解。事實上，使用頻率太高反而使它幾乎沒有什麼意義了。大數據確實存儲並處理大量的數據集合，但其特性體現遠不止於此。
在著手解決大數據問題時，將其看作是一種觀念而不是特定的規模或技術非常有益。就其最簡單的表現來說，大數據現象由三個大趨勢的交集所推動：包含寶貴信息的大量數據、廉價的計算資源、幾乎免費的分析工具。
大數據架構和平台算是新事物，而且還在以一種非凡的速度不斷發展著。商業和開源的開發團隊幾乎每月都在發布其平台的新功能。當今的大數據集群將會與將來我們看到的數據集群有極大不同。適應這種新困難的安全工具也將發生變化。在採用大數據的生命周期中，業界仍處於早期階段，但公司越早開始應對大數據的安全問題，任務就越容易。如果安全成為大數據集群發展過程中的一種重要需求，集群就不容易被黑客破壞。此外，公司也能夠避免把不成熟的安全功能放在關鍵的生產環境中。
如今，有很多特別重視不同數據類型（例如，地理位置數據）的大數據管理系統。這些系統使用多種不同的查詢模式、不同的數據存儲模式、不同的任務管理和協調、不同的資源管理工具。雖然大數據常被描述為「反關系型」的，但這個概念還無法抓住大數據的本質。為了避免性能問題，大數據確實拋棄了許多關系型資料庫的核心功能，卻也沒犯什麼錯誤：有些大數據環境提供關系型結構、業務連續性和結構化查詢處理。
由於傳統的定義無法抓住大數據的本質，我們不妨根據組成大數據環境的關鍵要素思考一下大數據。這些關鍵要素使用了許多分布式的數據存儲和管理節點。這些要素存儲多個數據副本，在多個節點之間將數據變成「碎片」。這意味著在單一節點發生故障時，數據查詢將會轉向處理資源可用的數據。正是這種能夠彼此協作的分布式數據節點集群，可以解決數據管理和數據查詢問題，才使得大數據如此不同。
節點的鬆散聯系帶來了許多性能優勢，但也帶來了獨特的安全挑戰。大數據資料庫並不使用集中化的「圍牆花園」模式（與「完全開放」的互聯網相對而言，它指的是一個控制用戶對網頁內容或相關服務進行訪問的環境），內部的資料庫並不隱藏自己而使其它應用程序無法訪問。在這兒沒有「內部的」概念，而大數據並不依賴數據訪問的集中點。大數據將其架構暴露給使用它的應用程序，而客戶端在操作過程中與許多不同的節點進行通信。
規模、實時性和分布式處理：大數據的本質特徵（使大數據解決超過以前數據管理系統的數據管理和處理需求，例如，在容量、實時性、分布式架構和並行處理等方面）使得保障這些系統的安全更為困難。大數據集群具有開放性和自我組織性，並可以使用戶與多個數據節點同時通信。驗證哪些數據節點和哪些客戶應當訪問信息是很困難的。別忘了，大數據的本質屬性意味著新節點自動連接到集群中，共享數據和查詢結果，解決客戶任務。
嵌入式安全：在涉及大數據的瘋狂競賽中，大部分的開發資源都用於改善大數據的可升級、易用性和分析功能上。只有很少的功能用於增加安全功能。但是，你希望得到嵌入到大數據平台中的安全功能。你希望開發人員在設計和部署階段能夠支持所需要的功能。你希望安全功能就像大數據集群一樣可升級、高性能、自組織。問題是，開源系統或多數商業系統一般都不包括安全產品。而且許多安全產品無法嵌入到Hadoop或其它的非關系型資料庫中。多數系統提供最少的安全功能，但不足以包括所有的常見威脅。在很大程度上，你需要自己構建安全策略。
應用程序：面向大數據集群的大多數應用都是Web應用。它們利用基於Web的技術和無狀態的基於REST的API。雖然全面討論大數據安全的這個問題超出了本文的范圍，但基於Web的應用程序和API給這些大數據集群帶來了一種最重大的威脅。在遭受攻擊或破壞後，它們可以提供對大數據集群中所存儲數據的無限制訪問。應用程序安全、用戶訪問管理及授權控制非常重要，與重點保障大數據集群安全的安全措施一樣都不可或缺。
數據安全：存儲在大數據集群中的數據基本上都保存在文件中。每一個客戶端應用都可以維持其自己的包含數據的設計，但這種數據是存儲在大量節點上的。存儲在集群中的數據易於遭受正常文件容易感染的所有威脅，因而需要對這些文件進行保護，避免遭受非法的查看和復制。
② 大數據時代下網路安全的重要性
隨著互聯網的飛速發展，出現了海量的數據信息，人類 社會 也逐步邁進了大數據時代。大數據時代可以為人們帶來更多的關於時代發展的實時信息，使人類的思想能夠跟上時代發展的腳步，為人們之啟州間的交流與溝通帶來便利。即使大數據時代互聯網技術自身擁有諸多的優點，但是在應用過程中依然存在很多的網路信息安全風險，這將會導致信息數據不真實，同時又會對人們使用信息的時效性造成不良影響。所以，在大數據時代，我們應該更加重視網路信息的安全性，依託科學合理的網路信息安全管理方案來防止網路安全問題的發生，從而加快中虧螞國現代化信息建設的腳步。
大數據時代網路存在的安全問 題
由於網路具有較強的開放性特質，能夠實現跨越時空的交流與互動，但於此同時，也容易遭受不同空間與主題的入侵和攻擊，這就會導致數據信息發生泄露，繼而造成嚴重的網路安全問題。其次就是人為操作失誤，由於網民在上網過程中沒有清晰的安全意識，容易下載並點擊危險的軟體和網站，導致手機或電腦遭受病毒的襲擊，進而丟失私人信息、賬戶信息等。再次就是網路黑客問題，黑客能夠通過竊取網路信息或網路密鑰的方式，破壞用戶的網路系統，使用戶的私人信息受到威脅，甚至會導致整個網路系統出現故障或癱瘓。
大數據時代下網路安全的防護措施
1、使用安全的殺毒軟體和加強監管工作
計算機不僅需要採用適當的防火牆技術，營造優良的網路運營氛圍，且還需要悄空蔽安裝殺毒軟體。這樣一來便可詳細檢查計算機當中的數據信息，全面提高計算機的安全性，防止因為病毒入侵帶來的安全隱患。另一方面，企業也需要做好計算機網路安全的監管工作，集中管理企業現有賬號，強化自身安全管理的意識。
2、加強網路安全意識
相關工作人員應深入了解計算機的操作步驟和注意事項，注意可能存在的危險，不下載、不點擊來源不明的鏈接，提升自身的網路安全意識。此外，還需要強化學習，拓展知識面，提升防範能力，養成正確的使用計算機的習慣。
3、加強網路管控能力
影響計算機安全的主要原因是工作人員對網路維護的重視程度不夠，只是計算機安全受到影響。網路管理者應加強對信息安全的維護力度，構建出相應的網路管控機制。可通過相關的防控軟體對網路病毒、黑客入侵的行為進行監控，同時該系統也能夠對用戶所參與的網路活動進行分析和把控，及時彈出安全彈窗，以此避免網路安全問題的發生。
4、加強網路安全管理
加強網路安全管理，注重技術應用，為網路安全提供基礎保障。即通過網路維護，定期檢查網路安全問題，提升對網路安全及數據安全的管理力度，保障信息網路的正常運作。在這個過程中，網路管理者需要定期檢查系統漏洞，及時地更新殺毒軟體的病毒庫等。
結語
③ 大數據安全分析的6個要點
大數據安全分析的6個要點
現在，很多行業都已經開始利用大數據來提高銷售，降低成本，精準營銷等等。然而，其實大數據在網路安全與信息安全方面也有很長足的應用。特別是利用大數據來甄別和發現風險和漏洞。
通過大數據，人們可以分析大量的潛在安全事件，找出它們之間的聯系從而勾勒出一個完整的安全威脅。通過大數據，分散的數據可以被整合起來，使得安全人員能夠採用更加主動的安全防禦手段。
今天，網路環境極為復雜，APT攻擊以及其他一些網路攻擊可以通過對從不同數據源的數據的搜索和分析來對安全威脅加以甄別，要做到這一點，就需要對一系列數據源的進行監控，包括DNS數據，命令與控制(C2)，黑白名單等。從而能夠把這些數據進行關聯來進行發囧。
企業針對安全的大數據分析下面是一些要點：
DNS數據
DNS數據能夠提供一系列新注冊域名，經常用來進行垃圾信息發送的域名，以及新創建的域名等等，所有這些信息都可以和黑白名單結合起來，所有這些數據都應該收集起來做進一步分析。
如果自有DNS伺服器，就能過檢查那些對外的域名查詢，這樣可能發現一些無法解析的域名。這種情況就可能意味著你檢測到了一個「域名生成演算法」。這樣的信息就能夠讓安全團隊對公司網路進行保護。而且如果對區域網流量數據日誌進行分析的話，就有可能找到對應的受到攻擊的機器。
命令與控制(C2)系統
把命令與控制數據結合進來可以得到一個IP地址和域名的黑名單。對於公司網路來說，網路流量絕對不應該流向那些已知的命令與控制系統。如果網路安全人員要仔細調查網路攻擊的話，可以把來自C2系統的流量引導到公司設好的「蜜罐」機器上去。
安全威脅情報
有一些類似與網路信譽的數據源可以用來判定一個地址是否是安全的。有些數據源提供「是」與「否」的判定，有的還提供一些關於威脅等級的信息。網路安全人員能夠根據他們能夠接受的風險大小來決定某個地址是否應該訪問。
網路流量日誌
有很多廠商都提供記錄網路流量日誌的工具。在利用流量日誌來分析安全威脅的時候，人們很容易被淹沒在大量的「噪音」數據中。不過流量日誌依然是安全分析的基本要求。有一些好的演算法和軟體能夠幫助人們提供分析質量。
「蜜罐」數據
「蜜罐」可以有效地檢測針對特定網路的惡意軟體。此外，通過「蜜罐」獲得的惡意軟體可以通過分析獲得其特徵碼，從而進一步監控網路中其他設備的感染情況。這樣的信息是非常有價值的，尤其是很多APT攻擊所採用的定製的惡意代碼往往無法被常規防病毒軟體所發現。參見本站文章企業設置「蜜罐」的五大理由
數據質量很重要
最後，企業要注意數據的質量。市場上有很多數據可用，在安全人員進行大數據安全分析時，這些數據的質量和准確性是一個最重要的考量。因此，企業需要有一個內部的數據評估團隊針對數據來源提出相應的問題，如：最近的數據是什麼時候添加的?有沒有樣本數據以供評估?每天能夠添加多少數據?這些數據哪些是免費的?數據總共收集了多久?等等。
安全事件和數據泄露的新聞幾乎每天都能夠出現在報紙上，即使企業已經開始採取手段防禦APT，傳統的安全防禦手段對於APT之類的攻擊顯得辦法不多。而利用大數據，企業可以採取更為主動的防禦措施，使得安全防禦的深度和廣度都大為加強。
④ 如何利用大數據來處理網路安全攻擊
「大數據」已經成為時下最火熱的IT行業詞彙，各行各業的大數據解決方案層出不窮。究竟什麼是大數據、大數據給信息安全帶來哪些挑戰和機遇、為什麼網路安全需要大數據，以及怎樣把大數據思想應用於網路安全技術，本文給出解答。
一切都源於APT
APT（Advanced Persistent Threat）攻擊是一類特定的攻擊，為了獲取某個組織甚至是國家的重要信息，有針對性的進行的一系列攻擊行為的整個過程。APT攻擊利用了多種攻擊手段，包括各種最先進的手段和社會工程學方法，一步一步的獲取進入組織內部的許可權。APT往往利用組織內部的人員作為攻擊跳板。有時候，攻擊者會針對被攻擊對象編寫專門的攻擊程序，而非使用一些通用的攻擊代碼。此外，APT攻擊具有持續性，甚至長達數年。這種持續體現在攻擊者不斷嘗試各種攻擊手段，以及在滲透到網路內部後長期蟄伏，不斷收集各種信息，直到收集到重要情報。更加危險的是，這些新型的攻擊和威脅主要就針對國家重要的基礎設施和單位進行，包括能源、電力、金融、國防等關繫到國計民生，或者是國家核心利益的網路基礎設施。
現有技術為什麼失靈
先看兩個典型APT攻擊案例，分析一下盲點在哪裡：
1、 RSA SecureID竊取攻擊
1) 攻擊者給RSA的母公司EMC的4名員工發送了兩組惡意郵件。郵件標題為「2011 Recruitment Plan」，寄件人是[email protected]，正文很簡單，寫著「I forward this file to you for review. Please open and view it.」;裡面有個EXCEL附件名為「2011 Recruitment plan.xls」；
2) 很不幸，其中一位員工對此郵件感到興趣，並將其從垃圾郵件中取出來閱讀，殊不知此電子表格其實含有當時最新的Adobe Flash的0day漏洞(CVE-2011-0609)。這個Excel打開後啥也沒有，除了在一個表單的第一個格子裡面有個「X」(叉)。而這個叉實際上就是內嵌的一個Flash；
3) 該主機被植入臭名昭著的Poison Ivy遠端控制工具，並開始自BotNet的C&C伺服器(位於 good.mincesur.com)下載指令進行任務；
4) 首批受害的使用者並非「位高權重」人物，緊接著相關聯的人士包括IT與非IT等伺服器管理員相繼被黑；
5) RSA發現開發用伺服器(Staging server)遭入侵，攻擊方隨即進行撤離，加密並壓縮所有資料(都是rar格式)，並以FTP傳送至遠端主機，又迅速再次搬離該主機，清除任何蹤跡；
6) 在拿到了SecurID的信息後，攻擊者就開始對使用SecurID的公司(例如上述防務公司等)進行攻擊了。
2、 震網攻擊
遭遇超級工廠病毒攻擊的核電站計算機系統實際上是與外界物理隔離的，理論上不會遭遇外界攻擊。堅固的堡壘只有從內部才能被攻破，超級工廠病毒也正充分的利用了這一點。超級工廠病毒的攻擊者並沒有廣泛的去傳播病毒，而是針對核電站相關工作人員的家用電腦、個人電腦等能夠接觸到互聯網的計算機發起感染攻擊，以此 為第一道攻擊跳板，進一步感染相關人員的U盤，病毒以U盤為橋梁進入「堡壘」內部，隨即潛伏下來。病毒很有耐心的逐步擴散，利用多種漏洞，包括當時的一個 0day漏洞，一點一點的進行破壞。這是一次十分成功的APT攻擊，而其最為恐怖的地方就在於極為巧妙的控制了攻擊范圍，攻擊十分精準。
以上兩個典型的APT攻擊案例中可以看出，對於APT攻擊，現代安全防禦手段有三個主要盲點：
1、0day漏洞與遠程加密通信
支撐現代網路安全技術的理論基礎最重要的就是特徵匹配，廣泛應用於各類主流網路安全產品，如殺毒、入侵檢測/防禦、漏洞掃描、深度包檢測。Oday漏洞和遠程加密通信都意味著沒有特徵，或者說還沒來得及積累特徵，這是基於特徵匹配的邊界防護技術難以應對的。
2、長期持續性的攻擊
現代網路安全產品把實時性作為衡量系統能力的一項重要指標，追求的目標就是精準的識別威脅，並實時的阻斷。而對於APT這種Salami式的攻擊，則是基於實時時間點的檢測技術難以應對的。
3、內網攻擊
任何防禦體系都會做安全域劃分，內網通常被劃成信任域，信任域內部的通信不被監控，成為了盲點。需要做接入側的安全方案加固，但不在本文討論范圍。
大數據怎麼解決問題
大數據可總結為基於分布式計算的數據挖掘，可以跟傳統數據處理模式對比去理解大數據：
1、數據采樣——>全集原始數據（Raw Data）
2、小數據+大演算法——>大數據+小演算法+上下文關聯+知識積累
3、基於模型的演算法——>機械窮舉（不帶假設條件）
4、精確性+實時性——>過程中的預測
使用大數據思想，可對現代網路安全技術做如下改進：
1、特定協議報文分析——>全流量原始數據抓取（Raw Data）
2、實時數據+復雜模型演算法——>長期全流量數據+多種簡單挖掘演算法+上下文關聯+知識積累
3、實時性+自動化——>過程中的預警+人工調查
通過傳統安全防禦措施很難檢測高級持續性攻擊，企業必須先確定日常網路中各用戶、業務系統的正常行為模型是什麼，才能盡早確定企業的網路和數據是否受到了攻擊。而安全廠商可利用大數據技術對事件的模式、攻擊的模式、時間、空間、行為上的特徵進行處理，總結抽象出來一些模型，變成大數據安全工具。為了精準地描述威脅特徵，建模的過程可能耗費幾個月甚至幾年時間，企業需要耗費大量人力、物力、財力成本，才能達到目的。但可以通過整合大數據處理資源，協調大數據處理和分析機制，共享資料庫之間的關鍵模型數據，加快對高級可持續攻擊的建模進程，消除和控制高級可持續攻擊的危害。