网络安全大数据分析

1. 大数据与大规模网络安全感知技术初探

大数据与大规模网络安全感知技术初探
快速发展的互联网技术不断地改变人们的生活方式，然而，多层面的安全威胁和安全风险也不断出现。对于一个大型网络，在网络安全层面，除了访问控制、入侵检测、身份识别等基础技术手段，需要安全运维和管理人员能够及时感知网络中的异常事件与整体安全态势。对于安全运维人员来说，如何从成千上万的安全事件和日志中找到最有价值、最需要处理和解决的安全问题，从而保障网络的安全状态，是他们最关心也是最需要解决的问题。与此同时，对于安全管理者和高层管理者而言，如何描述当前网络安全的整体状况，如何预测和判断风险发展的趋势，如何指导下一步安全建设与规划，则是一道持久的难题。
随着大数据技术的成熟、应用与推广，网络安全态势感知技术有了新的发展方向，大数据技术特有的海量存储、并行计算、高效查询等特点，为大规模网络安全态势感知的关键技术创造了突破的机遇。本文将对大规模网络环境下的安全态势感知、大数据技术在安全感知方面的促进做一些探讨。
对于一个大规模的网络而言，面临的风险也是巨大的，可分为广度风险和深度风险。从广度上讲，以中国移动的CMNET网络为例，所辖IP地址超过3000万个，提供对外服务的网站数千个，规模大、节点类型丰富多样，伴随其中的安全问题随网络节点数量的增加呈指数级上升。从深度上讲，下一代移动互联网安全威胁主要表现在传统攻击依然存在且手段多样、APT（高级持续性威胁）攻击逐渐增多且造成的损失不断增大。而攻击者的工具和手段呈现平台化、集成化和自动化的特点，具有更强的隐蔽性、更长的攻击与潜伏时间、更加明确和特定的攻击目标。以上造成了下一代安全威胁具有更强的杀伤能力与逃避能力。结合广度风险与深度风险来看，大规模网络所引发的安全保障的复杂度激增，主要面临的问题包括：安全数据量巨大；安全事件被割裂，从而难以感知；安全的整体状况无法描述。
网络安全感知能力具体可分为资产感知、脆弱性感知、安全事件感知和异常行为感知4个方面。资产感知是指自动化快速发现和收集大规模网络资产的分布情况、更新情况、属性等信息；脆弱性感知则包括3个层面的脆弱性感知能力：不可见、可见、可利用；安全事件感知是指能够确定安全事件发生的时间、地点、人物、起因、经过和结果；异常行为感知是指通过异常行为判定风险，以弥补对不可见脆弱性、未知安全事件发现的不足，主要面向的是感知未知的攻击。
一个相对完整的网络安全感知的能力模型与架构设计如下图所示：
随着Hadoop、NoSQL等技术的兴起，BigData大数据的应用逐渐增多和成熟，而大数据自身拥有Velocity快速处理、Volume大数据量存储、Variety支持多类数据格式三大特性。大数据的这些天生特性，恰巧可以用于大规模网络的安全感知。首先，多类数据格式可以使网络安全感知获取更多类型的日志数据，包括网络与安全设备的日志、网络运行情况信息、业务与应用的日志记录等；其次，大数据量存储与快速处理为高速网络流量的深度安全分析提供了技术支持，可以为高智能模型算法提供计算资源；最后，在异常行为的识别过程中，核心是对正常业务行为与异常攻击行为之间的未识别行为进行离群度分析，大数据使得在分析过程中采用更小的匹配颗粒与更长的匹配时间成为可能。
中国移动自2010年起在云计算和大数据方面就开始了积极探索。中国移动的“大云”系统目前已实现了分布式海量数据仓库、分布式计算框架、云存储系统、弹性计算系统、并行数据挖掘工具等关键功能。在“大云”系统的基础上，中国移动的网络安全感知也具备了一定的技术积累，进行了大规模网络安全感知和防御体系的技术研究，在利用云平台进行脆弱性发现方面的智能型任务调度算法、主机和网络异常行为发现模式等关键技术上均有突破，在安全运维中取得了一些显着的效果。
大数据的出现，扩展了计算和存储资源，提供了基础平台和大数据量处理的技术支撑，为安全态势的分析、预测创造了无限可能。

2. 大数据和网络安全哪个方向更好

随着工业物联网(IIoT)在制造企业的全面铺开，安全专家必须准备好弄懂这些网络应有的样子与操作。同时，所有安全计划都需拥有足够的弹性，要能扛住迎面而来的各种攻击。未来十年将给网络安全带来最大影响的是什么?简单讲，这个问题的答案有两个方向：人工智能(AI)和大数据分析。

鉴于这些技术发展会给未来时光带来重大影响，未来的安全环境，将取决于AI和分析如何融入囊括了网络及物理安全的全面弹性安全计划。

网络安全-工业物联网

至于如何构建该整体安全项目，能够赋予制造商资产清单与网络可见性的网络监视技术是个不错的开始。随着公司企业越来越依赖数字环境，拥有该总体安全观也变得越来越重要了。如果十年内发生的攻击类似乌克兰两次遭遇的大断电，或挪威铝业巨头NorskHydro遭遇的勒索软件攻击，公司企业需准备备用工厂，以便在必要的时候能够手动运营以阻止攻击。

未来5~10年，物联网对工业运营的意义愈加重大，工业系统也将接入可大幅降低设备间通信延迟的5G网络，因而工业系统联网程度增加几乎已成不争的事实。物联网设备安全通常天生不怎么强，所以当物联网设备大规模部署的时候，工业系统便面临相当棘手的设备安全管理挑战了。

网络安全-工业运营

更糟的是，连接性增加意味着能尝试突破系统的黑客也增加了，更高端的黑客或许能够窥探系统，而网络安全问题也随着连接性的增长而愈加恶化。而且，很多工业系统如果以特定方式操纵可能伤及人命，所以连接性增加不仅影响到工业系统管理和保护，也影响公共政策制定。

网络安全-数字转型

工业网络安全遭受的最大影响将是数字转型的非预期结果。数字转型很好，也很有必要，但同时伴随着风险。随着我们引入越来越多的数字终端，数据流随之产生。数据流的飞速增长将超出我们的处理范围，无法现场有效分析全部数据。而且，我们将以这些数据驱动有关过程的决策，甚或驱动过程本身。最终，我们或许会开始通过人工智能/机器学习将这些分析性数据产品馈送回过程。

换句话说，过程产生数据，数据离开过程网络流向云、雾、湖、现场、外部等等地方，被分析、重用再馈送回过程。所有这些都会以我们刚刚才开始考虑的方式，往过程数据及该控制/过程网络外部相关系统，引入新的风险。

3. 大数据与网络安全有何联系

可以通过大数据的分析来确保网络安全 网络安全是是确保大数据顺利进行 的基础 采纳吧

4. 如何利用大数据来处理网络安全攻击

“大数据”已经成为时下最火热的IT行业词汇，各行各业的大数据解决方案层出不穷。究竟什么是大数据、大数据给信息安全带来哪些挑战和机遇、为什么网络安全需要大数据，以及怎样把大数据思想应用于网络安全技术，本文给出解答。
一切都源于APT
APT（Advanced Persistent Threat）攻击是一类特定的攻击，为了获取某个组织甚至是国家的重要信息，有针对性的进行的一系列攻击行为的整个过程。APT攻击利用了多种攻击手段，包括各种最先进的手段和社会工程学方法，一步一步的获取进入组织内部的权限。APT往往利用组织内部的人员作为攻击跳板。有时候，攻击者会针对被攻击对象编写专门的攻击程序，而非使用一些通用的攻击代码。此外，APT攻击具有持续性，甚至长达数年。这种持续体现在攻击者不断尝试各种攻击手段，以及在渗透到网络内部后长期蛰伏，不断收集各种信息，直到收集到重要情报。更加危险的是，这些新型的攻击和威胁主要就针对国家重要的基础设施和单位进行，包括能源、电力、金融、国防等关系到国计民生，或者是国家核心利益的网络基础设施。
现有技术为什么失灵
先看两个典型APT攻击案例，分析一下盲点在哪里：
1、 RSA SecureID窃取攻击
1) 攻击者给RSA的母公司EMC的4名员工发送了两组恶意邮件。邮件标题为“2011 Recruitment Plan”，寄件人是[email protected]，正文很简单，写着“I forward this file to you for review. Please open and view it.”;里面有个EXCEL附件名为“2011 Recruitment plan.xls”；
2) 很不幸，其中一位员工对此邮件感到兴趣，并将其从垃圾邮件中取出来阅读，殊不知此电子表格其实含有当时最新的Adobe Flash的0day漏洞(CVE-2011-0609)。这个Excel打开后啥也没有，除了在一个表单的第一个格子里面有个“X”(叉)。而这个叉实际上就是内嵌的一个Flash；
3) 该主机被植入臭名昭着的Poison Ivy远端控制工具，并开始自BotNet的C&C服务器(位于 good.mincesur.com)下载指令进行任务；
4) 首批受害的使用者并非“位高权重”人物，紧接着相关联的人士包括IT与非IT等服务器管理员相继被黑；
5) RSA发现开发用服务器(Staging server)遭入侵，攻击方随即进行撤离，加密并压缩所有资料(都是rar格式)，并以FTP传送至远端主机，又迅速再次搬离该主机，清除任何踪迹；
6) 在拿到了SecurID的信息后，攻击者就开始对使用SecurID的公司(例如上述防务公司等)进行攻击了。
2、 震网攻击
遭遇超级工厂病毒攻击的核电站计算机系统实际上是与外界物理隔离的，理论上不会遭遇外界攻击。坚固的堡垒只有从内部才能被攻破，超级工厂病毒也正充分的利用了这一点。超级工厂病毒的攻击者并没有广泛的去传播病毒，而是针对核电站相关工作人员的家用电脑、个人电脑等能够接触到互联网的计算机发起感染攻击，以此 为第一道攻击跳板，进一步感染相关人员的U盘，病毒以U盘为桥梁进入“堡垒”内部，随即潜伏下来。病毒很有耐心的逐步扩散，利用多种漏洞，包括当时的一个 0day漏洞，一点一点的进行破坏。这是一次十分成功的APT攻击，而其最为恐怖的地方就在于极为巧妙的控制了攻击范围，攻击十分精准。
以上两个典型的APT攻击案例中可以看出，对于APT攻击，现代安全防御手段有三个主要盲点：

1、0day漏洞与远程加密通信
支撑现代网络安全技术的理论基础最重要的就是特征匹配，广泛应用于各类主流网络安全产品，如杀毒、入侵检测/防御、漏洞扫描、深度包检测。Oday漏洞和远程加密通信都意味着没有特征，或者说还没来得及积累特征，这是基于特征匹配的边界防护技术难以应对的。
2、长期持续性的攻击
现代网络安全产品把实时性作为衡量系统能力的一项重要指标，追求的目标就是精准的识别威胁，并实时的阻断。而对于APT这种Salami式的攻击，则是基于实时时间点的检测技术难以应对的。
3、内网攻击
任何防御体系都会做安全域划分，内网通常被划成信任域，信任域内部的通信不被监控，成为了盲点。需要做接入侧的安全方案加固，但不在本文讨论范围。

大数据怎么解决问题
大数据可总结为基于分布式计算的数据挖掘，可以跟传统数据处理模式对比去理解大数据：
1、数据采样——>全集原始数据（Raw Data）
2、小数据+大算法——>大数据+小算法+上下文关联+知识积累
3、基于模型的算法——>机械穷举（不带假设条件）
4、精确性+实时性——>过程中的预测
使用大数据思想，可对现代网络安全技术做如下改进：
1、特定协议报文分析——>全流量原始数据抓取（Raw Data）
2、实时数据+复杂模型算法——>长期全流量数据+多种简单挖掘算法+上下文关联+知识积累
3、实时性+自动化——>过程中的预警+人工调查
通过传统安全防御措施很难检测高级持续性攻击，企业必须先确定日常网络中各用户、业务系统的正常行为模型是什么，才能尽早确定企业的网络和数据是否受到了攻击。而安全厂商可利用大数据技术对事件的模式、攻击的模式、时间、空间、行为上的特征进行处理，总结抽象出来一些模型，变成大数据安全工具。为了精准地描述威胁特征，建模的过程可能耗费几个月甚至几年时间，企业需要耗费大量人力、物力、财力成本，才能达到目的。但可以通过整合大数据处理资源，协调大数据处理和分析机制，共享数据库之间的关键模型数据，加快对高级可持续攻击的建模进程，消除和控制高级可持续攻击的危害。

5. 现在大数据有前途，还是网络安全有什么前途

当然他们两个是相辅相成的，缺一不可，大数据以后也是有前途，而网络安全确实也是很有前途的，他们只能说病假，其曲如曲，如果一个没有了用处，另一个也就完蛋了，所以说他们俩看来以后都是朝阳企业

6. 网络安全发展现状

过去，网络安全得不到用户的足够重视，行业发展缓慢。近几年，一方面，工信部和发改委对网络安全行业的政策支持越来越大;另一方面，互联网应用领域的发展越来越广泛和深入，致使网络安全的需求越来越大。如今，5G网络、人工智能、工业互联网、大数据中心等为代表的一系列新型基础设施逐渐成为了创新热点。网络安全产业成为保障“新基建”安全的重要基石，随着“新基建”在各个领域的深入开展，其将为网络安全企业的发展提供新的机遇。

网络安全行业政策密集出台

2013年11月，国家安全委员会正式成立;2014年2月，中央网络安全和信息化领导小组成立，充分展示了我国对网络安全行业的重视。近年来，我国政府一直出台多项政策推动网络信息安全行业的发展，以满足对政府、企业等网络信息安全的合规要求。国家层面的政策从两方面推动我国网络安全行业发展，一方面，加强对网络安全的重视，提高网络安全产品的应用规模;另一方面，从硬件设备等基础设施上杜绝网络安全隐患。

一系列法规政策提高了政府、企业对网络信息安全的合规要求，预计将带动政府、企业在网络信息安全方面的投入。

以上数据及分析均来自于前瞻产业研究院《中国网络安全行业发展前景预测与投资战略规划分析报告》。

7. 大数据环境下的网络安全分析

大数据环境下的网络安全分析
“大数据”一词常被误解。事实上，使用频率太高反而使它几乎没有什么意义了。大数据确实存储并处理大量的数据集合，但其特性体现远不止于此。

在着手解决大数据问题时，将其看作是一种观念而不是特定的规模或技术非常有益。就其最简单的表现来说，大数据现象由三个大趋势的交集所推动：包含宝贵信息的大量数据、廉价的计算资源、几乎免费的分析工具。
大数据架构和平台算是新事物，而且还在以一种非凡的速度不断发展着。商业和开源的开发团队几乎每月都在发布其平台的新功能。当今的大数据集群将会与将来我们看到的数据集群有极大不同。适应这种新困难的安全工具也将发生变化。在采用大数据的生命周期中，业界仍处于早期阶段，但公司越早开始应对大数据的安全问题，任务就越容易。如果安全成为大数据集群发展过程中的一种重要需求，集群就不容易被黑客破坏。此外，公司也能够避免把不成熟的安全功能放在关键的生产环境中。
如今，有很多特别重视不同数据类型（例如，地理位置数据）的大数据管理系统。这些系统使用多种不同的查询模式、不同的数据存储模式、不同的任务管理和协调、不同的资源管理工具。虽然大数据常被描述为“反关系型”的，但这个概念还无法抓住大数据的本质。为了避免性能问题，大数据确实抛弃了许多关系型数据库的核心功能，却也没犯什么错误：有些大数据环境提供关系型结构、业务连续性和结构化查询处理。
由于传统的定义无法抓住大数据的本质，我们不妨根据组成大数据环境的关键要素思考一下大数据。这些关键要素使用了许多分布式的数据存储和管理节点。这些要素存储多个数据副本，在多个节点之间将数据变成“碎片”。这意味着在单一节点发生故障时，数据查询将会转向处理资源可用的数据。正是这种能够彼此协作的分布式数据节点集群，可以解决数据管理和数据查询问题，才使得大数据如此不同。
节点的松散联系带来了许多性能优势，但也带来了独特的安全挑战。大数据数据库并不使用集中化的“围墙花园”模式（与“完全开放”的互联网相对而言，它指的是一个控制用户对网页内容或相关服务进行访问的环境），内部的数据库并不隐藏自己而使其它应用程序无法访问。在这儿没有“内部的”概念，而大数据并不依赖数据访问的集中点。大数据将其架构暴露给使用它的应用程序，而客户端在操作过程中与许多不同的节点进行通信。
规模、实时性和分布式处理：大数据的本质特征（使大数据解决超过以前数据管理系统的数据管理和处理需求，例如，在容量、实时性、分布式架构和并行处理等方面）使得保障这些系统的安全更为困难。大数据集群具有开放性和自我组织性，并可以使用户与多个数据节点同时通信。验证哪些数据节点和哪些客户应当访问信息是很困难的。别忘了，大数据的本质属性意味着新节点自动连接到集群中，共享数据和查询结果，解决客户任务。
嵌入式安全：在涉及大数据的疯狂竞赛中，大部分的开发资源都用于改善大数据的可升级、易用性和分析功能上。只有很少的功能用于增加安全功能。但是，你希望得到嵌入到大数据平台中的安全功能。你希望开发人员在设计和部署阶段能够支持所需要的功能。你希望安全功能就像大数据集群一样可升级、高性能、自组织。问题是，开源系统或多数商业系统一般都不包括安全产品。而且许多安全产品无法嵌入到Hadoop或其它的非关系型数据库中。多数系统提供最少的安全功能，但不足以包括所有的常见威胁。在很大程度上，你需要自己构建安全策略。
应用程序：面向大数据集群的大多数应用都是Web应用。它们利用基于Web的技术和无状态的基于REST的API。虽然全面讨论大数据安全的这个问题超出了本文的范围，但基于Web的应用程序和API给这些大数据集群带来了一种最重大的威胁。在遭受攻击或破坏后，它们可以提供对大数据集群中所存储数据的无限制访问。应用程序安全、用户访问管理及授权控制非常重要，与重点保障大数据集群安全的安全措施一样都不可或缺。
数据安全：存储在大数据集群中的数据基本上都保存在文件中。每一个客户端应用都可以维持其自己的包含数据的设计，但这种数据是存储在大量节点上的。存储在集群中的数据易于遭受正常文件容易感染的所有威胁，因而需要对这些文件进行保护，避免遭受非法的查看和复制。

8. 大数据带来解决网络安全新机遇

大数据带来解决网络安全新机遇_数据分析师考试

2015年中国互联网大会近日在北京召开，网络安全成为讨论热点，在专家看来，传统防御手段已经失效。

普华永道发布的调查报告指出，2014年全球所有行业监测到的网络攻击共有4280万次，比上一年增长了48%。有专家分析，随着大数据时代的到来，解决网络安全问题变得越来越难。

360公司总裁齐向东认为，以前的互联网安全，企业面临的是只是操作系统的安全问题，用软件就能够解决。但是进入万物互联的时代以后，包括智能摄像机、路由器、汽车，甚至随身穿戴、智能医疗设备等，都趋于智能化、网络化，解决这些智能硬件的安全问题，无法用上网安全的解决方案完成。

齐向东透露了一组数据：2011年到2014年，国内互联网公开的安全事故已经造成了累计11.3亿用户的信息泄露。95%的网站能够被黑，40%网站存在后门，70%网站存在漏洞。”

随着大数据、云服务的普及，物联网成为攻击对象，网络安全威胁如“细胞分裂”般扩散。在新一代技术革命的浪潮下，信息资源已经成为基础性社会资源，融入到了社会生活的各个领域，颠覆性地改变着人类的生活方式和生产方式。

齐向东表示，“在个人网络安全领域，360已拥有超过12亿的用户，这就相当于12亿个安全大数据的“探测器”，分布在互联网每一个节点上。每一个用户在使用产品的同时，这些终端设备都可以实时感知各种威胁和攻击，汇集到云端。”

以上是小编为大家分享的关于大数据带来解决网络安全新机遇的相关内容，更多信息可以关注环球青藤分享更多干货

9. 中国网络安全现状

2021年7月20日，新浪科技发文称iPhone手机存在安全隐患，Pegasus恶意软件可能会入侵用户的iPhone手机，窃取用户的信息和邮件，甚至可以控制手机的麦克风和摄像头，大数据时代用户或无隐私可言。

实际上，我国对打击大数据泄露安全事件有着强大的决心和执行力，在滴滴事件之后，国家网信办依据《中华人民共和国国家安全法》《中华人民共和国网络安全法》《中华人民共和国数据安全法》等法律法规修订了《网络安全审查好办法》，向社会公开征求意见，拟规定掌握超百万用户信息国外上市须审查。

由此可见，在我国互联网高速发展的时代，用户数据的监管变得越来越困难，此次网信办修订《网络安全审查办法》凸显了我国对收集隐私数据行为严厉打击的决心。

网络安全行业主要企业：目前国内网络安全行业的主要企业有深信服(300454)、安恒信息(688023)、绿盟科技(300369)、启明星辰(002439)、北信源(300352)等。

1、iPhone存在漏洞对用户数据安全造成威胁

2021年7月20日，新浪科技发文称iPhone存在漏洞，Pegasus恶意软件在用户不点击链接的情况下也可以入侵用户的手机，窃取信息和邮件，甚至可以操控用户的摄像头，此消息一出，网友大呼大数据时代无隐私可言，网络安全问题堪忧，实际上，在我国对网络安全问题有着强大的决心，滴滴事件之后，国家网信办依据《中华人民共和国国家安全法》《中华人民共和国网络安全法》《中华人民共和国数据安全法》等法律法规修订了《网络安全审查好办法》，向社会公开征求意见，拟规定掌握超百万用户信息国外上市须审查。

由此可见，在我国互联网高速发展的时代，用户数据的监管变得越来越困难，此次网信办修订《网络安全审查办法》凸显了我国对收集隐私数据行为严厉打击的决心。

综合来看，滴滴事件对国家数据安全层面敲起了警钟，而iPhone此次网络安全漏洞问题针对个人数据安全问题敲响了警铃，相信未来随着我国网络安全相关法案的不断完善，我国个人网络安全问题将得到有效的保护。

—— 以上数据参考前瞻产业研究院《中国网络安全行业发展前景预测与投资战略规划分析报告》