① 大数据环境下的网络安全分析
大数据环境下的网络安全分析
“大数据”一词常被误解。事实上，使用频率太高反而使它几乎没有什么意义了。大数据确实存储并处理大量的数据集合，但其特性体现远不止于此。
在着手解决大数据问题时，将其看作是一种观念而不是特定的规模或技术非常有益。就其最简单的表现来说，大数据现象由三个大趋势的交集所推动：包含宝贵信息的大量数据、廉价的计算资源、几乎免费的分析工具。
大数据架构和平台算是新事物，而且还在以一种非凡的速度不断发展着。商业和开源的开发团队几乎每月都在发布其平台的新功能。当今的大数据集群将会与将来我们看到的数据集群有极大不同。适应这种新困难的安全工具也将发生变化。在采用大数据的生命周期中，业界仍处于早期阶段，但公司越早开始应对大数据的安全问题，任务就越容易。如果安全成为大数据集群发展过程中的一种重要需求，集群就不容易被黑客破坏。此外，公司也能够避免把不成熟的安全功能放在关键的生产环境中。
如今，有很多特别重视不同数据类型（例如，地理位置数据）的大数据管理系统。这些系统使用多种不同的查询模式、不同的数据存储模式、不同的任务管理和协调、不同的资源管理工具。虽然大数据常被描述为“反关系型”的，但这个概念还无法抓住大数据的本质。为了避免性能问题，大数据确实抛弃了许多关系型数据库的核心功能，却也没犯什么错误：有些大数据环境提供关系型结构、业务连续性和结构化查询处理。
由于传统的定义无法抓住大数据的本质，我们不妨根据组成大数据环境的关键要素思考一下大数据。这些关键要素使用了许多分布式的数据存储和管理节点。这些要素存储多个数据副本，在多个节点之间将数据变成“碎片”。这意味着在单一节点发生故障时，数据查询将会转向处理资源可用的数据。正是这种能够彼此协作的分布式数据节点集群，可以解决数据管理和数据查询问题，才使得大数据如此不同。
节点的松散联系带来了许多性能优势，但也带来了独特的安全挑战。大数据数据库并不使用集中化的“围墙花园”模式（与“完全开放”的互联网相对而言，它指的是一个控制用户对网页内容或相关服务进行访问的环境），内部的数据库并不隐藏自己而使其它应用程序无法访问。在这儿没有“内部的”概念，而大数据并不依赖数据访问的集中点。大数据将其架构暴露给使用它的应用程序，而客户端在操作过程中与许多不同的节点进行通信。
规模、实时性和分布式处理：大数据的本质特征（使大数据解决超过以前数据管理系统的数据管理和处理需求，例如，在容量、实时性、分布式架构和并行处理等方面）使得保障这些系统的安全更为困难。大数据集群具有开放性和自我组织性，并可以使用户与多个数据节点同时通信。验证哪些数据节点和哪些客户应当访问信息是很困难的。别忘了，大数据的本质属性意味着新节点自动连接到集群中，共享数据和查询结果，解决客户任务。
嵌入式安全：在涉及大数据的疯狂竞赛中，大部分的开发资源都用于改善大数据的可升级、易用性和分析功能上。只有很少的功能用于增加安全功能。但是，你希望得到嵌入到大数据平台中的安全功能。你希望开发人员在设计和部署阶段能够支持所需要的功能。你希望安全功能就像大数据集群一样可升级、高性能、自组织。问题是，开源系统或多数商业系统一般都不包括安全产品。而且许多安全产品无法嵌入到Hadoop或其它的非关系型数据库中。多数系统提供最少的安全功能，但不足以包括所有的常见威胁。在很大程度上，你需要自己构建安全策略。
应用程序：面向大数据集群的大多数应用都是Web应用。它们利用基于Web的技术和无状态的基于REST的API。虽然全面讨论大数据安全的这个问题超出了本文的范围，但基于Web的应用程序和API给这些大数据集群带来了一种最重大的威胁。在遭受攻击或破坏后，它们可以提供对大数据集群中所存储数据的无限制访问。应用程序安全、用户访问管理及授权控制非常重要，与重点保障大数据集群安全的安全措施一样都不可或缺。
数据安全：存储在大数据集群中的数据基本上都保存在文件中。每一个客户端应用都可以维持其自己的包含数据的设计，但这种数据是存储在大量节点上的。存储在集群中的数据易于遭受正常文件容易感染的所有威胁，因而需要对这些文件进行保护，避免遭受非法的查看和复制。
② 大数据时代下网络安全的重要性
随着互联网的飞速发展，出现了海量的数据信息，人类 社会 也逐步迈进了大数据时代。大数据时代可以为人们带来更多的关于时代发展的实时信息，使人类的思想能够跟上时代发展的脚步，为人们之启州间的交流与沟通带来便利。即使大数据时代互联网技术自身拥有诸多的优点，但是在应用过程中依然存在很多的网络信息安全风险，这将会导致信息数据不真实，同时又会对人们使用信息的时效性造成不良影响。所以，在大数据时代，我们应该更加重视网络信息的安全性，依托科学合理的网络信息安全管理方案来防止网络安全问题的发生，从而加快中亏蚂国现代化信息建设的脚步。
大数据时代网络存在的安全问 题
由于网络具有较强的开放性特质，能够实现跨越时空的交流与互动，但于此同时，也容易遭受不同空间与主题的入侵和攻击，这就会导致数据信息发生泄露，继而造成严重的网络安全问题。其次就是人为操作失误，由于网民在上网过程中没有清晰的安全意识，容易下载并点击危险的软件和网站，导致手机或电脑遭受病毒的袭击，进而丢失私人信息、账户信息等。再次就是网络黑客问题，黑客能够通过窃取网络信息或网络密钥的方式，破坏用户的网络系统，使用户的私人信息受到威胁，甚至会导致整个网络系统出现故障或瘫痪。
大数据时代下网络安全的防护措施
1、使用安全的杀毒软件和加强监管工作
计算机不仅需要采用适当的防火墙技术，营造优良的网络运营氛围，且还需要悄空蔽安装杀毒软件。这样一来便可详细检查计算机当中的数据信息，全面提高计算机的安全性，防止因为病毒入侵带来的安全隐患。另一方面，企业也需要做好计算机网络安全的监管工作，集中管理企业现有账号，强化自身安全管理的意识。
2、加强网络安全意识
相关工作人员应深入了解计算机的操作步骤和注意事项，注意可能存在的危险，不下载、不点击来源不明的链接，提升自身的网络安全意识。此外，还需要强化学习，拓展知识面，提升防范能力，养成正确的使用计算机的习惯。
3、加强网络管控能力
影响计算机安全的主要原因是工作人员对网络维护的重视程度不够，只是计算机安全受到影响。网络管理者应加强对信息安全的维护力度，构建出相应的网络管控机制。可通过相关的防控软件对网络病毒、黑客入侵的行为进行监控，同时该系统也能够对用户所参与的网络活动进行分析和把控，及时弹出安全弹窗，以此避免网络安全问题的发生。
4、加强网络安全管理
加强网络安全管理，注重技术应用，为网络安全提供基础保障。即通过网络维护，定期检查网络安全问题，提升对网络安全及数据安全的管理力度，保障信息网络的正常运作。在这个过程中，网络管理者需要定期检查系统漏洞，及时地更新杀毒软件的病毒库等。
结语
③ 大数据安全分析的6个要点
大数据安全分析的6个要点
现在，很多行业都已经开始利用大数据来提高销售，降低成本，精准营销等等。然而，其实大数据在网络安全与信息安全方面也有很长足的应用。特别是利用大数据来甄别和发现风险和漏洞。
通过大数据，人们可以分析大量的潜在安全事件，找出它们之间的联系从而勾勒出一个完整的安全威胁。通过大数据，分散的数据可以被整合起来，使得安全人员能够采用更加主动的安全防御手段。
今天，网络环境极为复杂，APT攻击以及其他一些网络攻击可以通过对从不同数据源的数据的搜索和分析来对安全威胁加以甄别，要做到这一点，就需要对一系列数据源的进行监控，包括DNS数据，命令与控制(C2)，黑白名单等。从而能够把这些数据进行关联来进行发囧。
企业针对安全的大数据分析下面是一些要点：
DNS数据
DNS数据能够提供一系列新注册域名，经常用来进行垃圾信息发送的域名，以及新创建的域名等等，所有这些信息都可以和黑白名单结合起来，所有这些数据都应该收集起来做进一步分析。
如果自有DNS服务器，就能过检查那些对外的域名查询，这样可能发现一些无法解析的域名。这种情况就可能意味着你检测到了一个“域名生成算法”。这样的信息就能够让安全团队对公司网络进行保护。而且如果对局域网流量数据日志进行分析的话，就有可能找到对应的受到攻击的机器。
命令与控制(C2)系统
把命令与控制数据结合进来可以得到一个IP地址和域名的黑名单。对于公司网络来说，网络流量绝对不应该流向那些已知的命令与控制系统。如果网络安全人员要仔细调查网络攻击的话，可以把来自C2系统的流量引导到公司设好的“蜜罐”机器上去。
安全威胁情报
有一些类似与网络信誉的数据源可以用来判定一个地址是否是安全的。有些数据源提供“是”与“否”的判定，有的还提供一些关于威胁等级的信息。网络安全人员能够根据他们能够接受的风险大小来决定某个地址是否应该访问。
网络流量日志
有很多厂商都提供记录网络流量日志的工具。在利用流量日志来分析安全威胁的时候，人们很容易被淹没在大量的“噪音”数据中。不过流量日志依然是安全分析的基本要求。有一些好的算法和软件能够帮助人们提供分析质量。
“蜜罐”数据
“蜜罐”可以有效地检测针对特定网络的恶意软件。此外，通过“蜜罐”获得的恶意软件可以通过分析获得其特征码，从而进一步监控网络中其他设备的感染情况。这样的信息是非常有价值的，尤其是很多APT攻击所采用的定制的恶意代码往往无法被常规防病毒软件所发现。参见本站文章企业设置“蜜罐”的五大理由
数据质量很重要
最后，企业要注意数据的质量。市场上有很多数据可用，在安全人员进行大数据安全分析时，这些数据的质量和准确性是一个最重要的考量。因此，企业需要有一个内部的数据评估团队针对数据来源提出相应的问题，如：最近的数据是什么时候添加的?有没有样本数据以供评估?每天能够添加多少数据?这些数据哪些是免费的?数据总共收集了多久?等等。
安全事件和数据泄露的新闻几乎每天都能够出现在报纸上，即使企业已经开始采取手段防御APT，传统的安全防御手段对于APT之类的攻击显得办法不多。而利用大数据，企业可以采取更为主动的防御措施，使得安全防御的深度和广度都大为加强。
④ 如何利用大数据来处理网络安全攻击
“大数据”已经成为时下最火热的IT行业词汇，各行各业的大数据解决方案层出不穷。究竟什么是大数据、大数据给信息安全带来哪些挑战和机遇、为什么网络安全需要大数据，以及怎样把大数据思想应用于网络安全技术，本文给出解答。
一切都源于APT
APT（Advanced Persistent Threat）攻击是一类特定的攻击，为了获取某个组织甚至是国家的重要信息，有针对性的进行的一系列攻击行为的整个过程。APT攻击利用了多种攻击手段，包括各种最先进的手段和社会工程学方法，一步一步的获取进入组织内部的权限。APT往往利用组织内部的人员作为攻击跳板。有时候，攻击者会针对被攻击对象编写专门的攻击程序，而非使用一些通用的攻击代码。此外，APT攻击具有持续性，甚至长达数年。这种持续体现在攻击者不断尝试各种攻击手段，以及在渗透到网络内部后长期蛰伏，不断收集各种信息，直到收集到重要情报。更加危险的是，这些新型的攻击和威胁主要就针对国家重要的基础设施和单位进行，包括能源、电力、金融、国防等关系到国计民生，或者是国家核心利益的网络基础设施。
现有技术为什么失灵
先看两个典型APT攻击案例，分析一下盲点在哪里：
1、 RSA SecureID窃取攻击
1) 攻击者给RSA的母公司EMC的4名员工发送了两组恶意邮件。邮件标题为“2011 Recruitment Plan”，寄件人是[email protected]，正文很简单，写着“I forward this file to you for review. Please open and view it.”;里面有个EXCEL附件名为“2011 Recruitment plan.xls”；
2) 很不幸，其中一位员工对此邮件感到兴趣，并将其从垃圾邮件中取出来阅读，殊不知此电子表格其实含有当时最新的Adobe Flash的0day漏洞(CVE-2011-0609)。这个Excel打开后啥也没有，除了在一个表单的第一个格子里面有个“X”(叉)。而这个叉实际上就是内嵌的一个Flash；
3) 该主机被植入臭名昭着的Poison Ivy远端控制工具，并开始自BotNet的C&C服务器(位于 good.mincesur.com)下载指令进行任务；
4) 首批受害的使用者并非“位高权重”人物，紧接着相关联的人士包括IT与非IT等服务器管理员相继被黑；
5) RSA发现开发用服务器(Staging server)遭入侵，攻击方随即进行撤离，加密并压缩所有资料(都是rar格式)，并以FTP传送至远端主机，又迅速再次搬离该主机，清除任何踪迹；
6) 在拿到了SecurID的信息后，攻击者就开始对使用SecurID的公司(例如上述防务公司等)进行攻击了。
2、 震网攻击
遭遇超级工厂病毒攻击的核电站计算机系统实际上是与外界物理隔离的，理论上不会遭遇外界攻击。坚固的堡垒只有从内部才能被攻破，超级工厂病毒也正充分的利用了这一点。超级工厂病毒的攻击者并没有广泛的去传播病毒，而是针对核电站相关工作人员的家用电脑、个人电脑等能够接触到互联网的计算机发起感染攻击，以此 为第一道攻击跳板，进一步感染相关人员的U盘，病毒以U盘为桥梁进入“堡垒”内部，随即潜伏下来。病毒很有耐心的逐步扩散，利用多种漏洞，包括当时的一个 0day漏洞，一点一点的进行破坏。这是一次十分成功的APT攻击，而其最为恐怖的地方就在于极为巧妙的控制了攻击范围，攻击十分精准。
以上两个典型的APT攻击案例中可以看出，对于APT攻击，现代安全防御手段有三个主要盲点：
1、0day漏洞与远程加密通信
支撑现代网络安全技术的理论基础最重要的就是特征匹配，广泛应用于各类主流网络安全产品，如杀毒、入侵检测/防御、漏洞扫描、深度包检测。Oday漏洞和远程加密通信都意味着没有特征，或者说还没来得及积累特征，这是基于特征匹配的边界防护技术难以应对的。
2、长期持续性的攻击
现代网络安全产品把实时性作为衡量系统能力的一项重要指标，追求的目标就是精准的识别威胁，并实时的阻断。而对于APT这种Salami式的攻击，则是基于实时时间点的检测技术难以应对的。
3、内网攻击
任何防御体系都会做安全域划分，内网通常被划成信任域，信任域内部的通信不被监控，成为了盲点。需要做接入侧的安全方案加固，但不在本文讨论范围。
大数据怎么解决问题
大数据可总结为基于分布式计算的数据挖掘，可以跟传统数据处理模式对比去理解大数据：
1、数据采样——>全集原始数据（Raw Data）
2、小数据+大算法——>大数据+小算法+上下文关联+知识积累
3、基于模型的算法——>机械穷举（不带假设条件）
4、精确性+实时性——>过程中的预测
使用大数据思想，可对现代网络安全技术做如下改进：
1、特定协议报文分析——>全流量原始数据抓取（Raw Data）
2、实时数据+复杂模型算法——>长期全流量数据+多种简单挖掘算法+上下文关联+知识积累
3、实时性+自动化——>过程中的预警+人工调查
通过传统安全防御措施很难检测高级持续性攻击，企业必须先确定日常网络中各用户、业务系统的正常行为模型是什么，才能尽早确定企业的网络和数据是否受到了攻击。而安全厂商可利用大数据技术对事件的模式、攻击的模式、时间、空间、行为上的特征进行处理，总结抽象出来一些模型，变成大数据安全工具。为了精准地描述威胁特征，建模的过程可能耗费几个月甚至几年时间，企业需要耗费大量人力、物力、财力成本，才能达到目的。但可以通过整合大数据处理资源，协调大数据处理和分析机制，共享数据库之间的关键模型数据，加快对高级可持续攻击的建模进程，消除和控制高级可持续攻击的危害。