① 网络分析系列之一 网络数据包分析基础知识
在高速发达的计算机网络世界，网络和系统运维者每天都可能面对成千上万的故障问题，从简单的终端病毒感染，到复杂的网络配置，甚至更为复杂的应用架构。当问题出现，我们永远也不可能立即解决所有的，而良好的知识储备和系统工具，能够帮助我们更加快速的响应形式多样的错误。
网络数据包分析的意义
所有的网络问题或基于网络的应用问题，都源自应用的数据包，无论应用设计的有多完美，但其访问的终端可能具有很大的差别，或者应用本身可能存在不可告人的小秘密。为了更好地了解网络，快速解决相关问题，我们需要进入到网络传输的最小单元数据包中。数据包不会撒谎，在这里，没有任何东西能够逃脱我们的视野。通过分析数据包，信息传输不再存在秘密（即使有些加密通信在特定环境下也无法避免）。我们对网络数据包进行深入分析，就是为了更好地了解网络是如何运行的，数据包是如何被转发的，应用是如何被访问的，有了这些了解，当再次出现网络故障或网络应用问题，就能够很快的解决。这就是为什么需要分析网络数据包，也就是分析网络数据包的意义所在。
从现在开始，网深科技将开展一系列关于数据包分析的主题文章，带你领略神奇的数据包世界。你将学习如何查看网络使用情况，如何解决网络访问速度慢的问题，定位识别应用的性能瓶颈问题，分析感染病毒的终端系统，发现被攻击的服务器，甚至追踪存在于真实场景中的黑客。通过这一系列的学习，你应该能够掌握并使用先进的网络数据包分析技术来解决日常自己网络中遇到的实际问题，哪怕起初感觉极为复杂或难以解决的问题。
网络数据包分析与数据包嗅探器
网络数据包分析，就是通常所说的抓包分析，其它类似网络分析、协议分析、数据包分析或数据包嗅探的说法，都是指采集和解码网络上实时传输数据的过程，分析的目的通常是为了能更好地了解网络上正在发生的事情。网络数据包分析过程主要由抓包软件来捕获数据包。
使用网络数据包分析技术，一般能够实现如下目的：
[if !supportLists]� [endif]了解网络工作原理；
[if !supportLists]� [endif]查看网络使用情况及网络上的通信主体；
[if !supportLists]� [endif]确认哪些应用占用带宽；
[if !supportLists]� [endif]识别网络中存在的攻击或恶意行为；
[if !supportLists]� [endif]分析定位网络故障和延时大小；
[if !supportLists]� [endif]查看用户访问应用的快慢情况；
[if !supportLists]� [endif]优化和改进应用性能
当然，这些功能可能只是最常见的使用之一，通过数据包分析可做的事情远远不止这些。
目前全球最流行、使用最广泛的数据包分析软件为Wireshark，本系列关于网络分析的主题，主要介绍如何使用该软件。其中可能会提及或使用更为智能的商业产品，如NetInside系列性能管理系统，但仅作为参考，或对比学习。
另外，较为常用的网络数据包分析软件有基于命令行的tcpmp，Wildpackets的Omnipeek（这家公司后转向于安全取证领域分析，改名Savvius，被LiveAction收购），国内也有家做网络流量分析的厂商，早期的产品也与Omnipeek颇有渊源。
（续更） 点击查看更多
② Python网络爬虫学习建议，初学者需要哪些准备
了解html和简单的js，只有了解你要抓取的页面，在获取后才能有效分析。建议系统学习html这个很简单；js较复杂不必多看，可以边分析边网络资料学习。
python方面，了解urllib和urllib2两个库，在抓取页面要用到。Cookielib这个库配合urllib2可以封装opener，在需要cookie时可以自动解决，建议了解一些，会封装opener即可。re正则表达式库可以帮助你高效的从页面中分离要的内容，正则表达式要略知一二。
学习一些抓包知识，有些网站防爬，需要人工浏览一些页面，抓取数据包分析防爬机制，然后做出应对措施。比如解决cookie问题，或者模拟设备等。
作为初学者，学会以上知识基本上爬取任何网站都没问题了，但更重要的是耐心和细心。毕竟爬取网站时并不知道网站已开始是怎么设计的，有哪些小坑，分析起来这些还是比较烧脑，但是分析成功很有成就感。
③ 怎样用C语言实现网络抓包
第一法则：站在巨人肩膀上 && 不要重复造轮子。
对于这种复杂的过程，第一选择是使用现成的，节约时间，提升效率。
Wireshark（前称Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口，直接与网卡进行数据报文交换。
网络封包分析软件的功能可想象成 "电工技师使用电表来量测电流、电压、电阻" 的工作 - 只是将场景移植到网络上，并将电线替换成网络线。在过去，网络封包分析软件是非常昂贵，或是专门属于营利用的软件。Ethereal的出现改变了这一切。在GNUGPL通用许可证的保障范围底下，使用者可以以免费的代价取得软件与其源代码，并拥有针对其源代码修改及客制化的权利。Ethereal是目前全世界最广泛的网络封包分析软件之一。
第二法则：学习 && 提升。
如果是单纯的学习知识，可以直接尝试写一些具有部分功能的程序，过程会有点艰难，但非常有意义。学习网络编程，需要了解 开放系统互连参考模型的的七层每一层的意义以及现实当中实现的四层的网络协议。然后就可以知道抓包的包位于模型当中的传输层协议，包括UDP和TCP的协议。进一步要学习每种协议的格式，表头，数据包等等。一句话，冰冻三尺非一日之寒。
Windows下的抓包及简单的编程。
Windows2000在TCP/IP协议组件上做了很多改进，功能也有增强。比如在协议栈上的调整，增大了默认窗口大小，以及高延迟链接新算法。同时在安全性上，可应用IPSec加强安全性，比NT下有不少的改进。
Microsoft TCP/IP 组件包含“核心协议”、“服务”及两者之间的“接口”。传输驱动程序接口 (TDI) 与网络设备接口规范 (NDIS) 是公用的。 此外，还有许多用户模型应用程序的更高级接口。最常用的接口是 Windows Sockets、远程过程调用 (RPC) 和 NetBIOS。
Windows Sockets 是一个编程接口，它是在加州大学伯克利分校开发的套接字接口的基础上定义的。它包括了一组扩展件，以充分利用 Microsoft Windows 消息驱动的特点。规范的 1.1 版是在 1993 年 1 月发行的，2.2.0 版在 1996 年 5 月发行。Windows 2000 支持 Winsock 2.2 版。在Winsock2中，支持多个传输协议的原始套接字，重叠I/O模型、服务质量控制等。
这里介绍Windows Sockets的一些关于原始套接字(Raw Socket)的编程。同Winsock1相比，最明显的就是支持了Raw Socket套接字类型，通过原始套接字，我们可以更加自如地控制Windows下的多种协议，而且能够对网络底层的传输机制进行控制。
1、创建一个原始套接字，并设置IP头选项。
SOCKET sock;
sock = socket(AF_INET,SOCK_RAW,IPPROTO_IP);
或者：
s = WSASoccket(AF_INET,SOCK_RAW,IPPROTO_IP,NULL,0,WSA_FLAG_OVERLAPPED);
这里，我们设置了SOCK_RAW标志，表示我们声明的是一个原始套接字类型。创建原始套接字后，IP头就会包含在接收的数据中，如果我们设定 IP_HDRINCL 选项，那么，就需要自己来构造IP头。注意，如果设置IP_HDRINCL 选项，那么必须具有 administrator权限，要不就必须修改注册表：
HKEY_LOCAL_
修改键：DisableRawSecurity（类型为DWORD），把值修改为 1。如果没有，就添加。
BOOL blnFlag=TRUE;
setsockopt(sock, IPPROTO_IP, IP_HDRINCL, (char *)&blnFlag, sizeof(blnFlag);
对于原始套接字在接收数据报的时候，要注意这么几点：
a、如果接收的数据报中协议类型和定义的原始套接字匹配，那么，接收的所有数据就拷贝到套接字中。
b、如果绑定了本地地址，那么只有接收数据IP头中对应的远端地址匹配，接收的数据就拷贝到套接字中。
c、如果定义的是外部地址，比如使用connect()，那么，只有接收数据IP头中对应的源地址匹配，接收的数据就拷贝到套接字中。
2、构造IP头和TCP头
这里，提供IP头和TCP头的结构：
// Standard TCP flags
#define URG 0x20
#define ACK 0x10
#define PSH 0x08
#define RST 0x04
#define SYN 0x02
#define FIN 0x01
typedef struct _iphdr //定义IP首部
{
unsigned char h_lenver; //4位首部长度+4位IP版本号
unsigned char tos; //8位服务类型TOS
unsigned short total_len; //16位总长度（字节）
unsigned short ident; //16位标识
unsigned short frag_and_flags; //3位标志位
unsigned char ttl; //8位生存时间 TTL
unsigned char proto; //8位协议 (TCP, UDP 或其他)
unsigned short checksum; //16位IP首部校验和
unsigned int sourceIP; //32位源IP地址
unsigned int destIP; //32位目的IP地址
}IP_HEADER;
typedef struct psd_hdr //定义TCP伪首部
{
unsigned long saddr; //源地址
unsigned long daddr; //目的地址
char mbz;
char ptcl; //协议类型
unsigned short tcpl; //TCP长度
}PSD_HEADER;
typedef struct _tcphdr //定义TCP首部
{
USHORT th_sport; //16位源端口
USHORT th_dport; //16位目的端口
unsigned int th_seq; //32位序列号
unsigned int th_ack; //32位确认号
unsigned char th_lenres; //4位首部长度/6位保留字
unsigned char th_flag; //6位标志位
USHORT th_win; //16位窗口大小
USHORT th_sum; //16位校验和
USHORT th_urp; //16位紧急数据偏移量
}TCP_HEADER;
TCP伪首部并不是真正存在的，只是用于计算检验和。校验和函数：
USHORT checksum(USHORT *buffer, int size)
{
unsigned long cksum=0;
while (size > 1)
{
cksum += *buffer++;
size -= sizeof(USHORT);
}
if (size)
{
cksum += *(UCHAR*)buffer;
}
cksum = (cksum >> 16) + (cksum & 0xffff);
cksum += (cksum >>16);
return (USHORT)(~cksum);
}
当需要自己填充IP头部和TCP头部的时候，就同时需要自己计算他们的检验和。
3、发送原始套接字数据报
填充这些头部稍微麻烦点，发送就相对简单多了。只需要使用sendto()就OK。
sendto(sock, (char*)&tcpHeader, sizeof(tcpHeader), 0, (sockaddr*)&addr_in,sizeof(addr_in));
下面是一个示例程序，可以作为SYN扫描的一部分。
#include <stdio.h>
#include <winsock2.h>
#include <ws2tcpip.h>
#define SOURCE_PORT 7234
#define MAX_RECEIVEBYTE 255
typedef struct ip_hdr //定义IP首部
{
unsigned char h_verlen; //4位首部长度,4位IP版本号
unsigned char tos; //8位服务类型TOS
unsigned short total_len; //16位总长度（字节）
unsigned short ident; //16位标识
unsigned short frag_and_flags; //3位标志位
unsigned char ttl; //8位生存时间 TTL
unsigned char proto; //8位协议 (TCP, UDP 或其他)
unsigned short checksum; //16位IP首部校验和
unsigned int sourceIP; //32位源IP地址
unsigned int destIP; //32位目的IP地址
}IPHEADER;
typedef struct tsd_hdr //定义TCP伪首部
{
unsigned long saddr; //源地址
unsigned long daddr; //目的地址
char mbz;
char ptcl; //协议类型
unsigned short tcpl; //TCP长度
}PSDHEADER;
typedef struct tcp_hdr //定义TCP首部
{
USHORT th_sport; //16位源端口
USHORT th_dport; //16位目的端口
unsigned int th_seq; //32位序列号
unsigned int th_ack; //32位确认号
unsigned char th_lenres; //4位首部长度/6位保留字
unsigned char th_flag; //6位标志位
USHORT th_win; //16位窗口大小
USHORT th_sum; //16位校验和
USHORT th_urp; //16位紧急数据偏移量
}TCPHEADER;
//CheckSum:计算校验和的子函数
USHORT checksum(USHORT *buffer, int size)
{
unsigned long cksum=0;
while(size >1)
{
cksum+=*buffer++;
size -=sizeof(USHORT);
}
if(size )
{
cksum += *(UCHAR*)buffer;
}
cksum = (cksum >> 16) + (cksum & 0xffff);
cksum += (cksum >>16);
return (USHORT)(~cksum);
}
void useage()
{
printf("******************************************
");
printf("TCPPing
");
printf(" Written by Refdom
");
printf(" Email: [email protected]
");
printf("Useage: TCPPing.exe Target_ip Target_port
");
printf("*******************************************
");
}
int main(int argc, char* argv[])
{
WSADATA WSAData;
SOCKET sock;
SOCKADDR_IN addr_in;
IPHEADER ipHeader;
TCPHEADER tcpHeader;
PSDHEADER psdHeader;
char szSendBuf[60]={0};
BOOL flag;
int rect,nTimeOver;
useage();
if (argc!= 3)
{ return false; }
if (WSAStartup(MAKEWORD(2,2), &WSAData)!=0)
{
printf("WSAStartup Error!
");
return false;
}
if ((sock=WSASocket(AF_INET,SOCK_RAW,IPPROTO_RAW,NULL,0,WSA_FLAG_OVERLAPPED))==INVALID_SOCKET)
{
printf("Socket Setup Error!
");
return false;
}
flag=true;
if (setsockopt(sock,IPPROTO_IP, IP_HDRINCL,(char *)&flag,sizeof(flag))==SOCKET_ERROR)
{
printf("setsockopt IP_HDRINCL error!
");
return false;
}
nTimeOver=1000;
if (setsockopt(sock, SOL_SOCKET, SO_SNDTIMEO, (char*)&nTimeOver, sizeof(nTimeOver))==SOCKET_ERROR)
{
printf("setsockopt SO_SNDTIMEO error!
");
return false;
}
addr_in.sin_family=AF_INET;
addr_in.sin_port=htons(atoi(argv[2]));
addr_in.sin_addr.S_un.S_addr=inet_addr(argv[1]);
//
//
//填充IP首部
ipHeader.h_verlen=(4<<4 | sizeof(ipHeader)/sizeof(unsigned long));
// ipHeader.tos=0;
ipHeader.total_len=htons(sizeof(ipHeader)+sizeof(tcpHeader));
ipHeader.ident=1;
ipHeader.frag_and_flags=0;
ipHeader.ttl=128;
ipHeader.proto=IPPROTO_TCP;
ipHeader.checksum=0;
ipHeader.sourceIP=inet_addr("本地地址");
ipHeader.destIP=inet_addr(argv[1]);
//填充TCP首部
tcpHeader.th_dport=htons(atoi(argv[2]));
tcpHeader.th_sport=htons(SOURCE_PORT); //源端口号
tcpHeader.th_seq=htonl(0x12345678);
tcpHeader.th_ack=0;
tcpHeader.th_lenres=(sizeof(tcpHeader)/4<<4|0);
tcpHeader.th_flag=2; //修改这里来实现不同的标志位探测，2是SYN，1是FIN，16是ACK探测 等等
tcpHeader.th_win=htons(512);
tcpHeader.th_urp=0;
tcpHeader.th_sum=0;
psdHeader.saddr=ipHeader.sourceIP;
psdHeader.daddr=ipHeader.destIP;
psdHeader.mbz=0;
psdHeader.ptcl=IPPROTO_TCP;
psdHeader.tcpl=htons(sizeof(tcpHeader));
//计算校验和
memcpy(szSendBuf, &psdHeader, sizeof(psdHeader));
memcpy(szSendBuf+sizeof(psdHeader), &tcpHeader, sizeof(tcpHeader));
tcpHeader.th_sum=checksum((USHORT *)szSendBuf,sizeof(psdHeader)+sizeof(tcpHeader));
memcpy(szSendBuf, &ipHeader, sizeof(ipHeader));
memcpy(szSendBuf+sizeof(ipHeader), &tcpHeader, sizeof(tcpHeader));
memset(szSendBuf+sizeof(ipHeader)+sizeof(tcpHeader), 0, 4);
ipHeader.checksum=checksum((USHORT *)szSendBuf, sizeof(ipHeader)+sizeof(tcpHeader));
memcpy(szSendBuf, &ipHeader, sizeof(ipHeader));
rect=sendto(sock, szSendBuf, sizeof(ipHeader)+sizeof(tcpHeader),
0, (struct sockaddr*)&addr_in, sizeof(addr_in));
if (rect==SOCKET_ERROR)
{
printf("send error!:%d
",WSAGetLastError());
return false;
}
else
printf("send ok!
");
closesocket(sock);
WSACleanup();
return 0;
}
4、接收数据
和发送原始套接字数据相比，接收就比较麻烦了。因为在WIN我们不能用recv()来接收raw socket上的数据，这是因为，所有的IP包都是先递交给系统核心，然后再传输到用户程序，当发送一个raws socket包的时候（比如syn），核心并不知道，也没有这个数据被发送或者连接建立的记录，因此，当远端主机回应的时候，系统核心就把这些包都全部丢掉，从而到不了应用程序上。所以，就不能简单地使用接收函数来接收这些数据报。
要达到接收数据的目的，就必须采用嗅探，接收所有通过的数据包，然后进行筛选，留下符合我们需要的。可以再定义一个原始套接字，用来完成接收数据的任务，需要设置SIO_RCVALL，表示接收所有的数据。
SOCKET sniffersock;
sniffsock = WSASocket(AF_INET, SOCK_RAW, IPPROTO_IP, NULL, 0, WSA_FLAG_OVERLAPPED);
DWORD lpvBuffer = 1;
DWORD lpcbBytesReturned = 0 ;
WSAIoctl(sniffersock, SIO_RCVALL, &lpvBuffer, sizeof(lpvBuffer), NULL, 0, & lpcbBytesReturned, NULL, NULL);
创建一个用于接收数据的原始套接字，我们可以用接收函数来接收数据包了。然后在使用一个过滤函数达到筛选的目的，接收我们需要的数据包。
如果在XP以上的操作系统，微软封杀了Raw Soccket，只能用wincpap之类的开发包了。
④ 想成为网络工程师需要学习哪些知识
参考软考需要学习知识，展开学习。
⑤ 如何网络抓包
很明白你想干什么
不过不是三言两语可以做到的
首先，你想抓包，需要依赖一个库（windows下叫winpcap, linux下叫libpcap）
这个包提供了很多接口，运行后你可以进行抓包
然后介绍你一本书：《网络安全开发包详解》，当年做网络安全的入门级书啊
这本书目前市面上已经绝版了（只有印刷版和二手的能买，如果你经常需要用，建议买一本，比电子书方便），不过你可以下载到电子版的，如果需要我也能传给你一份
然后你想实现的例子，只需要把书看前几章就可以了，看到介绍winpcap/libpcap怎么用就可以了。
⑥ 网络抓包原理
本文以App作为例子，实际应用不限于App范围。
大部分场合都可以通过程序调试来定位问题，但有些场景使用抓包来定位接口问题更准确、更方便，如以下场景：
要实现对App的网络数据抓包，需要监控App与服务器交互之间的网络节点，监控其中任意一个网络节点（网卡），获取所有经过网卡中的数据，对这些数据按照网络协议进行解析，这就是抓包的基本原理。
但是中间网络节点，不受我们控制，所以基本无法实现抓包的，只能在客户端和服务端进行抓包。
通常我们监控本地网卡数据，如下图：
本地网络 指的是WIFI的路由，如果直接抓路由器的包还是比较麻烦的，因此我们会在 手机 和 本地路由 之间加一层 代理服务 ，这样只要抓代理服务的网络数据即可：
虽然在 手机 侧也可实现抓包，但和 本地路由 一样，抓包比较麻烦，如果不是没有办法，尽量还是不在手机侧抓包。但是有一种情况必须在手机端抓包，那就是在4G网络情况下：
4G网络状态下如何抓包，以及它的劣势，我们后面章节再细讲。
抓包实际上是分析网络协议的一种过程，尽管繁琐的细节劳动都让抓包工具做了，但我们还是需要了解下基础的网络协议，好帮助我们更好的分析问题。
首先需要了解下经典的OSI七层网络模型，以及每层的作用，其次对TCP、HTTP协议简单了解。
HTTPS是基于HTTP协议的一种改进，在 TCP之上 的会话层增加安全处理。对于应用层来说，HTTPS和HTTP没有什么不同，也就是说，HTTPS是保证网络传输的安全性，对业务数据无侵入。
简化理解大概是这个样子：
SSL和TLS是保证安全传输的协议，包括证书认证、加解密和数字签名。
项目中HTTPS的链路：
因此，客户端与后台，编写网络接口时，不需要关心SSL或TLS，按照HTTP协议处理即可。
既然HTTPS在网络传输是经过加密的，那么抓包抓到的数据就是密文，不经过解密是无法看到报文的。针对这个问题，如上图WIFI环境下设置代理的方式可以解决，具体思路是：
所以整个网络链路依然是HTTPS在传输，但代理服务自己可以获取到明文数据。
比较常用的抓包工具大概有4个，主要用作互补，配合使用基本所有平台、所有抓包需求都能满足：
需要说明的是，tcpmp可将数据保存成文件，直接用wireShark打开分析，针对后台或手机抓包使用起来十分方便。
几个工具间的使用关系：
为什么要真机抓包？必定是没有办法设置代理服务了，如4G网络情况下直接和移动基站链接，没法设置代理服务。凡是非4G网络状态下，都不建议真机抓包。
iOS 5后，apple引入了RVI remote virtual interface的特性，它只需要将iOS设备使用USB数据线连接到mac上，然后使用rvictl工具以iOS设备的UDID为参数在Mac中建立一个虚拟网络接口rvi，就可以在mac设备上使用tcpmp，wireshark等工具对创建的接口进行抓包分析。
具体步骤：
android是linux系统，和后台一样可以使用tcpmp命令来抓包，但是需要root权限，因为一般手机系统不带有抓包命令 tcpmp ，需要自行安装。
安装tcpmp：
使用tcpmp：
这是就已经进入抓包状态，手机所有的网络请求都会被捕获，并保存到capture文件中。
导出capture文件：
原文： 网络抓包
⑦ 在计算机网络中怎样抓包
计算机网络里抓包就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作，也用来检查网络安全等等。
以Sniffer软件为例说明：数据在网络上是以很小的称为帧（Frame）的单位传输的，帧由几部分组成，不同的部分执行不同的功能。帧通过特定的称为网络驱动程序的软件进行成型，然后通过网卡发送到网线上，通过网线到达它们的目的机器，在目的机器的一端执行相反的过程。接收端机器的以太网卡捕获到这些帧，并告诉操作系统帧已到达，然后对其进行存储。就是在这个传输和接收的过程中，嗅探器会带来安全方面的问题。每一个在局域网（LAN）上的工作站都有其硬件地址，这些地址惟一地表示了网络上的机器（这一点与Internet地址系统比较相似）。当用户发送一个数据包时，如果为广播包，则可达到局域网中的所有机器，如果为单播包，则只能到达处于同一碰撞域中的机器。在一般情况下，网络上所有的机器都可以“听”到通过的流量，但对不属于自己的数据包则不予响应（换句话说，工作站A不会捕获属于工作站B的数据，而是简单地忽略这些数据）。如果某个工作站的网络接口处于混杂模式（关于混杂模式的概念会在后面解释），那么它就可以捕获网络上所有的数据包和帧。