① 網路分析系列之一 網路數據包分析基礎知識
在高速發達的計算機網路世界，網路和系統運維者每天都可能面對成千上萬的故障問題，從簡單的終端病毒感染，到復雜的網路配置，甚至更為復雜的應用架構。當問題出現，我們永遠也不可能立即解決所有的，而良好的知識儲備和系統工具，能夠幫助我們更加快速的響應形式多樣的錯誤。
網路數據包分析的意義
所有的網路問題或基於網路的應用問題，都源自應用的數據包，無論應用設計的有多完美，但其訪問的終端可能具有很大的差別，或者應用本身可能存在不可告人的小秘密。為了更好地了解網路，快速解決相關問題，我們需要進入到網路傳輸的最小單元數據包中。數據包不會撒謊，在這里，沒有任何東西能夠逃脫我們的視野。通過分析數據包，信息傳輸不再存在秘密（即使有些加密通信在特定環境下也無法避免）。我們對網路數據包進行深入分析，就是為了更好地了解網路是如何運行的，數據包是如何被轉發的，應用是如何被訪問的，有了這些了解，當再次出現網路故障或網路應用問題，就能夠很快的解決。這就是為什麼需要分析網路數據包，也就是分析網路數據包的意義所在。
從現在開始，網深科技將開展一系列關於數據包分析的主題文章，帶你領略神奇的數據包世界。你將學習如何查看網路使用情況，如何解決網路訪問速度慢的問題，定位識別應用的性能瓶頸問題，分析感染病毒的終端系統，發現被攻擊的伺服器，甚至追蹤存在於真實場景中的黑客。通過這一系列的學習，你應該能夠掌握並使用先進的網路數據包分析技術來解決日常自己網路中遇到的實際問題，哪怕起初感覺極為復雜或難以解決的問題。
網路數據包分析與數據包嗅探器
網路數據包分析，就是通常所說的抓包分析，其它類似網路分析、協議分析、數據包分析或數據包嗅探的說法，都是指採集和解碼網路上實時傳輸數據的過程，分析的目的通常是為了能更好地了解網路上正在發生的事情。網路數據包分析過程主要由抓包軟體來捕獲數據包。
使用網路數據包分析技術，一般能夠實現如下目的：
[if !supportLists]� [endif]了解網路工作原理；
[if !supportLists]� [endif]查看網路使用情況及網路上的通信主體；
[if !supportLists]� [endif]確認哪些應用佔用帶寬；
[if !supportLists]� [endif]識別網路中存在的攻擊或惡意行為；
[if !supportLists]� [endif]分析定位網路故障和延時大小；
[if !supportLists]� [endif]查看用戶訪問應用的快慢情況；
[if !supportLists]� [endif]優化和改進應用性能
當然，這些功能可能只是最常見的使用之一，通過數據包分析可做的事情遠遠不止這些。
目前全球最流行、使用最廣泛的數據包分析軟體為Wireshark，本系列關於網路分析的主題，主要介紹如何使用該軟體。其中可能會提及或使用更為智能的商業產品，如NetInside系列性能管理系統，但僅作為參考，或對比學習。
另外，較為常用的網路數據包分析軟體有基於命令行的tcpmp，Wildpackets的Omnipeek（這家公司後轉向於安全取證領域分析，改名Savvius，被LiveAction收購），國內也有家做網路流量分析的廠商，早期的產品也與Omnipeek頗有淵源。
（續更） 點擊查看更多
② Python網路爬蟲學習建議，初學者需要哪些准備
了解html和簡單的js，只有了解你要抓取的頁面，在獲取後才能有效分析。建議系統學習html這個很簡單；js較復雜不必多看，可以邊分析邊網路資料學習。
python方面，了解urllib和urllib2兩個庫，在抓取頁面要用到。Cookielib這個庫配合urllib2可以封裝opener，在需要cookie時可以自動解決，建議了解一些，會封裝opener即可。re正則表達式庫可以幫助你高效的從頁面中分離要的內容，正則表達式要略知一二。
學習一些抓包知識，有些網站防爬，需要人工瀏覽一些頁面，抓取數據包分析防爬機制，然後做出應對措施。比如解決cookie問題，或者模擬設備等。
作為初學者，學會以上知識基本上爬取任何網站都沒問題了，但更重要的是耐心和細心。畢竟爬取網站時並不知道網站已開始是怎麼設計的，有哪些小坑，分析起來這些還是比較燒腦，但是分析成功很有成就感。
③ 怎樣用C語言實現網路抓包
第一法則：站在巨人肩膀上 && 不要重復造輪子。
對於這種復雜的過程，第一選擇是使用現成的，節約時間，提升效率。
Wireshark（前稱Ethereal）是一個網路封包分析軟體。網路封包分析軟體的功能是擷取網路封包，並盡可能顯示出最為詳細的網路封包資料。Wireshark使用WinPCAP作為介面，直接與網卡進行數據報文交換。
網路封包分析軟體的功能可想像成 "電工技師使用電表來量測電流、電壓、電阻" 的工作 - 只是將場景移植到網路上，並將電線替換成網路線。在過去，網路封包分析軟體是非常昂貴，或是專門屬於營利用的軟體。Ethereal的出現改變了這一切。在GNUGPL通用許可證的保障范圍底下，使用者可以以免費的代價取得軟體與其源代碼，並擁有針對其源代碼修改及客制化的權利。Ethereal是目前全世界最廣泛的網路封包分析軟體之一。
第二法則：學習 && 提升。
如果是單純的學習知識，可以直接嘗試寫一些具有部分功能的程序，過程會有點艱難，但非常有意義。學習網路編程，需要了解 開放系統互連參考模型的的七層每一層的意義以及現實當中實現的四層的網路協議。然後就可以知道抓包的包位於模型當中的傳輸層協議，包括UDP和TCP的協議。進一步要學習每種協議的格式，表頭，數據包等等。一句話，冰凍三尺非一日之寒。
Windows下的抓包及簡單的編程。
Windows2000在TCP/IP協議組件上做了很多改進，功能也有增強。比如在協議棧上的調整，增大了默認窗口大小，以及高延遲鏈接新演算法。同時在安全性上，可應用IPSec加強安全性，比NT下有不少的改進。
Microsoft TCP/IP 組件包含「核心協議」、「服務」及兩者之間的「介面」。傳輸驅動程序介面 (TDI) 與網路設備介面規范 (NDIS) 是公用的。 此外，還有許多用戶模型應用程序的更高級介面。最常用的介面是 Windows Sockets、遠程過程調用 (RPC) 和 NetBIOS。
Windows Sockets 是一個編程介面，它是在加州大學伯克利分校開發的套接字介面的基礎上定義的。它包括了一組擴展件，以充分利用 Microsoft Windows 消息驅動的特點。規范的 1.1 版是在 1993 年 1 月發行的，2.2.0 版在 1996 年 5 月發行。Windows 2000 支持 Winsock 2.2 版。在Winsock2中，支持多個傳輸協議的原始套接字，重疊I/O模型、服務質量控制等。
這里介紹Windows Sockets的一些關於原始套接字(Raw Socket)的編程。同Winsock1相比，最明顯的就是支持了Raw Socket套接字類型，通過原始套接字，我們可以更加自如地控制Windows下的多種協議，而且能夠對網路底層的傳輸機制進行控制。
1、創建一個原始套接字，並設置IP頭選項。
SOCKET sock;
sock = socket(AF_INET,SOCK_RAW,IPPROTO_IP);
或者：
s = WSASoccket(AF_INET,SOCK_RAW,IPPROTO_IP,NULL,0,WSA_FLAG_OVERLAPPED);
這里，我們設置了SOCK_RAW標志，表示我們聲明的是一個原始套接字類型。創建原始套接字後，IP頭就會包含在接收的數據中，如果我們設定 IP_HDRINCL 選項，那麼，就需要自己來構造IP頭。注意，如果設置IP_HDRINCL 選項，那麼必須具有 administrator許可權，要不就必須修改注冊表：
HKEY_LOCAL_
修改鍵：DisableRawSecurity（類型為DWORD），把值修改為 1。如果沒有，就添加。
BOOL blnFlag=TRUE;
setsockopt(sock, IPPROTO_IP, IP_HDRINCL, (char *)&blnFlag, sizeof(blnFlag);
對於原始套接字在接收數據報的時候，要注意這么幾點：
a、如果接收的數據報中協議類型和定義的原始套接字匹配，那麼，接收的所有數據就拷貝到套接字中。
b、如果綁定了本地地址，那麼只有接收數據IP頭中對應的遠端地址匹配，接收的數據就拷貝到套接字中。
c、如果定義的是外部地址，比如使用connect()，那麼，只有接收數據IP頭中對應的源地址匹配，接收的數據就拷貝到套接字中。
2、構造IP頭和TCP頭
這里，提供IP頭和TCP頭的結構：
// Standard TCP flags
#define URG 0x20
#define ACK 0x10
#define PSH 0x08
#define RST 0x04
#define SYN 0x02
#define FIN 0x01
typedef struct _iphdr //定義IP首部
{
unsigned char h_lenver; //4位首部長度+4位IP版本號
unsigned char tos; //8位服務類型TOS
unsigned short total_len; //16位總長度（位元組）
unsigned short ident; //16位標識
unsigned short frag_and_flags; //3位標志位
unsigned char ttl; //8位生存時間 TTL
unsigned char proto; //8位協議 (TCP, UDP 或其他)
unsigned short checksum; //16位IP首部校驗和
unsigned int sourceIP; //32位源IP地址
unsigned int destIP; //32位目的IP地址
}IP_HEADER;
typedef struct psd_hdr //定義TCP偽首部
{
unsigned long saddr; //源地址
unsigned long daddr; //目的地址
char mbz;
char ptcl; //協議類型
unsigned short tcpl; //TCP長度
}PSD_HEADER;
typedef struct _tcphdr //定義TCP首部
{
USHORT th_sport; //16位源埠
USHORT th_dport; //16位目的埠
unsigned int th_seq; //32位序列號
unsigned int th_ack; //32位確認號
unsigned char th_lenres; //4位首部長度/6位保留字
unsigned char th_flag; //6位標志位
USHORT th_win; //16位窗口大小
USHORT th_sum; //16位校驗和
USHORT th_urp; //16位緊急數據偏移量
}TCP_HEADER;
TCP偽首部並不是真正存在的，只是用於計算檢驗和。校驗和函數：
USHORT checksum(USHORT *buffer, int size)
{
unsigned long cksum=0;
while (size > 1)
{
cksum += *buffer++;
size -= sizeof(USHORT);
}
if (size)
{
cksum += *(UCHAR*)buffer;
}
cksum = (cksum >> 16) + (cksum & 0xffff);
cksum += (cksum >>16);
return (USHORT)(~cksum);
}
當需要自己填充IP頭部和TCP頭部的時候，就同時需要自己計算他們的檢驗和。
3、發送原始套接字數據報
填充這些頭部稍微麻煩點，發送就相對簡單多了。只需要使用sendto()就OK。
sendto(sock, (char*)&tcpHeader, sizeof(tcpHeader), 0, (sockaddr*)&addr_in,sizeof(addr_in));
下面是一個示常式序，可以作為SYN掃描的一部分。
#include <stdio.h>
#include <winsock2.h>
#include <ws2tcpip.h>
#define SOURCE_PORT 7234
#define MAX_RECEIVEBYTE 255
typedef struct ip_hdr //定義IP首部
{
unsigned char h_verlen; //4位首部長度,4位IP版本號
unsigned char tos; //8位服務類型TOS
unsigned short total_len; //16位總長度（位元組）
unsigned short ident; //16位標識
unsigned short frag_and_flags; //3位標志位
unsigned char ttl; //8位生存時間 TTL
unsigned char proto; //8位協議 (TCP, UDP 或其他)
unsigned short checksum; //16位IP首部校驗和
unsigned int sourceIP; //32位源IP地址
unsigned int destIP; //32位目的IP地址
}IPHEADER;
typedef struct tsd_hdr //定義TCP偽首部
{
unsigned long saddr; //源地址
unsigned long daddr; //目的地址
char mbz;
char ptcl; //協議類型
unsigned short tcpl; //TCP長度
}PSDHEADER;
typedef struct tcp_hdr //定義TCP首部
{
USHORT th_sport; //16位源埠
USHORT th_dport; //16位目的埠
unsigned int th_seq; //32位序列號
unsigned int th_ack; //32位確認號
unsigned char th_lenres; //4位首部長度/6位保留字
unsigned char th_flag; //6位標志位
USHORT th_win; //16位窗口大小
USHORT th_sum; //16位校驗和
USHORT th_urp; //16位緊急數據偏移量
}TCPHEADER;
//CheckSum:計算校驗和的子函數
USHORT checksum(USHORT *buffer, int size)
{
unsigned long cksum=0;
while(size >1)
{
cksum+=*buffer++;
size -=sizeof(USHORT);
}
if(size )
{
cksum += *(UCHAR*)buffer;
}
cksum = (cksum >> 16) + (cksum & 0xffff);
cksum += (cksum >>16);
return (USHORT)(~cksum);
}
void useage()
{
printf("******************************************
");
printf("TCPPing
");
printf(" Written by Refdom
");
printf(" Email: [email protected]
");
printf("Useage: TCPPing.exe Target_ip Target_port
");
printf("*******************************************
");
}
int main(int argc, char* argv[])
{
WSADATA WSAData;
SOCKET sock;
SOCKADDR_IN addr_in;
IPHEADER ipHeader;
TCPHEADER tcpHeader;
PSDHEADER psdHeader;
char szSendBuf[60]={0};
BOOL flag;
int rect,nTimeOver;
useage();
if (argc!= 3)
{ return false; }
if (WSAStartup(MAKEWORD(2,2), &WSAData)!=0)
{
printf("WSAStartup Error!
");
return false;
}
if ((sock=WSASocket(AF_INET,SOCK_RAW,IPPROTO_RAW,NULL,0,WSA_FLAG_OVERLAPPED))==INVALID_SOCKET)
{
printf("Socket Setup Error!
");
return false;
}
flag=true;
if (setsockopt(sock,IPPROTO_IP, IP_HDRINCL,(char *)&flag,sizeof(flag))==SOCKET_ERROR)
{
printf("setsockopt IP_HDRINCL error!
");
return false;
}
nTimeOver=1000;
if (setsockopt(sock, SOL_SOCKET, SO_SNDTIMEO, (char*)&nTimeOver, sizeof(nTimeOver))==SOCKET_ERROR)
{
printf("setsockopt SO_SNDTIMEO error!
");
return false;
}
addr_in.sin_family=AF_INET;
addr_in.sin_port=htons(atoi(argv[2]));
addr_in.sin_addr.S_un.S_addr=inet_addr(argv[1]);
//
//
//填充IP首部
ipHeader.h_verlen=(4<<4 | sizeof(ipHeader)/sizeof(unsigned long));
// ipHeader.tos=0;
ipHeader.total_len=htons(sizeof(ipHeader)+sizeof(tcpHeader));
ipHeader.ident=1;
ipHeader.frag_and_flags=0;
ipHeader.ttl=128;
ipHeader.proto=IPPROTO_TCP;
ipHeader.checksum=0;
ipHeader.sourceIP=inet_addr("本地地址");
ipHeader.destIP=inet_addr(argv[1]);
//填充TCP首部
tcpHeader.th_dport=htons(atoi(argv[2]));
tcpHeader.th_sport=htons(SOURCE_PORT); //源埠號
tcpHeader.th_seq=htonl(0x12345678);
tcpHeader.th_ack=0;
tcpHeader.th_lenres=(sizeof(tcpHeader)/4<<4|0);
tcpHeader.th_flag=2; //修改這里來實現不同的標志位探測，2是SYN，1是FIN，16是ACK探測 等等
tcpHeader.th_win=htons(512);
tcpHeader.th_urp=0;
tcpHeader.th_sum=0;
psdHeader.saddr=ipHeader.sourceIP;
psdHeader.daddr=ipHeader.destIP;
psdHeader.mbz=0;
psdHeader.ptcl=IPPROTO_TCP;
psdHeader.tcpl=htons(sizeof(tcpHeader));
//計算校驗和
memcpy(szSendBuf, &psdHeader, sizeof(psdHeader));
memcpy(szSendBuf+sizeof(psdHeader), &tcpHeader, sizeof(tcpHeader));
tcpHeader.th_sum=checksum((USHORT *)szSendBuf,sizeof(psdHeader)+sizeof(tcpHeader));
memcpy(szSendBuf, &ipHeader, sizeof(ipHeader));
memcpy(szSendBuf+sizeof(ipHeader), &tcpHeader, sizeof(tcpHeader));
memset(szSendBuf+sizeof(ipHeader)+sizeof(tcpHeader), 0, 4);
ipHeader.checksum=checksum((USHORT *)szSendBuf, sizeof(ipHeader)+sizeof(tcpHeader));
memcpy(szSendBuf, &ipHeader, sizeof(ipHeader));
rect=sendto(sock, szSendBuf, sizeof(ipHeader)+sizeof(tcpHeader),
0, (struct sockaddr*)&addr_in, sizeof(addr_in));
if (rect==SOCKET_ERROR)
{
printf("send error!:%d
",WSAGetLastError());
return false;
}
else
printf("send ok!
");
closesocket(sock);
WSACleanup();
return 0;
}
4、接收數據
和發送原始套接字數據相比，接收就比較麻煩了。因為在WIN我們不能用recv()來接收raw socket上的數據，這是因為，所有的IP包都是先遞交給系統核心，然後再傳輸到用戶程序，當發送一個raws socket包的時候（比如syn），核心並不知道，也沒有這個數據被發送或者連接建立的記錄，因此，當遠端主機回應的時候，系統核心就把這些包都全部丟掉，從而到不了應用程序上。所以，就不能簡單地使用接收函數來接收這些數據報。
要達到接收數據的目的，就必須採用嗅探，接收所有通過的數據包，然後進行篩選，留下符合我們需要的。可以再定義一個原始套接字，用來完成接收數據的任務，需要設置SIO_RCVALL，表示接收所有的數據。
SOCKET sniffersock;
sniffsock = WSASocket(AF_INET, SOCK_RAW, IPPROTO_IP, NULL, 0, WSA_FLAG_OVERLAPPED);
DWORD lpvBuffer = 1;
DWORD lpcbBytesReturned = 0 ;
WSAIoctl(sniffersock, SIO_RCVALL, &lpvBuffer, sizeof(lpvBuffer), NULL, 0, & lpcbBytesReturned, NULL, NULL);
創建一個用於接收數據的原始套接字，我們可以用接收函數來接收數據包了。然後在使用一個過濾函數達到篩選的目的，接收我們需要的數據包。
如果在XP以上的操作系統，微軟封殺了Raw Soccket，只能用wincpap之類的開發包了。
④ 想成為網路工程師需要學習哪些知識
參考軟考需要學習知識，展開學習。
⑤ 如何網路抓包
很明白你想干什麼
不過不是三言兩語可以做到的
首先，你想抓包，需要依賴一個庫（windows下叫winpcap, linux下叫libpcap）
這個包提供了很多介面，運行後你可以進行抓包
然後介紹你一本書：《網路安全開發包詳解》，當年做網路安全的入門級書啊
這本書目前市面上已經絕版了（只有印刷版和二手的能買，如果你經常需要用，建議買一本，比電子書方便），不過你可以下載到電子版的，如果需要我也能傳給你一份
然後你想實現的例子，只需要把書看前幾章就可以了，看到介紹winpcap/libpcap怎麼用就可以了。
⑥ 網路抓包原理
本文以App作為例子，實際應用不限於App范圍。
大部分場合都可以通過程序調試來定位問題，但有些場景使用抓包來定位介面問題更准確、更方便，如以下場景：
要實現對App的網路數據抓包，需要監控App與伺服器交互之間的網路節點，監控其中任意一個網路節點（網卡），獲取所有經過網卡中的數據，對這些數據按照網路協議進行解析，這就是抓包的基本原理。
但是中間網路節點，不受我們控制，所以基本無法實現抓包的，只能在客戶端和服務端進行抓包。
通常我們監控本地網卡數據，如下圖：
本地網路 指的是WIFI的路由，如果直接抓路由器的包還是比較麻煩的，因此我們會在 手機 和 本地路由 之間加一層 代理服務 ，這樣只要抓代理服務的網路數據即可：
雖然在 手機 側也可實現抓包，但和 本地路由 一樣，抓包比較麻煩，如果不是沒有辦法，盡量還是不在手機側抓包。但是有一種情況必須在手機端抓包，那就是在4G網路情況下：
4G網路狀態下如何抓包，以及它的劣勢，我們後面章節再細講。
抓包實際上是分析網路協議的一種過程，盡管繁瑣的細節勞動都讓抓包工具做了，但我們還是需要了解下基礎的網路協議，好幫助我們更好的分析問題。
首先需要了解下經典的OSI七層網路模型，以及每層的作用，其次對TCP、HTTP協議簡單了解。
HTTPS是基於HTTP協議的一種改進，在 TCP之上 的會話層增加安全處理。對於應用層來說，HTTPS和HTTP沒有什麼不同，也就是說，HTTPS是保證網路傳輸的安全性，對業務數據無侵入。
簡化理解大概是這個樣子：
SSL和TLS是保證安全傳輸的協議，包括證書認證、加解密和數字簽名。
項目中HTTPS的鏈路：
因此，客戶端與後台，編寫網路介面時，不需要關心SSL或TLS，按照HTTP協議處理即可。
既然HTTPS在網路傳輸是經過加密的，那麼抓包抓到的數據就是密文，不經過解密是無法看到報文的。針對這個問題，如上圖WIFI環境下設置代理的方式可以解決，具體思路是：
所以整個網路鏈路依然是HTTPS在傳輸，但代理服務自己可以獲取到明文數據。
比較常用的抓包工具大概有4個，主要用作互補，配合使用基本所有平台、所有抓包需求都能滿足：
需要說明的是，tcpmp可將數據保存成文件，直接用wireShark打開分析，針對後台或手機抓包使用起來十分方便。
幾個工具間的使用關系：
為什麼要真機抓包？必定是沒有辦法設置代理服務了，如4G網路情況下直接和移動基站鏈接，沒法設置代理服務。凡是非4G網路狀態下，都不建議真機抓包。
iOS 5後，apple引入了RVI remote virtual interface的特性，它只需要將iOS設備使用USB數據線連接到mac上，然後使用rvictl工具以iOS設備的UDID為參數在Mac中建立一個虛擬網路介面rvi，就可以在mac設備上使用tcpmp，wireshark等工具對創建的介面進行抓包分析。
具體步驟：
android是linux系統，和後台一樣可以使用tcpmp命令來抓包，但是需要root許可權，因為一般手機系統不帶有抓包命令 tcpmp ，需要自行安裝。
安裝tcpmp：
使用tcpmp：
這是就已經進入抓包狀態，手機所有的網路請求都會被捕獲，並保存到capture文件中。
導出capture文件：
原文： 網路抓包
⑦ 在計算機網路中怎樣抓包
計算機網路里抓包就是將網路傳輸發送與接收的數據包進行截獲、重發、編輯、轉存等操作，也用來檢查網路安全等等。
以Sniffer軟體為例說明：數據在網路上是以很小的稱為幀（Frame）的單位傳輸的，幀由幾部分組成，不同的部分執行不同的功能。幀通過特定的稱為網路驅動程序的軟體進行成型，然後通過網卡發送到網線上，通過網線到達它們的目的機器，在目的機器的一端執行相反的過程。接收端機器的乙太網卡捕獲到這些幀，並告訴操作系統幀已到達，然後對其進行存儲。就是在這個傳輸和接收的過程中，嗅探器會帶來安全方面的問題。每一個在區域網（LAN）上的工作站都有其硬體地址，這些地址惟一地表示了網路上的機器（這一點與Internet地址系統比較相似）。當用戶發送一個數據包時，如果為廣播包，則可達到區域網中的所有機器，如果為單播包，則只能到達處於同一碰撞域中的機器。在一般情況下，網路上所有的機器都可以「聽」到通過的流量，但對不屬於自己的數據包則不予響應（換句話說，工作站A不會捕獲屬於工作站B的數據，而是簡單地忽略這些數據）。如果某個工作站的網路介面處於混雜模式（關於混雜模式的概念會在後面解釋），那麼它就可以捕獲網路上所有的數據包和幀。