網路抓取問題有哪些

Ⅰ 網路爬蟲程序的爬蟲的設計中應該注意的問題

第一個問題是URL地址的標准化：在WWW上，一個URL地址可以有多種表示方法，可以用IP地址表示，也可以用域名來表示。為了避免爬蟲重復訪問同一地址。第二個問題是避免掉進網路陷阱：網路上的鏈接情況比較復雜，一些靜態的網頁可能構成閉環迴路。為了避免爬蟲在一條循環路線上反復抓取，在把URL加入待搜索地址列表之前都要檢查是否已在待搜索的地址列表中出現過。對於動態網頁，爬蟲應該忽略所有帶參數的URL。第三個問題：對於拒絕訪問的頁面，爬蟲應該遵從「漫遊拒絕訪問規則」。

Ⅱ 網路爬蟲 抓取圖片問題 Java

大部分網路抓圖都是網頁上帶的有圖片url的那種。高級的網路抓圖支持部分Javascript
，其實原理和抓取html頁面的一樣，解析並拼接javascript中的圖片地址，然後批量抓取。

Ⅲ 現在的網路爬蟲的研究成果和存在的問題有哪些

網路爬蟲是Spider（或Robots、Crawler）等詞的意譯，是一種高效的信息抓取工具，它集成了搜索引擎技術，並通過技術手段進行優化，用以從互聯網搜索、抓取並保存任何通過HTML（超文本標記語言）進行標准化的網頁信息。

其作用機理是：發送請求給互聯網特定站點，在建立連接後與該站點交互，獲取HTML格式的信息，隨後轉移到下一個站點，並重復以上流程。通過這種自動化的工作機制，將目標數據保存在本地數據中，以供使用。網路爬蟲在訪問一個超文本鏈接時，可以從HTML標簽中自動獲取指向其他網頁的地址信息，因而可以自動實現高效、標准化的信息獲取。

隨著互聯網在人類經濟社會中的應用日益廣泛，其所涵蓋的信息規模呈指數增長，信息的形式和分布具有多樣化、全球化特徵，傳統搜索引擎技術已經無法滿足日益精細化、專業化的信息獲取和加工需求，正面臨著巨大的挑戰。網路爬蟲自誕生以來，就發展迅猛，並成為信息技術領域的主要研究熱點。當前，主流的網路爬蟲搜索策略有如下幾種。

>>>>
深度優先搜索策略

早期的爬蟲開發採用較多的搜索策略是以深度優先的，即在一個HTML文件中，挑選其中一個超鏈接標簽進行深度搜索，直至遍歷這條超鏈接到最底層時，由邏輯運算判斷本層搜索結束，隨後退出本層循環，返回上層循環並開始搜索其他的超鏈接標簽，直至初始文件內的超鏈接被遍歷。

深度優先搜索策略的優點是可以將一個Web站點的所有信息全部搜索，對嵌套較深的文檔集尤其適用；而缺點是在數據結構日益復雜的情況下，站點的縱向層級會無限增加且不同層級之間會出現交叉引用，會發生無限循環的情況，只有強行關閉程序才能退出遍歷，而得到的信息由於大量的重復和冗餘，質量很難保證。

>>>>
寬度優先搜索策略

與深度優先搜索策略相對應的是寬度優先搜索策略，其作用機理是從頂層向底層開始循環，先就一級頁面中的所有超鏈接進行搜索，完成一級頁面遍歷後再開始二級頁面的搜索循環，直到底層為止。當某一層中的所有超鏈接都被選擇過，才會基於該層信息檢索過程中所獲得的下一級超鏈接（並將其作為種子）開始新的一輪檢索，優先處理淺層的鏈接。

這種模式的一個優點是：無論搜索對象的縱向結構層級有多麼復雜，都會極大程度上避免死循環；另一個優勢則在於，它擁有特定的演算法，可以找到兩個HTML文件間最短的路徑。一般來講，我們期望爬蟲所具有的大多數功能目前均可以採用寬度優先搜索策略較容易的實現，所以它被認為是最優的。

但其缺點是：由於大量時間被耗費，寬度優先搜索策略則不太適用於要遍歷特定站點和HTML文件深層嵌套的情況。

>>>>
聚焦搜索策略

與深度優先和寬度優先不同，聚焦搜索策略是根據「匹配優先原則」對數據源進行訪問，基於特定的匹配演算法，主動選擇與需求主題相關的數據文檔，並限定優先順序，據以指導後續的數據抓取。

這類聚焦爬蟲針對所訪問任何頁面中的超鏈接都會判定一個優先順序評分，根據評分情況將該鏈接插入循環隊列，此策略能夠幫助爬蟲優先跟蹤潛在匹配程度更高的頁面，直至獲取足夠數量和質量的目標信息。不難看出，聚焦爬蟲搜索策略主要在於優先順序評分模型的設計，亦即如何區分鏈接的價值，不同的評分模型針對同一鏈接會給出不同的評分，也就直接影響到信息搜集的效率和質量。

同樣機制下，針對超鏈接標簽的評分模型自然可以擴展到針對HTML頁面的評價中，因為每一個網頁都是由大量超鏈接標簽所構成的，一般看來，鏈接價值越高，其所在頁面的價值也越高，這就為搜索引擎的搜索專業化和應用廣泛化提供了理論和技術支撐。當前，常見的聚焦搜索策略包括基於「鞏固學習」和「語境圖」兩種。

從應用程度來看，當前國內主流搜索平台主要採用的是寬度優先搜索策略，主要是考慮到國內網路系統中信息的縱向價值密度較低，而橫向價值密度較高。但是這樣會明顯地遺漏到一些引用率較小的網路文檔，並且寬度優先搜索策略的橫向價值富集效應，會導致這些鏈接量少的信息源被無限制的忽略下去。

而在此基礎上補充採用線性搜索策略則會緩解這種狀況，不斷引入更新的數據信息到已有的數據倉庫中，通過多輪的價值判斷去決定是否繼續保存該信息，而不是「簡單粗暴」地遺漏下去，將新的信息阻滯在密閉循環之外。

>>>>
網頁數據動態化

傳統的網路爬蟲技術主要局限於對靜態頁面信息的抓取，模式相對單一，而近年來，隨著Web2.0/AJAX等技術成為主流，動態頁面由於具有強大的交互能力，成為網路信息傳播的主流，並已取代了靜態頁面成為了主流。AJAX採用了JavaScript驅動的非同步(非同步)請求和響應機制，在不經過網頁整體刷新的情況下持續進行數據更新，而傳統爬蟲技術缺乏對JavaScript語義的介面和交互能力，難以觸發動態無刷新頁面的非同步調用機制並解析返回的數據內容，無法保存所需信息。

此外，諸如JQuery等封裝了JavaScript的各類前端框架會對DOM結構進行大量調整，甚至網頁上的主要動態內容均不必在首次建立請求時就以靜態標簽的形式從伺服器端發送到客戶端，而是不斷對用戶的操作進行回應並通過非同步調用的機制動態繪制出來。這種模式一方面極大地優化了用戶體驗，另一方面很大程度上減輕了伺服器的交互負擔，但卻對習慣了DOM結構（相對不變的靜態頁面）的爬蟲程序提出了巨大挑戰。

傳統爬蟲程序主要基於「協議驅動」，而在互聯網2.0時代，基於AJAX的動態交互技術環境下，爬蟲引擎必須依賴「事件驅動」才有可能獲得數據伺服器源源不斷的數據反饋。而要實現事件驅動，爬蟲程序必須解決三項技術問題：第一，JavaScript的交互分析和解釋；第二，DOM事件的處理和解釋分發；第三，動態DOM內容語義的抽取。

前嗅的ForeSpider數據採集系統全方位支持各種動態網站，大部分網站通過可視化的操作就可以獲取。對於反爬蟲機制嚴格的網站，通過ForeSpider內部的腳本語言系統，通過簡單的腳本語言，就可以輕松獲取。

>>>>
數據採集分布化

分布式爬蟲系統是在計算機集群之上運轉的爬蟲系統，集群每一個節點上運行的爬蟲程序與集中式爬蟲系統的工作原理相同，所不同的是分布式需要協調不同計算機之間的任務分工、資源分配、信息整合。分布式爬蟲系統的某一台計算機終端中植入了一個主節點，並通過它來調用本地的集中式爬蟲進行工作，在此基礎上，不同節點之間的信息交互就顯得十分重要，所以決定分布式爬蟲系統成功與否的關鍵在於能否設計和實現任務的協同。

此外，底層的硬體通信網路也十分重要。由於可以採用多節點抓取網頁，並能夠實現動態的資源分配，因此就搜索效率而言，分布式爬蟲系統遠高於集中式爬蟲系統。

經過不斷的演化，各類分布式爬蟲系統在系統構成上各具特色，工作機制與存儲結構不斷推陳出新，但主流的分布式爬蟲系統普遍運用了「主從結合」的內部構成，也就是由一個主節點通過任務分工、資源分配、信息整合來掌控其他從節點進行信息抓取。

在工作方式上，基於雲平台的廉價和高效特點，分布式爬蟲系統廣泛採用雲計算方式來降低成本，大規模降低軟硬體平台構建所需要的成本投入。在存儲方式方面，當前比較流行的是分布式信息存儲，即將文件存儲在分布式的網路系統上，這樣管理多個節點上的數據更加方便。通常情況下使用的分布式文件系統為基於Hadoop的HDFS系統。

目前市場上的可視化通用性爬蟲，大都犧牲了性能去換取簡易的可視化操作。但前嗅的ForeSpider爬蟲不是。ForeSpider採用C++編程，普通台式機日採集量超過500萬條/天，伺服器超過4000萬條/天。是市場上其他可視化爬蟲的10倍以上。同時，ForeSpider內嵌前嗅自主研發的ForeLib資料庫，免費的同時支持千萬量級以上的數據存儲。

>>>>
通用型和主題型網路爬蟲

依據採集目標的類型，網路爬蟲可以歸納為「通用型網路爬蟲」和「主題型網路爬蟲」兩種。

通用型網路爬蟲側重於採集更大的數據規模和更寬的數據范圍，並不考慮網頁採集的順序和目標網頁的主題匹配情況。在當前網路信息規模呈現指數增長的背景下，通用型網路爬蟲的使用受到信息採集速度、信息價值密度、信息專業程度的限制。

為緩解這種狀況，主題型網路爬蟲誕生了。不同於通用型網路爬蟲，主題型網路爬蟲更專注採集目標與網頁信息的匹配程度，避免無關的冗餘信息，這一篩選過程是動態的，貫穿於主題型網路爬蟲技術的整個工作流程。

目前市面上的通用性爬蟲的採集能力有限，採集能力不高，網頁結構復雜的頁面無法採集。前嗅ForeSpider爬蟲是通用型的網路爬蟲，可以採集幾乎100%的網頁，並且內部支持可視化篩選、正則表達式、腳本等多種篩選，可以100%過濾無關冗餘內容，按條件篩選內容。相對主題型爬蟲只能採集一類網站而言，通用型的爬蟲有著更強的採集范圍，更加經濟合理。

Ⅳ 網路爬蟲論文

1、爬蟲技術概述

網路爬蟲（Web crawler），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，它們被廣泛用於互聯網搜索引擎或其他類似網站，可以自動採集所有其能夠訪問到的頁面內容，以獲取或更新這些網站的內容和檢索方式。從功能上來講，爬蟲一般分為數據採集，處理，儲存三個部分。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。

相對於通用網路爬蟲，聚焦爬蟲還需要解決三個主要問題：

(1) 對抓取目標的描述或定義；

(2) 對網頁或數據的分析與過濾；

(3) 對URL的搜索策略。

2、爬蟲原理

2.1 網路爬蟲原理

Web網路爬蟲系統的功能是下載網頁數據，為搜索引擎系統提供數據來源。很多大型的網路搜索引擎系統都被稱為基於 Web數據採集的搜索引擎系統，比如 Google、Bai。由此可見Web 網路爬蟲系統在搜索引擎中的重要性。網頁中除了包含供用戶閱讀的文字信息外，還包含一些超鏈接信息。Web網路爬蟲系統正是通過網頁中的超連接信息不斷獲得網路上的其它網頁。正是因為這種採集過程像一個爬蟲或者蜘蛛在網路上漫遊，所以它才被稱為網路爬蟲系統或者網路蜘蛛系統，在英文中稱為Spider或者Crawler。

2.3.2寬度優先遍歷策略

寬度優先遍歷策略的基本思路是，將新下載網頁中發現的鏈接直接插入待抓取URL隊列的末尾。也就是指網路爬蟲會先抓取起始網頁中鏈接的所有網頁，然後再選擇其中的一個鏈接網頁，繼續抓取在此網頁中鏈接的所有網頁。還是以上面的圖為例：

遍歷路徑：A-B-C-D-E-F G H I

2.3.3反向鏈接數策略

反向鏈接數是指一個網頁被其他網頁鏈接指向的數量。反向鏈接數表示的是一個網頁的內容受到其他人的推薦的程度。因此，很多時候搜索引擎的抓取系統會使用這個指標來評價網頁的重要程度，從而決定不同網頁的抓取先後順序。

在真實的網路環境中，由於廣告鏈接、作弊鏈接的存在，反向鏈接數不能完全等他我那個也的重要程度。因此，搜索引擎往往考慮一些可靠的反向鏈接數。

2.3.4Partial PageRank策略

Partial PageRank演算法借鑒了PageRank演算法的思想：對於已經下載的網頁，連同待抓取URL隊列中的URL，形成網頁集合，計算每個頁面的PageRank值，計算完之後，將待抓取URL隊列中的URL按照PageRank值的大小排列，並按照該順序抓取頁面。

如果每次抓取一個頁面，就重新計算PageRank值，一種折中方案是：每抓取K個頁面後，重新計算一次PageRank值。但是這種情況還會有一個問題：對於已經下載下來的頁面中分析出的鏈接，也就是我們之前提到的未知網頁那一部分，暫時是沒有PageRank值的。為了解決這個問題，會給這些頁面一個臨時的PageRank值：將這個網頁所有入鏈傳遞進來的PageRank值進行匯總，這樣就形成了該未知頁面的PageRank值，從而參與排序。下面舉例說明：

2.3.5OPIC策略策略

該演算法實際上也是對頁面進行一個重要性打分。在演算法開始前，給所有頁面一個相同的初始現金（cash）。當下載了某個頁面P之後，將P的現金分攤給所有從P中分析出的鏈接，並且將P的現金清空。對於待抓取URL隊列中的所有頁面按照現金數進行排序。

2.3.6大站優先策略

對於待抓取URL隊列中的所有網頁，根據所屬的網站進行分類。對於待下載頁面數多的網站，優先下載。這個策略也因此叫做大站優先策略。

3、爬蟲分類

開發網路爬蟲應該選擇Nutch、Crawler4j、WebMagic、scrapy、WebCollector還是其他的？上面說的爬蟲，基本可以分3類：

（1）分布式爬蟲：Nutch

（2）JAVA爬蟲：Crawler4j、WebMagic、WebCollector

（3）非JAVA爬蟲：scrapy（基於Python語言開發）

3.1 分布式爬蟲

爬蟲使用分布式，主要是解決兩個問題：

1)海量URL管理

2)網速

現在比較流行的分布式爬蟲，是Apache的Nutch。但是對於大多數用戶來說，Nutch是這幾類爬蟲里，最不好的選擇，理由如下：

1)Nutch是為搜索引擎設計的爬蟲，大多數用戶是需要一個做精準數據爬取（精抽取）的爬蟲。Nutch運行的一套流程里，有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。也就是說，用Nutch做數據抽取，會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發，來使得它適用於精抽取的業務，基本上就要破壞Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新寫一個分布式爬蟲框架了。

2)Nutch依賴hadoop運行，hadoop本身會消耗很多的時間。如果集群機器數量較少，爬取速度反而不如單機爬蟲快。

3)Nutch雖然有一套插件機制，而且作為亮點宣傳。可以看到一些開源的Nutch插件，提供精抽取的功能。但是開發過Nutch插件的人都知道，Nutch的插件系統有多蹩腳。利用反射的機制來載入和調用插件，使得程序的編寫和調試都變得異常困難，更別說在上面開發一套復雜的精抽取系統了。而且Nutch並沒有為精抽取提供相應的插件掛載點。Nutch的插件有隻有五六個掛載點，而這五六個掛載點都是為了搜索引擎服務的，並沒有為精抽取提供掛載點。大多數Nutch的精抽取插件，都是掛載在「頁面解析」(parser)這個掛載點的，這個掛載點其實是為了解析鏈接（為後續爬取提供URL），以及為搜索引擎提供一些易抽取的網頁信息(網頁的meta信息、text文本)。

4)用Nutch進行爬蟲的二次開發，爬蟲的編寫和調試所需的時間，往往是單機爬蟲所需的十倍時間不止。了解Nutch源碼的學習成本很高，何況是要讓一個團隊的人都讀懂Nutch源碼。調試過程中會出現除程序本身之外的各種問題(hadoop的問題、hbase的問題)。

5)很多人說Nutch2有gora，可以持久化數據到avro文件、hbase、mysql等。很多人其實理解錯了，這里說的持久化數據，是指將URL信息（URL管理所需要的數據）存放到avro、hbase、mysql。並不是你要抽取的結構化數據。其實對大多數人來說，URL信息存在哪裡無所謂。

6)Nutch2的版本目前並不適合開發。官方現在穩定的Nutch版本是nutch2.2.1，但是這個版本綁定了gora-0.3。如果想用hbase配合nutch（大多數人用nutch2就是為了用hbase)，只能使用0.90版本左右的hbase，相應的就要將hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比較有誤導作用，Nutch2的教程有兩個，分別是Nutch1.x和Nutch2.x，這個Nutch2.x官網上寫的是可以支持到hbase 0.94。但是實際上，這個Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之後的一個版本，這個版本在官方的SVN中不斷更新。而且非常不穩定（一直在修改）。

所以，如果你不是要做搜索引擎，盡量不要選擇Nutch作為爬蟲。有些團隊就喜歡跟風，非要選擇Nutch來開發精抽取的爬蟲，其實是沖著Nutch的名氣（Nutch作者是Doug Cutting），當然最後的結果往往是項目延期完成。

如果你是要做搜索引擎，Nutch1.x是一個非常好的選擇。Nutch1.x和solr或者es配合，就可以構成一套非常強大的搜索引擎了。如果非要用Nutch2的話，建議等到Nutch2.3發布再看。目前的Nutch2是一個非常不穩定的版本。

Ⅳ 網路抓包怎麼分析

關於網路抓包的問題，可以使用 ethereal 軟體進行網路上各種信息包的抓取。
但是至於說對抓取到的各種信息包進行詳細的分析，這個必須要精通 TCP/IP 協議族才能夠做到（例如：精通 TCP、IP、UDP、ICMP等協議的幀格式、以及即使在同一個欄位中，不同的數字也代表不同的具體含義，等等）。
否則的話，即使獲取到了各種十六進制的信息包，閱讀這些信息包的感覺就和看天書一樣，無法分析這些信息包的詳細含義。

Ⅵ 網路爬蟲主要能幹啥

網路爬蟲是一種互聯網機器人，它通過爬取互聯網上網站的內容來工作。它是用計算機語言編寫的程序或腳本，用於自動從Internet上獲取任何信息或數據。機器人掃描並抓取每個所需頁面上的某些信息，直到處理完所有能正常打開的頁面。

網路爬蟲大致有4種類型的結構：通用網路爬蟲、聚焦網路爬蟲、增量式網路爬蟲、深層網路爬蟲 。

1、通用Web爬蟲

通用網路爬蟲所爬取的目標數據是巨大的，並且爬行的范圍也是非常大的，正是由於其爬取的數據是海量數據，故而對於這類爬蟲來說，其爬取的性能要求是非常高的。這種網路爬蟲主要應用於大型搜索引擎中，有非常高的應用價值。 或者應用於大型數據提供商。

2、聚焦網路爬蟲

聚焦網路爬蟲是按照預先定義好的主題有選擇地進行網頁爬取的一種爬蟲，聚焦網路爬蟲不像通用網路爬蟲一樣將目標資源定位在全互聯網中，而是將爬取的目標網頁定位在與主題相關的頁面中，此時，可以大大節省爬蟲爬取時所需的帶寬資源和伺服器資源。聚焦網路爬蟲主要應用在對特定信息的爬取中，主要為某一類特定的人群提供服務。

3、增量Web爬蟲

增量式網路爬蟲，在爬取網頁的時候，只爬取內容發生變化的網頁或者新產生的網頁，對於未發生內容變化的網頁，則不會爬取。增量式網路爬蟲在一定程度上能夠保證所爬取的頁面，盡可能是新頁面。

4、深層網路爬蟲

在互聯網中，網頁按存在方式分類，可以分為表層頁面和深層頁面。所謂的表層頁面，指的是不需要提交表單，使用靜態的鏈接就能夠到達的靜態頁面；而深層頁面則隱藏在表單後面，不能通過靜態鏈接直接獲取，是需要提交一定的關鍵詞之後才能夠獲取得到的頁面。在互聯網中，深層頁面的數量往往比表層頁面的數量要多很多，故而，我們需要想辦法爬取深層頁面。

網路爬蟲可以做什麼？

由於互聯網和物聯網的蓬勃發展，人與網路之間的互動正在發生。每次我們在互聯網上搜索時，網路爬蟲都會幫助我們獲取所需的信息。此外，當需要從Web訪問大量非結構化數據時，我們可以使用Web爬網程序來抓取數據。

1、Web爬蟲作為搜索引擎的重要組成部分

使用聚焦網路爬蟲實現任何門戶網站上的搜索引擎或搜索功能。它有助於搜索引擎找到與搜索主題具有最高相關性的網頁。

對於搜索引擎，網路爬蟲有幫助，為用戶提供相關且有效的內容， 創建所有訪問頁面的快照以供後續處理。

2、建立數據集

網路爬蟲的另一個好用途是建立數據集以用於研究，業務和其他目的。

· 了解和分析網民對公司或組織的行為

· 收集營銷信息，並在短期內更好地做出營銷決策。

· 從互聯網收集信息並分析它們進行學術研究。

· 收集數據，分析一個行業的長期發展趨勢。

· 監控競爭對手的實時變化

Ⅶ 網路爬蟲屬於什麼問題

網路爬蟲（web crawler）也叫網頁蜘蛛，網路機器人，是一種用來自動瀏覽萬維網的程序或者腳本。爬蟲可以驗證超鏈接和HTML代碼，用於網路抓取（Web scraping）。網路搜索引擎等站點通過爬蟲軟體更新自身的網站內容（Web content）或其對其他網站的索引。

爬蟲訪問網站的過程會消耗目標系統資源，因此在訪問大量頁面時，爬蟲需要考慮到規劃、負載等問題。
通用網路爬蟲

通用網路爬蟲又稱全網爬蟲（Scalable Web Crawler），爬行對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜索引擎和大型 Web 服務提供商採集數據。 由於商業原因，它們的技術細節很少公布出來。 這類網路爬蟲的爬行范圍和數量巨大，對於爬行速度和存儲空間要求較高，對於爬行頁面的順序要求相對較低，同時由於待刷新的頁面太多，通常採用並行工作方式，但需要較長時間才能刷新一次頁面。 雖然存在一定缺陷，通用網路爬蟲適用於為搜索引擎搜索廣泛的主題，有較強的應用價值。

通用網路爬蟲的結構大致可以分為頁面爬行模塊 、頁面分析模塊、鏈接過濾模塊、頁面資料庫、URL 隊列、初始 URL 集合幾個部分。為提高工作效率，通用網路爬蟲會採取一定的爬行策略。 常用的爬行策略有：深度優先策略、廣度優先策略。

1) 深度優先策略：其基本方法是按照深度由低到高的順序，依次訪問下一級網頁鏈接，直到不能再深入為止。 爬蟲在完成一個爬行分支後返回到上一鏈接節點進一步搜索其它鏈接。 當所有鏈接遍歷完後，爬行任務結束。 這種策略比較適合垂直搜索或站內搜索， 但爬行頁面內容層次較深的站點時會造成資源的巨大浪費。

2) 廣度優先策略：此策略按照網頁內容目錄層次深淺來爬行頁面，處於較淺目錄層次的頁面首先被爬行。 當同一層次中的頁面爬行完畢後，爬蟲再深入下一層繼續爬行。 這種策略能夠有效控制頁面的爬行深度，避免遇到一個無窮深層分支時無法結束爬行的問題，實現方便，無需存儲大量中間節點，不足之處在於需較長時間才能爬行到目錄層次較深的頁面。

Ⅷ 求助，網路爬蟲問題，抓取問題，Java

網路爬蟲的程序涉及的知識比較多，有開源的框架可以用，要用到，LUCENE或COMPASS,compass對LUCENE進行了封裝，比較好的開源網路爬蟲的程序是heritrix

Ⅸ 什麼是網站數據抓取什麼是

在互聯網路的時代，信息如同大海般沒有邊際。甚至我們獲取信息的方法已經發生改變：從傳統的翻書查字典，繼而變成通過搜索引擎進行檢索。我們從信息匱乏的時代一下子走到了信息極大豐富今天。

在今天，困擾我們的問題不是信息太少，而是太多，多得讓你無從分辨，無從選擇。因此，提供一個能夠自動在互聯網上抓取數據，並自動分揀、分析的工具有非常重要的意義。

我們通過傳統的搜索引擎所獲得的信息，通常是通過網頁的形式所展現的，這樣的信息人工閱讀起來自然親切，但計算機卻很難進行加工和再利用。而且檢索到的信息量太大，我們很難在大量的檢索結果中抽取出我們最需要的信息。採用自動識別關鍵詞技術，將你需要的信息從海量的信息中篩選出來。就是數據抓取

Ⅹ wireshark怎麼抓包分析網路故障實戰

【WireShark概覽】
1、Wireshark 是網路報文分析工具。網路報文分析工具的主要作用是嘗試捕獲網路報文， 並嘗試顯示報文盡可能詳細的內容。過去的此類工具要麼太貴，要麼是非公開的。 直到Wireshark（Ethereal）出現以後，這種情況才得以改變。Wireshark可以算得上是今天能使用的最好的開源網路分析軟體。2、WireShark簡史：1997年，Gerald Combs 需要一個工具追蹤網路問題，並且想學習網路知識。所以他開始開發Ethereal (Wireshark項目以前的名稱) 以解決自己的需求。1998年，Ethreal0.2.0版誕生了。此後不久，越來越多的人發現了它的潛力，並為其提供了底層分析。2006年Ethreal改名為Wireshark。2008年，在經過了十年的發展後，Wireshark發布了1.0版本。3、WireShark的主要作用，就是可以抓取各種埠的報文，包括有線網口、無線網口、USB口、LoopBack口等等，從而就可以很方便地進行協議學習、網路分析、系統排錯等後續任務。4、不同平台下的WireShark：目前WireShark支持幾乎所有主流報文文件，包括pcap，cap ，pkt，enc等等。但是不同平台下的WireShark卻有功能上的不同。總體來說，Linux版本WireShark的功能和特性比Windows版本的要豐富和強大。例如，Linux版本的WireShark可以直接抓取USB介面報文，而Windows版本就不行。

Figure 1，Linux下的WireShark

Figure 2，Windows下WireShark

Figure 3，各平台下的WireShark所支持的協議

各平台下的WireShark支持的協議如上圖所示。從圖中可以看到Linux下的版本功能最強大，由於平台本身特性，可以使WireShark幾乎支持所有協議。但由於我們平時工作中主要抓取乙太網報文，且絕大部分的操作系統都是Windows，所以本文還是以Windows平台下的WireShark為例來進行說明。

【如何正確使用WireShark抓取報文】
1、WireShark組網拓撲。為了抓到HostA與HostB之間的報文，下面介紹幾種WireShark組網。
i.在線抓取：如果WireShark本身就是組網中的一部分，那麼，很簡單，直接抓取報文就行了。

ii. 串聯抓取：串聯組網是在報文鏈路中間串聯一個設備，利用這個中間設備來抓取報文。這個中間設備可以是一個HUB，利用HUB會對域內報文進行廣播的特性，接在HUB上的WireShark也能收到報文。

若是WireShark有雙網卡，正確設置網路轉發，直接串接在鏈路上。

也可以利用Tap分路器對來去的報文進行分路，把報文引到WireShark上。

串聯組網的好處是報文都必須經過中間設備，所有包都能抓到。缺點是除非原本就已經規劃好，不然要把報文鏈路斷開，插入一個中間設備，會中斷流量，所以一般用於學習研究，不適用於實際業務網以及工業現場乙太網。

iii. 並聯抓取：並聯組網是將現有流量通過現網設備本身的特性將流量引出來。
若是網路本身通過HUB組網的，那麼將WireShark連上HUB就可以。

若是交換機組網，那直接連上也能抓取廣播報文。

當然，最常用的還是利用交換機的鏡像功能來抓包。

並聯組網的優點是不用破壞現有組網，適合有業務的在線網路以及工業現場乙太網。缺點是HUB組網已經不常見，而交換機組網的設備開啟鏡像後，對性能有非常大的影響。

2、 WireShark的安裝。WireShark是免費開源軟體，在網上可以很輕松獲取到。Windows版的WireShark分為32位而64位兩個版本，根據系統的情況來決定安裝哪一個版本，雖然64位系統裝32位軟體也能使用，但裝相應匹配的版本，兼容性及性能都會好一些。在Windows下，WireShark的底層抓包工具是Winpcap，一般來說WireShark安裝包內本身就包含了對應可用版本的Winpcap，在安裝的時候注意鉤選安裝就可以。安裝過程很簡單，不再贅述。

3、使用WireShark抓取網路報文。Step1. 選擇需要抓取的介面，點選Start就開始抓包。

4、使用WireShark抓取MPLS報文。對於mpls報文，wireshark可以直接抓取帶MPLS標簽的報文。

5、使用WireShark抓取帶Vlan Tag的報文。早期網卡的驅動不會對VLAN TAG進行處理，而是直接送給上層處理，在這種環境下，WireShark可以正常抓到帶VLAN TAG的報文。而Intel，broadcom，marvell的網卡則會對報文進行處理，去掉TAG後再送到上層處理，所以WireShark在這種情況下通常抓不到VLAN TAG。這時我們需要針對這些網卡做一些設置，WireShark才能夠抓取帶VLAN TAG的報文。1）. 更新網卡的最新驅動。2）. 按照以下說明修改注冊表：a) Intel：HKEY_LOCAL_MACHINE\SYSTEM \ControlSet001\Control\Class\{4D36E972-E325-11CE-BFC1-08002BE10318} \00xx（where xx is the instance of the network adapter that you need to see tags on. ）PCI或者PCI-X網卡增加dword:MonitorModeEnabled，通常設置為1即可 0 - disabled (Do not store bad packets, Do not store CRCs, Strip 802.1Q vlan tags) 1 - enabled (Store bad packets. Store CRCs. Do not strip 802.1Q vlan tags) PCI-Express網卡增加dword:MonitorMode，通常設置為1即可 0 - disabled (Do not store bad packets, Do not store CRCs, Strip 802.1Q vlan tags) 1 - enabled (Store bad packets. Store CRCs. Do not strip 802.1Q vlan btag) 2 - enabled strip vlan (Store bad packets. Store CRCs. Strip 802.1Q vlan tag as normal)；b) Broadcom：在HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet下搜索，找到"TxCoalescingTicks"並確認這是唯一的，增加一個新的字元串值"PreserveVlanInfoInRxPacket"，賦值1。c) Marvell Yukon 88E8055 PCI-E 千兆網卡："HKLM\SYSTEM \CurrentControlSet\Control\Class\{4D36E972-E325-11CE-BFC1-08002bE10318} \000"（where 000 is the number of the folder for the Marvel ethernet controller）增加DWORD：SkDisableVlanStrip：1；3）. 以Intel網卡為例，對網卡進行配置。選擇Intel網卡的本地連接，右鍵屬性

點擊「配置」按鈕。

在VLAN選項卡中，加入任意一個VLAN，激活介面的VLAN TAG上送功能。此時可以把「本地連接」介面看成是一個Trunk介面。

配置完VLAN後，如果發現系統禁用了「本地連接」介面，則只要啟用它，會看到網路連接中會出現一個新的子介面「本地連接2」。

在WireShark上查看抓取「本地連接」介面的報文。

可以看到已經可以抓到有VLAN TAG的報文了。

由於此時的子介面都是有VLAN屬性的，所以無法當成正常的網卡來用。如果想要在抓VLAN包的同時，還能夠與網路正常通信，只要再新建一個未標記的VLAN就行。

這時，會生成一個對應的子介面「本地連接3」，在這個介面上正確配置網路參數，就可以正常通信了。