❶ 如何寫一個高效網路爬蟲
代碼裡面少寫幾個for，時間復雜度小一點
單台電腦多線程多進程開滿，電腦cpu占滿90%+，帶寬擠爆
多台電腦搭建分布式，你能完成2再說3吧，2都滿足不了純屬浪費資源
❷ 怎麼在DOS下用C語言寫網路爬蟲
獲取cspider_t。
自定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。
添加初始要抓取的url到任務隊列。
編寫解析函數和數據持久化函數。
啟動爬蟲。
例子
先來看下簡單的爬蟲例子，會在後面詳細講解例子。
❸ .net在vs中怎麼寫網路爬蟲求詳細代碼
寫爬蟲方法很簡單，但是分析過程比較考驗耐心。
不需要什麼代碼，你去網上找一個Get()和Post()方法，然後用火狐或者HttpWatch去抓取訪問的數據。
再根據請求方式是Get還是Post，來按步驟，模擬網頁請求。
❹ php 實現網路爬蟲
只要包含網路和字元串處理功能的編程語言理論上都可以寫爬蟲，所以 PHP 當然完全沒問題。如何用 PHP 寫爬蟲的前提是你要先調研清楚爬什麼內容。這需要你針對要爬取目標做好充分的測試和准備工作，否則會浪費很多時間。
比如一個簡單的「傳統型」網站，那真的只需要用 file_get_contents 函數加正則就能搞定。覺的正則匹配數據太麻煩可以上 xpath。如果站點有了頻率和 IP 限制，這時就要額外准備好代理 IP 池了。當發現抓取內容是 JS 渲染的，可能要考慮引入 headless browser 這種技術的 PHP 擴展了。對爬取效率有了要求後，多線程，抓取和解析分離，分布式也是要考慮的了。。。
回到問題本身如何寫的問題，我個人覺得爬蟲是個定製化比較高的業務需求，需要根據具體的場景來規劃。如果是要寫一個能解決所有爬蟲場景的，那就不用自己寫了，成熟的開源軟體拿來直接用就行了。非要寫的話可以直接參考這些成熟的軟體，自己可以少踩很多坑。
❺ 如何一步一步學習到網路爬蟲技術
作為零基礎的你，我想你可能是想解決工作中的一個實際問題，或者僅僅是很想學習一下爬蟲的技術，多一技之長。其實我准備開始學 Python 爬蟲的時候也是一樣，老闆派了任務，暫時沒有人會爬蟲，我只有自學頂硬上。因此，我可以用思維圖給你理清楚，你應該干什麼。
我零基礎但我想學網路爬蟲：
路徑1：我不想寫代碼，Excel/八爪魚，用這些工具的好處是你可以很快上手，但是只能爬一些簡單的網站，一旦網站出現限制，這些方法就是個玩具。因此，想弄點數據玩玩，玩這些玩具就好。
路徑2：我可以學寫代碼，但是會不會很難啊？我以我的經驗告訴你，找一個好的老師比自我胡思亂想，自我設限好得多。寫代碼這個事不難學，這也是為什麼市面上有那麼多代碼速成的教學。這也是為什麼我有些同學1年轉專業進 Google 的事情發生。
這里給你描畫一下你的學習之路：
學會 Python 的基本代碼： 假如你沒有任何編程基礎，時間可能花1-2周，每天3小時。假設你有編程基礎（VBA 也算吧），1小時。
理解爬蟲原理：5分鍾。為什麼這么重要？我自認為學一個東西就像建大樓，先弄清楚大框架，然後再從地基學起。很多時候我們的學習是，還沒弄懂大框架，就直接看網上的碎片化的教學，或者是跟著網上教學一章一章學，很容易學了芝麻丟了西瓜。我的自學就在這上面走了很多彎路。
應用爬蟲原理做一個簡單爬蟲：30分鍾。
先吃透獲取網頁：就是給一個網址發個請求，那麼該網址會返回整個網頁的數據。類似：你在瀏覽器鍵入網址，回車，然後你就看到了網站的整個頁面。
再吃透解析網頁：就是從整個網頁的數據中提取你想要的數據。類似：你在瀏覽器中看到網站的整個頁面，但是你想找到產品的價格，價格就是你想要的數據。
再學會儲存數據：存儲很簡單，就是把數據存下來。
學會這些之後，你可以出去和別人說，我會 Python 爬蟲，我想也沒有人質疑你了。那麼學完這一套下來，你的時間成本是多少呢？如果你有編程基礎的話，1周吧。
所以，你是想當爬蟲做個玩具玩玩，還是掌握一門實戰利器。我覺得你可以自己衡量一下。
❻ 如何用php 編寫網路爬蟲
php不太適合用來寫網路爬蟲,因為幾乎沒有現成的框架,或者成熟的下載機制,也不太適合做並發處理.
下載頁面的話除了一個curl,就是file_get_contents,或者curl_multi來做並發請求.curl可以代理埠,虛假ip,帶cookie,帶header請求目標頁面,下載完成之後解析頁面可以用queryList來解析html.寫法類似jQuery.
提供給你我之前寫的類:curl.php 希望可以幫到你.
QueryList.php和phpQuery.php由於文件太大了,沒辦法貼上來
<?php
classHttp{
publicfunctioncurlRequest($url,$postData='',$timeOut=10,$httpHeader=array()){
$handle=curl_init();
curl_setopt($handle,CURLOPT_URL,$url);
if($httpHeader){
curl_setopt($handle,CURLOPT_HTTPHEADER,$httpHeader);
}
curl_setopt($handle,CURLOPT_RETURNTRANSFER,true);
curl_setopt($handle,CURLOPT_HEADER,0);curl_setopt($handle,CURLOPT_TIMEOUT,$timeOut);
curl_setopt($handle,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($handle,CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($handle,CURLOPT_SSL_VERIFYHOST,false);
curl_setopt($handle,CURLOPT_USERAGENT,'Mozilla/5.0(Macintosh;IntelMacOSX10_7_2)AppleWebKit/537.36(KHTML,likeGecko)Chrome/27.0.1453.93Safari/537.36');curl_setopt($handle,CURLOPT_ENCODING,'gzip,deflate,sdch');
if(!empty($postData)){
curl_setopt($handle,CURLOPT_POST,1);
curl_setopt($handle,CURLOPT_POSTFIELDS,$postData);
}
$result['response']=curl_exec($handle);
$result['httpStatus']=curl_getinfo($handle,CURLINFO_HTTP_CODE);
$result['fullInfo']=curl_getinfo($handle);
$result['errorMsg']='';
$result['errorNo']=0;
if(curl_errno($handle)){
$result['errorMsg']=curl_error($handle);
$result['errorNo']=curl_errno($handle);
}
curl_close($handle);
return$result;
}
}
?>