網路搜索從哪裡來

A. 百度搜索上的網站是從哪裡搜集的

像網路,google這種搜索引擎，是用一種類似於網路蜘蛛的軟體把互聯網上的網頁全部搜索到它的資料庫去。

給你一點資料你看看：
在浩如煙海的Internet上，特別是其上的Web（World Wide Web萬維網）上，不會搜索，就不會上網。網蟲朋友們，你了解搜索引擎嗎？它們是怎麼工作的？你都使用哪些搜索引擎？今天我就和大家聊聊搜索引擎的話題。

一、搜索引擎的分類

獲得網站網頁資料，能夠建立資料庫並提供查詢的系統，我們都可以把它叫做搜索引擎。按照工作原理的不同，可以把它們分為兩個基本類別：全文搜索引擎（FullText Search Engine）和分類目錄Directory）。

全文搜索引擎的資料庫是依靠一個叫「網路機器人（Spider）」或叫「網路蜘蛛（crawlers）」的軟體，通過網路上的各種鏈接自動獲取大量網頁信息內容，並按以定的規則分析整理形成的。Google、網路都是比較典型的全文搜索引擎系統。

分類目錄則是通過人工的方式收集整理網站資料形成資料庫的，比如雅虎中國以及國內的搜狐、新浪、網易分類目錄。另外，在網上的一些導航站點，也可以歸屬為原始的分類目錄，比如「網址之家」。

全文搜索引擎和分類目錄在使用上各有長短。全文搜索引擎因為依靠軟體進行，所以資料庫的容量非常龐大，但是，它的查詢結果往往不夠准確；分類目錄依靠人工收集和整理網站，能夠提供更為准確的查詢結果，但收集的內容卻非常有限。為了取長補短，現在的很多搜索引擎，都同時提供這兩類查詢，一般對全文搜索引擎的查詢稱為搜索「所有網站」或「全部網站」，比如Google的全文搜索（http://www.google.com/intl/zh-CN/）；把對分類目錄的查詢稱為搜索「分類目錄」或搜索「分類網站」，比如新浪搜索和雅虎中國搜索（http://cn.search.yahoo.com/dirsrch/）。

在網上，對這兩類搜索引擎進行整合，還產生了其它的搜索服務，在這里，我們權且也把它們稱作搜索引擎，主要有這兩類：

⒈元搜索引擎(META Search Engine)。這類搜索引擎一般都沒有自己網路機器人及資料庫，它們的搜索結果是通過調用、控制和優化其它多個獨立搜索引擎的搜索結果並以統一的格式在同一界面集中顯示。元搜索引擎雖沒有「網路機器人」或「網路蜘蛛」，也無獨立的索引資料庫，但在檢索請求提交、檢索介面代理和檢索結果顯示等方面，均有自己研發的特色元搜索技術。比如「metaFisher元搜索引擎」

（http://www.hsfz.net/fish/），它就調用和整合了Google、Yahoo、AlltheWeb、網路和OpenFind等多家搜索引擎的數據。

⒉集成搜索引擎（All－in－One Search Page）。集成搜索引擎是通過網路技術，在一個網頁上鏈接很多個獨立搜索引擎，查詢時，點選或指定搜索引擎，一次輸入，多個搜索引擎同時查詢，搜索結果由各搜索引擎分別以不同頁面顯示，比如「網際瑞士軍刀」（http://free.okey.net/%7Efree/search1.htm）。

二、搜索引擎的工作原理

全文搜索引擎的「網路機器人」或「網路蜘蛛」是一種網路上的軟體，它遍歷Web空間，能夠掃描一定IP地址范圍內的網站，並沿著網路上的鏈接從一個網頁到另一個網頁，從一個網站到另一個網站採集網頁資料。它為保證採集的資料最新，還會回訪已抓取過的網頁。網路機器人或網路蜘蛛採集的網頁，還要有其它程序進行分析，根據一定的相關度演算法進行大量的計算建立網頁索引，才能添加到索引資料庫中。我們平時看到的全文搜索引擎，實際上只是一個搜索引擎系統的檢索界面，當你輸入關鍵詞進行查詢時，搜索引擎會從龐大的資料庫中找到符合該關鍵詞的所有相關網頁的索引，並按一定的排名規則呈現給我們。不同的搜索引擎，網頁索引資料庫不同，排名規則也不盡相同，所以，當我們以同一關鍵詞用不同的搜索引擎查詢時，搜索結果也就不盡相同。

和全文搜索引擎一樣，分類目錄的整個工作過程也同樣分為收集信息、分析信息和查詢信息三部分，只不過分類目錄的收集、分析信息兩部分主要依靠人工完成。分類目錄一般都有專門的編輯人員，負責收集網站的信息。隨著收錄站點的增多，現在一般都是由站點管理者遞交自己的網站信息給分類目錄，然後由分類目錄的編輯人員審核遞交的網站，以決定是否收錄該站點。如果該站點審核通過，分類目錄的編輯人員還需要分析該站點的內容，並將該站點放在相應的類別和目錄中。所有這些收錄的站點同樣被存放在一個「索引資料庫」中。用戶在查詢信息時，可以選擇按照關鍵詞搜索，也可按分類目錄逐層查找。如以關鍵詞搜索，返回的結果跟全文搜索引擎一樣，也是根據信息關聯程度排列網站。需要注意的是，分類目錄的關鍵詞查詢只能在網站的名稱、網址、簡介等內容中進行，它的查詢結果也只是被收錄網站首頁的URL地址，而不是具體的頁面。分類目錄就像一個電話號碼薄一樣，按照各個網站的性質，把其網址分門別類排在一起，大類下面套著小類，一直到各個網站的詳細地址，一般還會提供各個網站的內容簡介，用戶不使用關鍵詞也可進行查詢，只要找到相關目錄，就完全可以找到相關的網站（注意：是相關的網站，而不是這個網站上某個網頁的內容，某一目錄中網站的排名一般是按照標題字母的先後順序或者收錄的時間順序決定的）。

搜索引擎並不真正搜索互聯網，它搜索的實際上是預先整理好的網頁索引資料庫。

真正意義上的搜索引擎，通常指的是收集了網際網路上幾千萬到幾十億個網頁並對網頁中的每一個詞（即關鍵詞）進行索引，建立索引資料庫的全文搜索引擎。當用戶查找某個關鍵詞的時候，所有在頁面內容中包含了該關鍵詞的網頁都將作為搜索結果被搜出來。在經過復雜的演算法進行排序後，這些結果將按照與搜索關鍵詞的相關度高低，依次排列。

現在的搜索引擎已普遍使用超鏈分析技術，除了分析索引網頁本身的內容，還分析索引所有指向該網頁的鏈接的URL、AnchorText、甚至鏈接周圍的文字。所以，有時候，即使某個網頁A中並沒有某個詞比如「惡魔撒旦」，但如果有別的網頁B用鏈接「惡魔撒旦」指向這個網頁A，那麼用戶搜索「惡魔撒旦」時也能找到網頁A。而且，如果有越多網頁（C、D、E、F……）用名為「惡魔撒旦」的鏈接指向這個網頁A，或者給出這個鏈接的源網頁（B、C、D、E、F……）越優秀，那麼網頁A在用戶搜索「惡魔撒旦」時也會被認為更相關，排序也會越靠前。

搜索引擎的原理，可以看做三步：從互聯網上抓取網頁→建立索引資料庫→在索引資料庫中搜索排序。

從互聯網上抓取網頁

利用能夠從互聯網上自動收集網頁的Spider系統程序，自動訪問互聯網，並沿著任何網頁中的所有URL爬到其它網頁，重復這過程，並把爬過的所有網頁收集回來。

建立索引資料庫

由分析索引系統程序對收集回來的網頁進行分析，提取相關網頁信息（包括網頁所在URL、編碼類型、頁面內容包含的關鍵詞、關鍵詞位置、生成時間、大小、與其它網頁的鏈接關系等），根據一定的相關度演算法進行大量復雜計算，得到每一個網頁針對頁面內容中及超鏈中每一個關鍵詞的相關度（或重要性），然後用這些相關信息建立網頁索引資料庫。

在索引資料庫中搜索排序

當用戶輸入關鍵詞搜索後，由搜索系統程序從網頁索引資料庫中找到符合該關鍵詞的所有相關網頁。因為所有相關網頁針對該關鍵詞的相關度早已算好，所以只需按照現成的相關度數值排序，相關度越高，排名越靠前。

最後，由頁面生成系統將搜索結果的鏈接地址和頁面內容摘要等內容組織起來返回給用戶。

搜索引擎的Spider一般要定期重新訪問所有網頁（各搜索引擎的周期不同，可能是幾天、幾周或幾月，也可能對不同重要性的網頁有不同的更新頻率），更新網頁索引資料庫，以反映出網頁內容的更新情況，增加新的網頁信息，去除死鏈接，並根據網頁內容和鏈接關系的變化重新排序。這樣，網頁的具體內容和變化情況就會反映到用戶查詢的結果中。

互聯網雖然只有一個，但各搜索引擎的能力和偏好不同，所以抓取的網頁各不相同，排序演算法也各不相同。大型搜索引擎的資料庫儲存了互聯網上幾億至幾十億的網頁索引，數據量達到幾千G甚至幾萬G。但即使最大的搜索引擎建立超過二十億網頁的索引資料庫，也只能佔到互聯網上普通網頁的不到30%，不同搜索引擎之間的網頁數據重疊率一般在70%以下。我們使用不同搜索引擎的重要原因，就是因為它們能分別搜索到不同的內容。而互聯網上有更大量的內容，是搜索引擎無法抓取索引的，也是我們無法用搜索引擎搜索到的。

你心裡應該有這個概念：搜索引擎只能搜到它網頁索引資料庫里儲存的內容。你也應該有這個概念：如果搜索引擎的網頁索引資料庫里應該有而你沒有搜出來，那是你的能力問題，學習搜索技巧可以大幅度提高你的搜索能力。

B. 百度上搜索到的資料是從什麼地方來的

您好，網上我資料很多都是網友上傳的

也有的來自於其他網路平台

希望可以幫到你

C. 什麼是熱搜，熱搜也是從哪裡進去我都不知道什麼意思……

定義：熱搜關鍵詞，英文為top search queries，中文我們稱為熱門搜索查詢，指網站從搜索引擎帶來最多流量的幾個或者是幾十個關鍵詞。熱搜關鍵詞通常反映一段時間內的各界大事與流行話題。

熱搜分兩種：1，短期熱搜關鍵詞。本類事件、人物或者話題出現快，但是也消失快。雖然在短期內吸引大量的人氣，但是曇花一現，稍縱即逝，過去了不會再次出來。例如：一部新出的電影，一個新出的電視劇，比如現在的港台的富貴門，韓國的創造情緣，國內的蝸居；2.長期熱搜關鍵詞。本類事件、人物或者話題比較長久，餘音繞梁，經久不衰，在相當長的一段時間內都屬於比較熱的搜索關鍵詞，不會輕易改變。比如：中國移動，淘寶等等。

D. 搜索引擎是從哪裡獲取的網址信息

搜索引擎通過這些爬蟲去爬互聯網上的外鏈，從這個網站爬到另一個網站，去跟蹤網頁中的鏈接，訪問更多的網頁，這個過程就叫爬行。這些新的網址會被存入資料庫等待搜索。所以跟蹤網頁鏈接是搜索引擎蜘蛛（Spider）發現新網址的最基本的方法，所以反向鏈接成為搜索引擎優化的最基本因素之一。搜索引擎抓取的頁面文件與用戶瀏覽器得到的完全一樣，抓取的文件存入資料庫。（抄的網路 ：外鏈）

E. 搜索引擎的工作原理是什麼

搜索引擎的工作原理總共有四步：

第一步：爬行，搜索引擎是通過一種特定規律的軟體跟蹤網頁的鏈接，從一個鏈接爬到另外一個鏈

接，所以稱為爬行。

第二步：抓取存儲，搜索引擎是通過蜘蛛跟蹤鏈接爬行到網頁，並將爬行的數據存入原始頁面資料庫。

第三步：預處理，搜索引擎將蜘蛛抓取回來的頁面，進行各種步驟的預處理。

第四步：排名，用戶在搜索框輸入關鍵詞後，排名程序調用索引庫數據，計算排名顯示給用戶，排名過程與用戶直接互動的。

不同的搜索引擎查出來的結果是根據引擎內部資料所決定的。比如：某一種搜索引擎沒有這種資料，您就查詢不到結果。

(5)網路搜索從哪裡來擴展閱讀：

定義

一個搜索引擎由搜索器、索引器、檢索器和用戶接四個部分組成。搜索器的功能是在互聯網中漫遊，發現和搜集信息。索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用於表示文檔以及生成文檔庫的索引表。

檢索器的功能是根據用戶的查詢在索引庫中快速檢出文檔，進行文檔與查詢的相關度評價，對將要輸出的結果進行排序，並實現某種用戶相關性反饋機制。用戶介面的作用是輸入用戶查詢、顯示查詢結果、提供用戶相關性反饋機制。

起源

所有搜索引擎的祖先，是1990年由Montreal的McGill University三名學生（Alan Emtage、Peter

Deutsch、Bill Wheelan）發明的Archie（Archie FAQ）。Alan Emtage等想到了開發一個可以用文件名查找文件的系統，於是便有了Archie。

Archie是第一個自動索引互聯網上匿名FTP網站文件的程序，但它還不是真正的搜索引擎。Archie是一個可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然後Archie會告訴用戶哪一個FTP地址可以下載該文件 。

由於Archie深受歡迎，受其啟發，Nevada System Computing Services大學於1993年開發了一個Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是後來另一個Gopher搜索工具。

參考資料來源：網路-搜索引擎

F. 百度的搜索結果是從哪裡來

你好，搜索結果是從網路的資料庫來的，網路的資料庫是靠網路蜘蛛抓取收錄的！希望對你有所幫助！

G. 什麼是搜索引擎、它是在什麼背景下產生的、搜索引擎的發展歷史、最早的搜索引擎是哪一個、出現的時間

搜索引擎(search engine)是指根據一定的策略、運用特定的計算機程序搜集互聯網上的信息，在對信息進行組織和處理後，並將處理後的信息顯示給用戶，是為用戶提供檢索服務的系統。

互聯網發展早期，以雅虎為代表的網站分類目錄查詢非常流行。網站分類目錄由人工整理維護，精選互聯網上的優秀網站，並簡要描述，分類放置到不同目錄下。用戶查詢時，通過一層層的點擊來查找自己想找的網站。也有人把這種基於目錄的檢索服務網站稱為搜索引擎，但從嚴格意義上講，它並不是搜索引擎。 1990年，加拿大麥吉爾大學（University of McGill）計算機學院的師生開發出Archie。當時，萬維網（World Wide Web）還沒有出現，人們通過FTP來共享交流資源。Archie能定期搜集並分析FTP伺服器上的文件名信息，提供查找分別在各個FTP主機中的文件。用戶必須輸入精確的文件名進行搜索，Archie告訴用戶哪個FTP伺服器能下載該文件。雖然Archie搜集的信息資源不是網頁（HTML文件），但和搜索引擎的基本工作方式是一樣的：自動搜集信息資源、建立索引、提供檢索服務。所以，Archie被公認為現代搜索引擎的鼻祖。
所有搜索引擎的祖先，是1990年由Montreal的McGill University三名學生（Alan Emtage、Peter Deutsch、Bill Wheelan）發明的Archie（Archie FAQ）。Alan Emtage等想到了開發一個可以用文件名查找文件的系統，於是便有了Archie。Archie是第一個自動索引互聯網上匿名FTP網站文件的程序，但它還不是真正的搜索引擎。Archie是一個可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然後Archie會告訴用戶哪一個FTP地址可以下載該文件。 由於Archie深受歡迎，受其啟發，Nevada System Computing Services大學於1993年開發了一個Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是後來另一個Gopher搜索工具。

H. 搜索引擎的網頁來源是在哪裡的呢

一是搜索引擎自動從網上搜索.
二是網站站長自己提交自己的網站

I. 搜索引擎如何搜索到信息

隨著互聯網的迅猛發展、WEB信息的增加，用戶要在信息海洋里查找自己所需的信息，就象大海撈針一樣，搜索引擎技術恰好解決了這一難題（它可以為用戶提供信息檢索服務）。搜索引擎是指互聯網上專門提供檢索服務的一類網站，這些站點的伺服器通過網路搜索軟體(例如網路搜索機器人)或網路登錄等方式，將Intemet上大量網站的頁面信息收集到本地，經過加工處理建立信息資料庫和索引資料庫，從而對用戶提出的各種檢索作出響應，提供用戶所需的信息或相關指針。用戶的檢索途徑主要包括自由詞全文檢索、關鍵詞檢索、分類檢索及其他特殊信息的檢索(如企業、人名、電話黃頁等)。下面以網路搜索機器人為例來說明搜索引擎技術。
1．網路機器人技術
網路機器人(Robot)又被稱作Spider、Worm或Random，核心目的是為獲取Intemet上的信息。一般定義為「一個在網路上檢索文件且自動跟蹤該文件的超文本結構並循環檢索被參照的所有文件的軟體」。機器人利用主頁中的超文本鏈接遍歷WWW，通過U趾引用從一個HT2LIL文檔爬行到另一個HTML文檔。網上機器人收集到的信息可有多種用途，如建立索引、HIML文件合法性的驗證、uRL鏈接點驗證與確認、監控與獲取更新信息、站點鏡像等。
機器人安在網上爬行，因此需要建立一個URL列表來記錄訪問的軌跡。它使用超文本，指向其他文檔的URL是隱藏在文檔中，需要從中分析提取URL，機器人一般都用於生成索引資料庫。所有WWW的搜索程序都有如下的工作步驟：
(1)機器人從起始URL列表中取出URL並從網上讀取其指向的內容；
(2)從每一個文檔中提取某些信息(如關鍵字)並放入索引資料庫中；
(3)從文檔中提取指向其他文檔的URL，並加入到URL列表中；
(4)重復上述3個步驟，直到再沒有新的URL出現或超出了某些限制(時間或磁碟空間)；
(5)給索引資料庫加上檢索介面，向網上用戶發布或提供給用戶檢索。
搜索演算法一般有深度優先和廣度優先兩種基本的搜索策略。機器人以URL列表存取的方式決定搜索策略：先進先出，則形成廣度優先搜索，當起始列表包含有大量的WWW伺服器地址時，廣度優先搜索將產生一個很好的初始結果，但很難深入到伺服器中去；先進後出，則形成深度優先搜索，這樣能產生較好的文檔分布，更容易發現文檔的結構，即找到最大數目的交叉引用。也可以採用遍歷搜索的方法，就是直接將32位的IP地址變化，逐個搜索整個Intemet。
搜索引擎是一個技術含量很高的網路應用系統。它包括網路技術、資料庫技術動標引技術、檢索技術、自動分類技術，機器學習等人工智慧技術。
2．索引技術
索引技術是搜索引擎的核心技術之一。搜索引擎要對所收集到的信息進行整理、分類、索引以產生索引庫，而中文搜索引擎的核心是分詞技術。分詞技術是利用一定的規則和詞庫，切分出一個句子中的詞，為自動索引做好准備。目前的索引多採用Non—clustered方法，該技術和語言文字的學問有很大的關系，具體有如下幾點：
(1)存儲語法庫，和詞彙庫配合分出句子中的詞彙；
(2)存儲詞彙庫，要同時存儲詞彙的使用頻率和常見搭配方式；
(3)詞彙寬，應可劃分為不同的專業庫，以便於處理專業文獻；
(4)對無法分詞的句子，把每個字當作詞來處理。
索引器生成從關鍵詞到URL的關系索引表。索引表一般使用某種形式的倒排表(1nversionUst)，即由索引項查找相應的URL。索引表也要記錄索引項在文檔中出現的位置，以便檢索器計算索引項之間的相鄰關系或接近關系，並以特定的數據結構存儲在硬碟上。
不同的搜索引擎系統可能採用不盡相同的標引方法。例如Webcrawler利用全文檢索技術，對網頁中每一個單詞進行索引；Lycos只對頁名、標題以及最重要的100個注釋詞等選擇性詞語進行索引；Infoseek則提供概念檢索和片語檢索，支持and、or、near、not等布爾運算。檢索引擎的索引方法大致可分為自動索引、手工索引和用戶登錄三類。
3. 檢索器與結果處理技術
檢索器的主要功能是根據用戶輸入的關鍵詞在索引器形成的倒排表中進行檢索，同時完成頁面與檢索之間的相關度評價，對將要輸出的結果進行排序，並實現某種用戶相關性反饋機制。
通過搜索引擎獲得的檢索結果往往成百上千，為了得到有用的信息，常用的方法是按網頁的重要性或相關性給網頁評級，進行相關性排序。這里的相關度是指搜索關鍵字在文檔中出現的額度。當額度越高時，則認為該文檔的相關程度越高。能見度也是常用的衡量標准之一。一個網頁的能見度是指該網頁入口超級鏈接的數目。能見度方法是基於這樣的觀點：一個網頁被其他網頁引用得越多，則該網頁就越有價值。特別地，一個網頁被越重要的網頁所引用，則該網頁的重要程度也就越高。結果處理技術可歸納為：
(1)按頻次排定次序 通常，如果一個頁麵包含了越多的關鍵詞，其搜索目標的相關性應該越好，這是非常合平常理的解決方案。
(2)按頁面被訪問度排序 在這種方法中，搜索引擎會記錄它所搜索到的頁面被訪問的頻率。人們訪問較多的頁面通常應該包含比較多的信息，或者有其他吸引入的長處。這種解決方案適合一般的搜索用戶，而因為大部分的搜索引擎都不是專業性用戶，所以這種方案也比較適合一般搜索引擎使用。
(3)二次檢索 進一步凈化(比flne)結果，按照一定的條件對搜索結果進行優化，可以再選擇類別、相關詞進行二次搜索等。
由於目前的搜索引擎還不具備智能，除非知道要查找的文檔的標題，否則排列第一的結果未必是「最好」的結果。所以有些文檔盡管相關程度高，但並不一定是用戶最需要的文檔。
搜索引擎技術的行業應用：
搜索引擎的行業應用一般指類似於千瓦通信提供的多種搜索引擎行業與產品應用模式，大體上分為如下幾種形式：
1、 政府機關行業應用
n 實時跟蹤、採集與業務工作相關的信息來源。
n 全面滿足內部工作人員對互聯網信息的全局觀測需求。
n 及時解決政務外網、政務內網的信息源問題，實現動態發布。
n 快速解決政府主網站對各地級子網站的信息獲取需求。
n 全面整合信息，實現政府內部跨地區、跨部門的信息資源共享與有效溝通。
n 節約信息採集的人力、物力、時間，提高辦公效率。
2、企業行業應用
n 實時准確地監控、追蹤競爭對手動態，是企業獲取競爭情報的利器。
n 及時獲取競爭對手的公開信息以便研究同行業的發展與市場需求。
n 為企業決策部門和管理層提供便捷、多途徑的企業戰略決策工具。
n 大幅度地提高企業獲取、利用情報的效率，節省情報信息收集、存儲、挖掘的相關費用，是提高企業核心競爭力的關鍵。
n 提高企業整體分析研究能力、市場快速反應能力，建立起以知識管理為核心的競爭情報數據倉庫，是提高企業核心競爭力的神經中樞。
3、新聞媒體行業應用
n 快速准確地自動跟蹤、採集數千家網路媒體信息，擴大新聞線索，提高採集速度。
n 支持每天對數萬條新聞進行有效抓取。監控范圍的深度、廣度可以自行設定。
n 支持對所需內容智能提取、審核。
n 實現互聯網信息內容採集、瀏覽、編輯、管理、發布的一體化。
4、 行業網站應用
n 實時跟蹤、採集與網站相關的信息來源。
n 及時跟蹤行業的信息來源網站，自動，快速更新網站信息。動態更新信息。
n 實現互聯網信息內容採集、瀏覽、編輯、管理、發布的一體化。
n 針對商務網站提出商務管理模式，大大提高行業網站的商務應用需求。
n 針對資訊網站分類目錄生成，提出用戶生成網站分類結構。並可以實時增加與更新分類結構。不受級數限制。從而大大利高行業的應用性。
n 提供搜索引擎SEO優化專業服務，快速提高行業網站的推廣。
n 提供與CCDC呼叫搜索引擎的廣告合作。建立行業網站聯盟，提高行業網站知名度。
5) 網路信息監察與監控
n 網路輿情系統。如「千瓦通信-網路輿情雷達監測系統」
n 網站信息與內容監察與監控系統，如「千瓦通信-網站信息與內容監測與監察系統（站內神探）」
隨著網際網路的迅猛發展、WEB信息的增加，用戶要在信息海洋里查找信息，就象大海撈
針一樣，搜索引擎技術恰好解決了這一難題（它可以為用戶提供信息檢索服務）。目前，
搜索引擎技術正成為計算機工業界和學術界爭相研究、開發的對象。
搜索引擎（Search Engine）是隨著WEB信息的迅速增加，從1995年開始逐漸發展起來
的技術。據發表在《科學》雜志1999年7月的文章《WEB信息的可訪問性》估計，全球目前
的網頁超過8億，有效數據超過9T，並且仍以每4個月翻一番的速度增長。用戶要在如此浩
瀚的信息海洋里尋找信息，必然會"大海撈針"無功而返。搜索引擎正是為了解決這個"迷航
"問題而出現的技術。搜索引擎以一定的策略在互聯網中搜集、發現信息，對信息進行理解
、提取、組織和處理，並為用戶提供檢索服務，從而起到信息導航的目的。搜索引擎提供
的導航服務已經成為互聯網上非常重要的網路服務，搜索引擎站點也被美譽為"網路門戶"
。搜索引擎技術因而成為計算機工業界和學術界爭相研究、開發的對象。本文旨在對搜索
引擎的關鍵技術進行簡單的介紹，以起到拋磚引玉的作用。

分 類

按照信息搜集方法和服務提供方式的不同，搜索引擎系統可以分為三大類：
1．目錄式搜索引擎：以人工方式或半自動方式搜集信息，由編輯員查看信息之後，人
工形成信息摘要，並將信息置於事先確定的分類框架中。信息大多面向網站，提供目錄瀏
覽服務和直接檢索服務。該類搜索引擎因為加入了人的智能，所以信息准確、導航質量高
，缺點是需要人工介入、維護量大、信息量少、信息更新不及時。這類搜索引擎的代表是
：Yahoo、LookSmart、Open Directory、Go Guide等。
2．機器人搜索引擎：由一個稱為蜘蛛（Spider）的機器人程序以某種策略自動地在互
聯網中搜集和發現信息，由索引器為搜集到的信息建立索引，由檢索器根據用戶的查詢輸
入檢索索引庫，並將查詢結果返回給用戶。服務方式是面向網頁的全文檢索服務。該類搜
索引擎的優點是信息量大、更新及時、毋需人工干預，缺點是返回信息過多，有很多無關
信息，用戶必須從結果中進行篩選。這類搜索引擎的代表是：AltaVista、Northern Ligh
t、Excite、Infoseek、Inktomi、FAST、Lycos、Google；國內代表為："天網"、悠遊、O
penFind等。
3．元搜索引擎：這類搜索引擎沒有自己的數據，而是將用戶的查詢請求同時向多個搜
索引擎遞交，將返回的結果進行重復排除、重新排序等處理後，作為自己的結果返回給用
戶。服務方式為面向網頁的全文檢索。這類搜索引擎的優點是返回結果的信息量更大、更
全，缺點是不能夠充分使用所使用搜索引擎的功能，用戶需要做更多的篩選。這類搜索引
擎的代表是WebCrawler、InfoMarket等。

性 能 指 標
我們可以將WEB信息的搜索看作一個信息檢索問題，即在由WEB網頁組成的文檔庫中檢索
出與用戶查詢相關的文檔。所以我們可以用衡量傳統信息檢索系統的性能參數-召回率（R
ecall）和精度（Pricision）衡量一個搜索引擎的性能。
召回率是檢索出的相關文檔數和文檔庫中所有的相關文檔數的比率，衡量的是檢索系
統（搜索引擎）的查全率；精度是檢索出的相關文檔數與檢索出的文檔總數的比率，衡量
的是檢索系統（搜索引擎）的查准率。對於一個檢索系統來講，召回率和精度不可能兩全
其美：召回率高時，精度低，精度高時，召回率低。所以常常用11種召回率下11種精度的
平均值（即11點平均精度）來衡量一個檢索系統的精度。對於搜索引擎系統來講，因為沒
有一個搜索引擎系統能夠搜集到所有的WEB網頁，所以召回率很難計算。目前的搜索引擎系
統都非常關心精度。
影響一個搜索引擎系統的性能有很多因素，最主要的是信息檢索模型，包括文檔和查詢
的表示方法、評價文檔和用戶查詢相關性的匹配策略、查詢結果的排序方法和用戶進行相
關度反饋的機制。

主 要 技 術
一個搜索引擎由搜索器、索引器、檢索器和用戶介面等四個部分組成。
1.搜索器
搜索器的功能是在互聯網中漫遊，發現和搜集信息。它常常是一個計算機程序，日夜
不停地運行。它要盡可能多、盡可能快地搜集各種類型的新信息，同時因為互聯網上的信
息更新很快，所以還要定期更新已經搜集過的舊信息，以避免死連接和無效連接。目前有
兩種搜集信息的策略：
● 從一個起始URL集合開始，順著這些URL中的超鏈（Hyperlink），以寬度優先、深
度優先或啟發式方式循環地在互聯網中發現信息。這些起始URL可以是任意的URL，但常常
是一些非常流行、包含很多鏈接的站點（如Yahoo！）。
● 將Web空間按照域名、IP地址或國家域名劃分，每個搜索器負責一個子空間的窮盡
搜索。 搜索器搜集的信息類型多種多樣，包括HTML、XML、Newsgroup文章、FTP文件、
字處理文檔、多媒體信息。 搜索器的實現常常用分布式、並行計算技術，以提高信息
發現和更新的速度。商業搜索引擎的信息發現可以達到每天幾百萬網頁。
2.索引器
索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用於表示文檔以及生
成文檔庫的索引表。
索引項有客觀索引項和內容索引項兩種：客觀項與文檔的語意內容無關，如作者名、
URL、更新時間、編碼、長度、鏈接流行度（Link Popularity）等等；內容索引項是用來
反映文檔內容的，如關鍵詞及其權重、短語、單字等等。內容索引項可以分為單索引項和
多索引項（或稱短語索引項）兩種。單索引項對於英文來講是英語單詞，比較容易提取，
因為單詞之間有天然的分隔符（空格）；對於中文等連續書寫的語言，必須進行詞語的切
分。 在搜索引擎中，一般要給單索引項賦與一個權值，以表示該索引項對文檔的區分
度，同時用來計算查詢結果的相關度。使用的方法一般有統計法、資訊理論法和概率法。短
語索引項的提取方法有統計法、概率法和語言學法。
索引表一般使用某種形式的倒排表（Inversion List），即由索引項查找相應的文檔
。索引表也可能要記錄索引項在文檔中出現的位置，以便檢索器計算索引項之間的相鄰或
接近關系（proximity）。
索引器可以使用集中式索引演算法或分布式索引演算法。當數據量很大時，必須實現即時
索引（Instant Indexing），否則不能夠跟上信息量急劇增加的速度。索引演算法對索引器
的性能（如大規模峰值查詢時的響應速度）有很大的影響。一個搜索引擎的有效性在很大
程度上取決於索引的質量。
3.檢索器 檢索器的功能是根據用戶的查詢在索引庫中快速檢出文檔，進行文檔與
查詢的相關度評價，對將要輸出的結果進行排序，並實現某種用戶相關性反饋機制。
檢索器常用的信息檢索模型有集合理論模型、代數模型、概率模型和混合模型四種。
4.用戶介面
用戶介面的作用是輸入用戶查詢、顯示查詢結果、提供用戶相關性反饋機制。主要的
目的是方便用戶使用搜索引擎，高效率、多方式地從搜索引擎中得到有效、及時的信息。
用戶介面的設計和實現使用人機交互的理論和方法，以充分適應人類的思維習慣。
用戶輸入介面可以分為簡單介面和復雜介面兩種。
簡單介面只提供用戶輸入查詢串的文本框；復雜介面可以讓用戶對查詢進行限制，如
邏輯運算（與、或、非；+、-）、相近關系（相鄰、NEAR）、域名范圍（如.e、.com）
、出現位置（如標題、內容）、信息時間、長度等等。目前一些公司和機構正在考慮制定
查詢選項的標准。

未 來 動 向
搜索引擎已成為一個新的研究、開發領域。因為它要用到信息檢索、人工智慧、計算
機網路、分布式處理、資料庫、數據挖掘、數字圖書館、自然語言處理等多領域的理論和
技術，所以具有綜合性和挑戰性。又由於搜索引擎有大量的用戶，有很好的經濟價值，所
以引起了世界各國計算機科學界和信息產業界的高度關注，目前的研究、開發十分活躍，
並出現了很多值得注意的動向。
1.十分注意提高信息查詢結果的精度，提高檢索的有效性 用戶在搜索引擎上進行
信息查詢時，並不十分關注返回結果的多少，而是看結果是否和自己的需求吻合。對於一
個查詢，傳統的搜索引擎動輒返回幾十萬、幾百萬篇文檔，用戶不得不在結果中篩選。解
決查詢結果過多的現象目前出現了幾種方法：一是通過各種方法獲得用戶沒有在查詢語句
中表達出來的真正用途，包括使用智能代理跟蹤用戶檢索行為，分析用戶模型；使用相關
度反饋機制，使用戶告訴搜索引擎哪些文檔和自己的需求相關（及其相關的程度），哪些
不相關，通過多次交互逐步求精。二是用正文分類（Text Categorization）技術將結果分
類，使用可視化技術顯示分類結構，用戶可以只瀏覽自己感興趣的類別。三是進行站點類
聚或內容類聚，減少信息的總量。
2.基於智能代理的信息過濾和個性化服務
信息智能代理是另外一種利用互聯網信息的機制。它使用自動獲得的領域模型（如We
b知識、信息處理、與用戶興趣相關的信息資源、領域組織結構）、用戶模型（如用戶背景
、興趣、行為、風格）知識進行信息搜集、索引、過濾（包括興趣過濾和不良信息過濾）
，並自動地將用戶感興趣的、對用戶有用的信息提交給用戶。智能代理具有不斷學習、適
應信息和用戶興趣動態變化的能力，從而提供個性化的服務。智能代理可以在用戶端進行
，也可以在伺服器端運行。
3.採用分布式體系結構提高系統規模和性能
搜索引擎的實現可以採用集中式體系結構和分布式體系結構，兩種方法各有千秋。但
當系統規模到達一定程度（如網頁數達到億級）時，必然要採用某種分布式方法，以提高
系統性能。搜索引擎的各個組成部分，除了用戶介面之外，都可以進行分布：搜索器可以
在多台機器上相互合作、相互分工進行信息發現，以提高信息發現和更新速度；索引器可
以將索引分布在不同的機器上，以減小索引對機器的要求；檢索器可以在不同的機器上.

J. 你了解哪幾種從網路上搜索信息的途徑

1、漫遊法。

2、直接查找法

3、搜索引擎檢索法。

4、網路資源指南檢索法。

網路信息資源是：指以電子資源數據的形式，將文字、圖像、聲音、動畫等多種形式的信息儲存在光、磁等非印刷質的介質中，利用計算機通過網路進行發布、傳遞、儲存的各類信息資源的總和