正規(guī)系統(tǒng)開發(fā)如果每次搜索都重新處理排名可以說是很大的浪費(fèi)。搜索引擎會把Z常見的搜索詞存入緩存，用戶搜索時直接從緩存中調(diào)用，而不必經(jīng)過文件匹配和相關(guān)性計(jì)算，大大提高了排名效率，縮短了搜索反應(yīng)時間。系統(tǒng)開發(fā)哪家好查詢及點(diǎn)擊日志 搜索用戶的IP地址、搜索的關(guān)鍵詞、搜索時間，以及點(diǎn)擊了哪些結(jié)果頁面，搜索引擎都記錄形成日志。這些日志文件中的數(shù)據(jù)對搜索引擎判斷搜索結(jié)果質(zhì)量、調(diào)整搜索算法、預(yù)期搜索趨勢等都有重要意義。

正規(guī)系統(tǒng)開發(fā)文件存儲搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁面數(shù)據(jù)庫。其中的頁面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的。每個URL都有一個獨(dú)特的文件編號。爬行時的復(fù)制內(nèi)容檢測系統(tǒng)開發(fā)哪家好 檢測并刪除復(fù)制內(nèi)容通常是在下面介紹的預(yù)處理過程中進(jìn)行的，但現(xiàn)在的蜘蛛在爬行和抓取文件時也會進(jìn)行一定程度的復(fù)制內(nèi)容檢測。遇到權(quán)重很低的網(wǎng)站上大量轉(zhuǎn)載或抄襲內(nèi)容時，很可能不再繼續(xù)爬行。這也就是有的站長在日志文件中發(fā)現(xiàn)了蜘蛛，但頁面從來沒有被真正收錄過的原因。

正規(guī)系統(tǒng)開發(fā)搜索引擎蜘蛛抓取的原始頁面，并不能直接用于查詢排名處理。搜索引擎數(shù)據(jù)庫中的頁面數(shù)都在數(shù)萬億級別以上，用戶輸入搜索詞后，靠排名程序?qū)崟r對這么多頁面分析相關(guān)性，計(jì)算量太大，不可能在一兩秒內(nèi)返回排名結(jié)果。系統(tǒng)開發(fā)哪家好因此抓取來的頁面必須經(jīng)過預(yù)處理，為Z后的查詢排名做好準(zhǔn)備。和爬行抓取一樣，預(yù)處理也是在后臺提前完成的，用戶搜索時感覺不到這個過程。搜索引擎預(yù)處理首先要做的就是從HTML文件中去除標(biāo)簽、程序，提取出可以用于排名處理的網(wǎng)頁面文字內(nèi)容。

正規(guī)系統(tǒng)開發(fā)只有在深入了解搜索引擎蜘蛛爬行原理的基礎(chǔ)上，才能盡量使蜘蛛抓得快而全面。上面所舉的幾個例子，讀者看完搜索引擎原理簡介這一節(jié)后，會有更深入的認(rèn)識。搜索引擎與目錄，系統(tǒng)開發(fā)哪家好早期的網(wǎng)站優(yōu)化資料經(jīng)常把真正的搜索引擎與目錄放在一起討論，甚至把目錄也稱為搜索引擎的一種，這種講法并不準(zhǔn)確。真正的搜索引擎指的是由蜘蛛程序沿著鏈接爬行和抓取網(wǎng)上的大量頁面，存進(jìn)數(shù)據(jù)庫，經(jīng)過預(yù)處理，用戶在搜索框輸入關(guān)鍵詞后，搜索引擎排序程序從數(shù)據(jù)庫中挑選出符合搜索關(guān)鍵詞要求的頁面。

相信很多讀者也有這種經(jīng)歷：線上研究對比，線下購買。因此，就算是Z傳統(tǒng)的線下生意，無法線上銷售，能被用戶在搜索引擎找到，也至關(guān)重要。正規(guī)系統(tǒng)開發(fā)搜索引擎簡史搜索引擎占網(wǎng)絡(luò)廣告市場比例，隨著互聯(lián)網(wǎng)的發(fā)展，搜索引擎的出現(xiàn)是必然的。就像傳統(tǒng)圖書館一樣，收藏的書籍、文件多了，必然出現(xiàn)管理、查找困難，索引和搜索就成為必需的了。實(shí)際上，系統(tǒng)開發(fā)哪家好搜索引擎原理在很大程度上源于傳統(tǒng)文件檢索技術(shù)。網(wǎng)上資源數(shù)量遠(yuǎn)超出我們個人所能想象與掌控，沒有搜索引擎，我們幾乎無法有效利用這些資源，也就沒有互聯(lián)網(wǎng)的今天。

正規(guī)系統(tǒng)開發(fā)關(guān)鍵詞常用程度。經(jīng)過分詞后的多個關(guān)鍵詞，對整個搜索字符串的意義貢獻(xiàn)并不相同。越常用的詞對搜索詞的意義貢獻(xiàn)越小，越不常用的詞對搜索詞的意義貢獻(xiàn)越大。舉個例子，假設(shè)用戶輸入的搜索詞是“我們冥王星”。系統(tǒng)開發(fā)哪家好“我們”這個詞常用程度非常高，在很多頁面上會出現(xiàn)，它對“我們冥王星”這個搜索詞的辨識程度和意義相關(guān)度貢獻(xiàn)就很小。找出那些包含“我們”這個詞的頁面，對搜索排名相關(guān)性幾乎沒有什么影響，有太鄉(xiāng)頁面包含“我們”這個詞。而“冥王星”這個詞常用程度就比較低，對“我們冥王星”這個搜索詞的意義貢獻(xiàn)要大得多。