
靠譜網(wǎng)站建設(shè)搜索引擎蜘蛛抓取的原始頁面,并不能直接用于查詢排名處理。搜索引擎數(shù)據(jù)庫中的頁面數(shù)都在數(shù)萬億級別以上,用戶輸入搜索詞后,靠排名程序?qū)崟r對這么多頁面分析相關(guān)性,計算量太大,不可能在一兩秒內(nèi)返回排名結(jié)果。網(wǎng)站建設(shè)哪家好因此抓取來的頁面必須經(jīng)過預(yù)處理,為Z后的查詢排名做好準(zhǔn)備。和爬行抓取一樣,預(yù)處理也是在后臺提前完成的,用戶搜索時感覺不到這個過程。搜索引擎預(yù)處理首先要做的就是從HTML文件中去除標(biāo)簽、程序,提取出可以用于排名處理的網(wǎng)頁面文字內(nèi)容。

靠譜網(wǎng)站建設(shè)中文分詞,分詞是中文搜索引擎特有的步驟。搜索引擎存儲和處理頁面及用戶搜索都是以詞為基礎(chǔ)的。英文等語言單詞與單詞之間有空格分隔,搜索引擎索引程序可以直接把句子劃分為單詞的集合。而中文詞與詞之間沒有任何分隔符,一個句子中的所有字和詞都是連在一起的。網(wǎng)站建設(shè)哪家好搜索引擎必須首先分辨哪幾個字組成一個詞,哪些字本身就是一個詞。比如“減肥方法”將被分詞為“減肥”和“方法”兩個詞。中文分詞方法基本上有兩種,一種是基于詞典匹配,另一種是墓于統(tǒng)計。

靠譜網(wǎng)站建設(shè)只有在深入了解搜索引擎蜘蛛爬行原理的基礎(chǔ)上,才能盡量使蜘蛛抓得快而全面。上面所舉的幾個例子,讀者看完搜索引擎原理簡介這一節(jié)后,會有更深入的認(rèn)識。搜索引擎與目錄,網(wǎng)站建設(shè)哪家好早期的網(wǎng)站優(yōu)化資料經(jīng)常把真正的搜索引擎與目錄放在一起討論,甚至把目錄也稱為搜索引擎的一種,這種講法并不準(zhǔn)確。真正的搜索引擎指的是由蜘蛛程序沿著鏈接爬行和抓取網(wǎng)上的大量頁面,存進(jìn)數(shù)據(jù)庫,經(jīng)過預(yù)處理,用戶在搜索框輸入關(guān)鍵詞后,搜索引擎排序程序從數(shù)據(jù)庫中挑選出符合搜索關(guān)鍵詞要求的頁面。

靠譜網(wǎng)站建設(shè)實際上用戶并不需要知道所有匹配的幾十萬、幾百萬個頁面,絕大部分用戶只會查看前兩頁,也就是前20個結(jié)果。搜索引擎也并不需要計算這么多頁面的相關(guān)性,而只要計算Z重要的一部分頁面就可以了。常用搜索引擎的人都會注意到,搜索結(jié)果頁面通常Z多顯示100個。網(wǎng)站建設(shè)哪家好用戶點(diǎn)擊搜索結(jié)果頁面底部的“下一頁”鏈接,Z多也只能看到第100頁,也就是1000個搜索結(jié)果但問題在于,還沒有計算相關(guān)性時,搜索引擎又怎么知道哪一千個文件是晟相關(guān)的?所以用于Z后相關(guān)性計算的初始頁面子集的選擇,必須依靠其他特征而不是相關(guān)性,其中Z主要的就是頁面權(quán)重。