
正規(guī)網(wǎng)絡(luò)推廣公司搜索引擎蜘蛛抓取的原始頁面,并不能直接用于查詢排名處理。搜索引擎數(shù)據(jù)庫中的頁面數(shù)都在數(shù)萬億級別以上,用戶輸入搜索詞后,靠排名程序?qū)崟r對這么多頁面分析相關(guān)性,計算量太大,不可能在一兩秒內(nèi)返回排名結(jié)果。網(wǎng)絡(luò)推廣公司價格因此抓取來的頁面必須經(jīng)過預(yù)處理,為Z后的查詢排名做好準備。和爬行抓取一樣,預(yù)處理也是在后臺提前完成的,用戶搜索時感覺不到這個過程。搜索引擎預(yù)處理首先要做的就是從HTML文件中去除標簽、程序,提取出可以用于排名處理的網(wǎng)頁面文字內(nèi)容。

用戶搜索“歷史”、“分類”這些關(guān)鍵詞時僅僅因為頁面上有這些詞出現(xiàn)而返回博客帖子是毫無意義的,完全不相關(guān)。正規(guī)網(wǎng)絡(luò)推廣公司所以這些區(qū)塊都屬于噪聲,對頁面主題只能起到分散作用。搜索引擎需要識別并消除這些噪聲,排名時不使用噪聲內(nèi)容。網(wǎng)絡(luò)推廣公司價格消噪的基本方法是根據(jù)HTML標簽對頁面分塊,區(qū)分出頁頭、導(dǎo)航、正文、頁腳、廣告等區(qū)域,在網(wǎng)站上大量重復(fù)出現(xiàn)的區(qū)塊往往屬于噪聲。對頁面進行消噪后,剩下的才是頁面主體內(nèi)容。

正規(guī)網(wǎng)絡(luò)推廣公司由于頁面和鏈接數(shù)量巨大,網(wǎng)上的鏈接關(guān)系又時時處在更新中,因此鏈接關(guān)系及PR的計算要耗費很長時間。關(guān)子PR和鏈接分析,后面還有專門的章節(jié)介紹。9.特殊文件處理 除了HTML文件外,搜索引擎通常還能抓取和索引以文字為基礎(chǔ)的多種文件類型,如PDF、Word、WPS、XLS、PPT、TXT文件等。網(wǎng)絡(luò)推廣公司價格我們在搜索結(jié)果中也經(jīng)常會看到這些文件類型。但目前的搜索引擎還不能處理圖片、視頻、Flash這類非文字內(nèi)容,也不能執(zhí)行腳本和程序。

正規(guī)網(wǎng)絡(luò)推廣公司正向索引還不能直接用于排名。假設(shè)用戶搜索關(guān)鍵詞2,如果只存在正向索引,排名程序需要掃描所有索引庫中的文件,找出包含關(guān)鍵詞2的文件,再進行相關(guān)性計算。這樣的計算量無法滿足實時返回排名結(jié)果的要求。網(wǎng)絡(luò)推廣公司價格所以搜索引擎會將正向索引數(shù)據(jù)庫重新構(gòu)造為倒排索引,把文件對應(yīng)到關(guān)鍵詞的映射轉(zhuǎn)換為關(guān)鍵詞到文件的映射,在倒排索引中關(guān)鍵詞是主鍵,每介關(guān)鍵詞都對應(yīng)著一系列文件,這些文件中都出現(xiàn)了這個關(guān)鍵詞。這樣當(dāng)用戶搜索某個關(guān)鍵詞時,排序程序在倒排索引中定位到這個關(guān)鍵詞,就可以馬上找出所有包含這個關(guān)鍵詞的文件。