
靠譜石家莊網(wǎng)站建設(shè)實際上用戶并不需要知道所有匹配的幾十萬、幾百萬個頁面,絕大部分用戶只會查看前兩頁,也就是前20個結(jié)果。搜索引擎也并不需要計算這么多頁面的相關(guān)性,而只要計算Z重要的一部分頁面就可以了。常用搜索引擎的人都會注意到,搜索結(jié)果頁面通常Z多顯示100個。石家莊網(wǎng)站建設(shè)哪家好用戶點擊搜索結(jié)果頁面底部的“下一頁”鏈接,Z多也只能看到第100頁,也就是1000個搜索結(jié)果但問題在于,還沒有計算相關(guān)性時,搜索引擎又怎么知道哪一千個文件是晟相關(guān)的?所以用于Z后相關(guān)性計算的初始頁面子集的選擇,必須依靠其他特征而不是相關(guān)性,其中Z主要的就是頁面權(quán)重。

我們經(jīng)常在搜索結(jié)果中看到,排名會沒有明顯原因地上下波動,甚至可能刷新一下頁面,就看到不同的排名,有的時候網(wǎng)站數(shù)據(jù)也可能丟失。石家莊網(wǎng)站建設(shè)哪家好這些都可能與大規(guī)模數(shù)據(jù)存儲的技術(shù)難題有關(guān)。索引處理快速有效,具可擴展性 搜索引擎將頁面數(shù)據(jù)抓取和存儲后,還要進(jìn)行索引處理,辛集靠譜石家莊網(wǎng)站建設(shè)包括鏈接關(guān)系的計算、正向索引、倒排索引等。由于數(shù)據(jù)庫中頁面數(shù)量大,進(jìn)行PR之類的迭代計算也是耗時費力的。要想及時提供相關(guān)又及時的搜索結(jié)果,僅僅抓取沒有用,還必須進(jìn)行大量索引計算。由于隨時都有新數(shù)據(jù)、新頁面加入,因此索引處理也要具備很好的擴展性。

辛集靠譜石家莊網(wǎng)站建設(shè)同一篇文章經(jīng)常會重復(fù)出現(xiàn)在不同網(wǎng)站及同一個網(wǎng)站的不同網(wǎng)址上,搜索引擎并不喜歡這種重復(fù)性的內(nèi)容。用戶搜索時,如果在前兩頁看到的都是來自不同網(wǎng)站的同一篇文章,用戶體驗就太差了,雖然都是內(nèi)容相關(guān)的。石家莊網(wǎng)站建設(shè)哪家好搜索引擎希望只返回相同文章中的一篇,所以在進(jìn)行索引前還需要識別和刪隙重復(fù)內(nèi)容,這個過程就稱為“去重”。去重的基本方法是對頁面特征關(guān)鍵詞計算指紋,也就是說從頁面主體內(nèi)容中選取Z有代表性的一部分關(guān)鍵詞(經(jīng)常是出現(xiàn)頻率Z高的關(guān)鍵詞),然后計算這些關(guān)鍵詞的數(shù)字指紋。

靠譜石家莊網(wǎng)站建設(shè)由于頁面和鏈接數(shù)量巨大,網(wǎng)上的鏈接關(guān)系又時時處在更新中,因此鏈接關(guān)系及PR的計算要耗費很長時間。關(guān)子PR和鏈接分析,后面還有專門的章節(jié)介紹。9.特殊文件處理 除了HTML文件外,搜索引擎通常還能抓取和索引以文字為基礎(chǔ)的多種文件類型,如PDF、Word、WPS、XLS、PPT、TXT文件等。石家莊網(wǎng)站建設(shè)哪家好我們在搜索結(jié)果中也經(jīng)常會看到這些文件類型。但目前的搜索引擎還不能處理圖片、視頻、Flash這類非文字內(nèi)容,也不能執(zhí)行腳本和程序。