正定有實力網(wǎng)站建設(shè)同一篇文章經(jīng)常會重復(fù)出現(xiàn)在不同網(wǎng)站及同一個網(wǎng)站的不同網(wǎng)址上，搜索引擎并不喜歡這種重復(fù)性的內(nèi)容。用戶搜索時，如果在前兩頁看到的都是來自不同網(wǎng)站的同一篇文章，用戶體驗就太差了，雖然都是內(nèi)容相關(guān)的。網(wǎng)站建設(shè)多少錢搜索引擎希望只返回相同文章中的一篇，所以在進行索引前還需要識別和刪隙重復(fù)內(nèi)容，這個過程就稱為“去重”。去重的基本方法是對頁面特征關(guān)鍵詞計算指紋，也就是說從頁面主體內(nèi)容中選取Z有代表性的一部分關(guān)鍵詞（經(jīng)常是出現(xiàn)頻率Z高的關(guān)鍵詞），然后計算這些關(guān)鍵詞的數(shù)字指紋。

搜索引擎對頁面的分詞取決于詞庫的規(guī)模、準確性和分詞算法的好壞，而不是取決于頁面本身如何，所以網(wǎng)站優(yōu)化人員對分詞所能做的很少。正定有實力網(wǎng)站建設(shè)唯一能做的是在頁面上用某種形式提示搜索引擎，某幾個字應(yīng)該被當做一個詞處理，尤其是可能產(chǎn)生歧義的時候，比如在頁面標題、hl標簽及黑體中出現(xiàn)關(guān)鍵詞。網(wǎng)站建設(shè)多少錢如果頁面是關(guān)于“和服”的內(nèi)容，那么可以把“和服”這兩個字特意標為黑體。如果頁面是關(guān)于“化妝利服裝”，可以把“服裝”兩個字標為黑體。

正定有實力網(wǎng)站建設(shè)搜索引擎和目錄兩者各有優(yōu)劣。搜索引擎收錄的頁面數(shù)遠遠高于目錄能收錄的頁面數(shù)。但搜索引擎收錄的頁面質(zhì)量參差不齊，對網(wǎng)站內(nèi)容和關(guān)鍵詞提取的準確性通常也沒有目錄高。限于人力，目錄能收錄的通常只是網(wǎng)蛄首頁，網(wǎng)站建設(shè)多少錢而且規(guī)模十分有限，不過收錄的網(wǎng)站通常質(zhì)量比較高。像雅虎、開放目錄、好123這些大型目錄，收錄標準非常高。目錄收錄網(wǎng)站時存儲的頁面標題、說明文字都是人工編輯的，比較準確。搜索引擎數(shù)據(jù)更新快，而目錄中收錄的很多網(wǎng)站內(nèi)容十分陳1日，甚至網(wǎng)站可能已經(jīng)不再存在了。

為什么要了解搜索引擎原理？正定網(wǎng)站建設(shè)說到底，網(wǎng)站優(yōu)化是在保證用戶體驗的基礎(chǔ)上盡量迎合搜索引擎。與研究用戶界面及可用性不同的是，網(wǎng)站優(yōu)化既要從用戶出發(fā)，也要站在搜索引擎的角度考慮問題，才能清晰地知道怎樣優(yōu)化網(wǎng)站。有實力網(wǎng)站建設(shè)網(wǎng)站優(yōu)化人員必須知道：搜索引擎要解決什么問題，有哪些技術(shù)上的困難，有什么限制，搜索引擎又怎樣取舍。從某個角度來說，網(wǎng)站優(yōu)化人員優(yōu)化網(wǎng)站就是盡量減少搜索引擎的工作量、降低搜索引擎的工作難度，使搜索引擎能更輕松、快速地收錄網(wǎng)站頁面，更準確地提取頁面內(nèi)容。

有實力網(wǎng)站建設(shè)文件存儲搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁面數(shù)據(jù)庫。其中的頁面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的。每個URL都有一個獨特的文件編號。爬行時的復(fù)制內(nèi)容檢測網(wǎng)站建設(shè)多少錢 檢測并刪除復(fù)制內(nèi)容通常是在下面介紹的預(yù)處理過程中進行的，但現(xiàn)在的蜘蛛在爬行和抓取文件時也會進行一定程度的復(fù)制內(nèi)容檢測。遇到權(quán)重很低的網(wǎng)站上大量轉(zhuǎn)載或抄襲內(nèi)容時，很可能不再繼續(xù)爬行。這也就是有的站長在日志文件中發(fā)現(xiàn)了蜘蛛，但頁面從來沒有被真正收錄過的原因。