蜘蛛的爬行、頁(yè)面的收錄及排序都是自動(dòng)處理。網(wǎng)站目錄則是一套人工編輯的分類目錄，新華區(qū)正規(guī)做網(wǎng)站由編輯人員人工創(chuàng)建多個(gè)層次的分類，站長(zhǎng)可以在不同分類里提交網(wǎng)站，目錄編輯在后臺(tái)審核所提交的網(wǎng)站，將網(wǎng)站放置于相應(yīng)的分類頁(yè)面。有的時(shí)候編輯也主動(dòng)收錄網(wǎng)站。做網(wǎng)站價(jià)格典型的網(wǎng)站目錄包括雅虎目錄、開放目錄、好123等。目錄并不是本書中所討論的SEO所關(guān)注的真正的搜索引擎。雖然網(wǎng)站目錄也常有一個(gè)搜索框，但目錄的數(shù)據(jù)來(lái)源是人工編輯得到的。

親身做過(guò)網(wǎng)站的人都很清楚網(wǎng)站優(yōu)化的重要性。不排除有極小一部分網(wǎng)站不希望有人來(lái)看，并不想讓更多人看到。正規(guī)做網(wǎng)站但99.9%的網(wǎng)站是希望有人來(lái)看的，而且人越多越好。不管網(wǎng)站贏利模式和目標(biāo)是什么，有人來(lái)訪問(wèn)是前提。而網(wǎng)站優(yōu)化是給網(wǎng)站帶來(lái)訪問(wèn)者的Z好方法，沒(méi)有“之一”。做網(wǎng)站價(jià)格雖然也有其他網(wǎng)站推廣方法，運(yùn)用得當(dāng)時(shí)效果非凡。但總體來(lái)說(shuō)，沒(méi)有其他方法像網(wǎng)站優(yōu)化一樣這么吸引人：搜索流量質(zhì)量高。其他方法是把網(wǎng)站推到用戶眼前，用戶本沒(méi)有訪問(wèn)你的網(wǎng)站的意圖。

新華區(qū)正規(guī)做網(wǎng)站同一篇文章經(jīng)常會(huì)重復(fù)出現(xiàn)在不同網(wǎng)站及同一個(gè)網(wǎng)站的不同網(wǎng)址上，搜索引擎并不喜歡這種重復(fù)性的內(nèi)容。用戶搜索時(shí)，如果在前兩頁(yè)看到的都是來(lái)自不同網(wǎng)站的同一篇文章，用戶體驗(yàn)就太差了，雖然都是內(nèi)容相關(guān)的。做網(wǎng)站價(jià)格搜索引擎希望只返回相同文章中的一篇，所以在進(jìn)行索引前還需要識(shí)別和刪隙重復(fù)內(nèi)容，這個(gè)過(guò)程就稱為“去重”。去重的基本方法是對(duì)頁(yè)面特征關(guān)鍵詞計(jì)算指紋，也就是說(shuō)從頁(yè)面主體內(nèi)容中選取Z有代表性的一部分關(guān)鍵詞（經(jīng)常是出現(xiàn)頻率Z高的關(guān)鍵詞），然后計(jì)算這些關(guān)鍵詞的數(shù)字指紋。

正規(guī)做網(wǎng)站文件存儲(chǔ)搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁(yè)面數(shù)據(jù)庫(kù)。其中的頁(yè)面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的。每個(gè)URL都有一個(gè)獨(dú)特的文件編號(hào)。爬行時(shí)的復(fù)制內(nèi)容檢測(cè)做網(wǎng)站價(jià)格 檢測(cè)并刪除復(fù)制內(nèi)容通常是在下面介紹的預(yù)處理過(guò)程中進(jìn)行的，但現(xiàn)在的蜘蛛在爬行和抓取文件時(shí)也會(huì)進(jìn)行一定程度的復(fù)制內(nèi)容檢測(cè)。遇到權(quán)重很低的網(wǎng)站上大量轉(zhuǎn)載或抄襲內(nèi)容時(shí)，很可能不再繼續(xù)爬行。這也就是有的站長(zhǎng)在日志文件中發(fā)現(xiàn)了蜘蛛，但頁(yè)面從來(lái)沒(méi)有被真正收錄過(guò)的原因。