蜘蛛的爬行、頁(yè)面的收錄及排序都是自動(dòng)處理。網(wǎng)站目錄則是一套人工編輯的分類目錄，滄州有實(shí)力建設(shè)網(wǎng)站公司由編輯人員人工創(chuàng)建多個(gè)層次的分類，站長(zhǎng)可以在不同分類里提交網(wǎng)站，目錄編輯在后臺(tái)審核所提交的網(wǎng)站，將網(wǎng)站放置于相應(yīng)的分類頁(yè)面。有的時(shí)候編輯也主動(dòng)收錄網(wǎng)站。建設(shè)網(wǎng)站公司哪家好典型的網(wǎng)站目錄包括雅虎目錄、開(kāi)放目錄、好123等。目錄并不是本書中所討論的SEO所關(guān)注的真正的搜索引擎。雖然網(wǎng)站目錄也常有一個(gè)搜索框，但目錄的數(shù)據(jù)來(lái)源是人工編輯得到的。

有實(shí)力建設(shè)網(wǎng)站公司文件存儲(chǔ)搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁(yè)面數(shù)據(jù)庫(kù)。其中的頁(yè)面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的。每個(gè)URL都有一個(gè)獨(dú)特的文件編號(hào)。爬行時(shí)的復(fù)制內(nèi)容檢測(cè)建設(shè)網(wǎng)站公司哪家好 檢測(cè)并刪除復(fù)制內(nèi)容通常是在下面介紹的預(yù)處理過(guò)程中進(jìn)行的，但現(xiàn)在的蜘蛛在爬行和抓取文件時(shí)也會(huì)進(jìn)行一定程度的復(fù)制內(nèi)容檢測(cè)。遇到權(quán)重很低的網(wǎng)站上大量轉(zhuǎn)載或抄襲內(nèi)容時(shí)，很可能不再繼續(xù)爬行。這也就是有的站長(zhǎng)在日志文件中發(fā)現(xiàn)了蜘蛛，但頁(yè)面從來(lái)沒(méi)有被真正收錄過(guò)的原因。

有實(shí)力建設(shè)網(wǎng)站公司搜索是近20年互聯(lián)網(wǎng)變化Z快的領(lǐng)域之一，這種變化不僅體現(xiàn)在搜索技術(shù)突飛猛進(jìn)和對(duì)網(wǎng)絡(luò)經(jīng)濟(jì)的巨大推動(dòng)上，搜索引擎本身昀合縱連橫、興衰起伏也是精彩紛呈，常令人有眼花繚亂、瞠目結(jié)舌之感。了解搜索引擎的發(fā)展歷史有助于網(wǎng)站優(yōu)化人員理解搜索引擎營(yíng)銷的發(fā)展、變革，建設(shè)網(wǎng)站公司哪家好對(duì)未來(lái)有更準(zhǔn)確的預(yù)期。本節(jié)就簡(jiǎn)要列出搜索引擎發(fā)展史上的重要事件，其中很多事件對(duì)今天搜索以及網(wǎng)站優(yōu)化行業(yè)的形態(tài)有至關(guān)重要的影響。

有實(shí)力建設(shè)網(wǎng)站公司由于頁(yè)面和鏈接數(shù)量巨大，網(wǎng)上的鏈接關(guān)系又時(shí)時(shí)處在更新中，因此鏈接關(guān)系及PR的計(jì)算要耗費(fèi)很長(zhǎng)時(shí)間。關(guān)子PR和鏈接分析，后面還有專門的章節(jié)介紹。9．特殊文件處理 除了HTML文件外，搜索引擎通常還能抓取和索引以文字為基礎(chǔ)的多種文件類型，如PDF、Word、WPS、XLS、PPT、TXT文件等。建設(shè)網(wǎng)站公司哪家好我們?cè)谒阉鹘Y(jié)果中也經(jīng)常會(huì)看到這些文件類型。但目前的搜索引擎還不能處理圖片、視頻、Flash這類非文字內(nèi)容，也不能執(zhí)行腳本和程序。