蜘蛛的爬行、頁面的收錄及排序都是自動處理。網(wǎng)站目錄則是一套人工編輯的分類目錄，滄州有實(shí)力網(wǎng)站建設(shè)由編輯人員人工創(chuàng)建多個層次的分類，站長可以在不同分類里提交網(wǎng)站，目錄編輯在后臺審核所提交的網(wǎng)站，將網(wǎng)站放置于相應(yīng)的分類頁面。有的時候編輯也主動收錄網(wǎng)站。網(wǎng)站建設(shè)多少錢典型的網(wǎng)站目錄包括雅虎目錄、開放目錄、好123等。目錄并不是本書中所討論的SEO所關(guān)注的真正的搜索引擎。雖然網(wǎng)站目錄也常有一個搜索框，但目錄的數(shù)據(jù)來源是人工編輯得到的。

有實(shí)力網(wǎng)站建設(shè)位置（如頁面第一段文字等）。這樣，每一個頁面都可以記錄為一串關(guān)鍵詞集合，其中每個關(guān)鍵詞的詞頻、格式、位置等權(quán)重信息也都記錄在案。搜索引擎索引程序?qū)㈨撁婕瓣P(guān)鏈詞形成詞表結(jié)構(gòu)存儲進(jìn)索引庫。網(wǎng)站建設(shè)多少錢簡化的索引詞表形式簡化的索引詞表結(jié)構(gòu) 每個文件都對應(yīng)一個文件ID，文件內(nèi)容被表示為一串關(guān)鍵詞的集合。實(shí)際上在搜索引擎索引庫中，關(guān)鍵詞也已經(jīng)轉(zhuǎn)換為關(guān)鍵詞ID。這樣的數(shù)據(jù)結(jié)構(gòu)就稱為正向索引。

有實(shí)力網(wǎng)站建設(shè)中文分詞，分詞是中文搜索引擎特有的步驟。搜索引擎存儲和處理頁面及用戶搜索都是以詞為基礎(chǔ)的。英文等語言單詞與單詞之間有空格分隔，搜索引擎索引程序可以直接把句子劃分為單詞的集合。而中文詞與詞之間沒有任何分隔符，一個句子中的所有字和詞都是連在一起的。網(wǎng)站建設(shè)多少錢搜索引擎必須首先分辨哪幾個字組成一個詞，哪些字本身就是一個詞。比如“減肥方法”將被分詞為“減肥”和“方法”兩個詞。中文分詞方法基本上有兩種，一種是基于詞典匹配，另一種是墓于統(tǒng)計。

有實(shí)力網(wǎng)站建設(shè)鏈接關(guān)系計算也是預(yù)處理中很重要的一部分。現(xiàn)在所有的主流搜索引擎排名因素中都包含網(wǎng)頁之間的鏈接流動信息。搜索引擎在抓取頁面內(nèi)容后，必須事前計算出：頁面上有哪些鏈接指向哪些其他頁面，每個頁面有哪些導(dǎo)入鏈接，鏈接使用了什么錨文字，網(wǎng)站建設(shè)多少錢這些復(fù)雜的鏈接指向關(guān)系形成了網(wǎng)站和頁面的鏈接權(quán)重。Google PR值就是這種鏈接關(guān)系的Z主要體現(xiàn)之一。其他搜索引擎也都進(jìn)行類似計算，雖然它們并不稱為PR。

有實(shí)力網(wǎng)站建設(shè)由此可見，雖然理論上蜘蛛能爬行和抓取所有頁面，但實(shí)際上不能、也不會這么做。網(wǎng)站優(yōu)化人員要想讓自己的更多頁面被收錄，就要想方設(shè)法吸引蜘蛛來抓取。既然不能抓取所有頁面，蜘蛛所要做的就是盡量抓取重要頁面。網(wǎng)站建設(shè)多少錢哪些頁面被認(rèn)為比較重要呢？有幾方面影響因素。網(wǎng)站優(yōu)化網(wǎng)站和頁面權(quán)重。質(zhì)量高、資格老的網(wǎng)站被認(rèn)為權(quán)重比較高，這種網(wǎng)站上的頁面被爬行的深度也會比較高，所以會有更多內(nèi)頁被收錄。 網(wǎng)站優(yōu)化頁面更新度。