
海量數(shù)據(jù)存儲有實力系統(tǒng)開發(fā)一些大型網(wǎng)站單是一個網(wǎng)站就有百萬千萬個頁面,可以想象網(wǎng)上所有網(wǎng)站的頁面加起來是一個什么數(shù)據(jù)量。搜索引擎蜘蛛抓取頁面后,還必須有效存儲這些數(shù)據(jù),數(shù)據(jù)結(jié)構(gòu)必須合理,具備極高的擴展性,寫入及訪問速度要求也很高。系統(tǒng)開發(fā)哪家好除了頁面數(shù)據(jù),搜索引擎還需要存儲頁面之間的鏈接關(guān)系及大量歷史數(shù)據(jù),這樣的數(shù)據(jù)量是用戶無法想象的。據(jù)說Google有幾十個數(shù)據(jù)中心,上百萬臺服務(wù)器。這樣大規(guī)模的數(shù)據(jù)存儲和訪問必然存在很多技術(shù)挑戰(zhàn)。

有實力系統(tǒng)開發(fā)只有在深入了解搜索引擎蜘蛛爬行原理的基礎(chǔ)上,才能盡量使蜘蛛抓得快而全面。上面所舉的幾個例子,讀者看完搜索引擎原理簡介這一節(jié)后,會有更深入的認(rèn)識。搜索引擎與目錄,系統(tǒng)開發(fā)哪家好早期的網(wǎng)站優(yōu)化資料經(jīng)常把真正的搜索引擎與目錄放在一起討論,甚至把目錄也稱為搜索引擎的一種,這種講法并不準(zhǔn)確。真正的搜索引擎指的是由蜘蛛程序沿著鏈接爬行和抓取網(wǎng)上的大量頁面,存進數(shù)據(jù)庫,經(jīng)過預(yù)處理,用戶在搜索框輸入關(guān)鍵詞后,搜索引擎排序程序從數(shù)據(jù)庫中挑選出符合搜索關(guān)鍵詞要求的頁面。

有實力系統(tǒng)開發(fā)中文分詞,分詞是中文搜索引擎特有的步驟。搜索引擎存儲和處理頁面及用戶搜索都是以詞為基礎(chǔ)的。英文等語言單詞與單詞之間有空格分隔,搜索引擎索引程序可以直接把句子劃分為單詞的集合。而中文詞與詞之間沒有任何分隔符,一個句子中的所有字和詞都是連在一起的。系統(tǒng)開發(fā)哪家好搜索引擎必須首先分辨哪幾個字組成一個詞,哪些字本身就是一個詞。比如“減肥方法”將被分詞為“減肥”和“方法”兩個詞。中文分詞方法基本上有兩種,一種是基于詞典匹配,另一種是墓于統(tǒng)計。

在排名中計入鏈接因素,不僅有助于減少垃圾,提高結(jié)果相關(guān)性,也使傳統(tǒng)關(guān)鍵詞匹 配無法排名的文件能夠被處理。有實力系統(tǒng)開發(fā)比如圖片、視頻文件無法進行關(guān)鍵詞匹配,但是卻可能有 外部鏈接,通過鏈接信息,搜索引擎就可以了解圖片和視頻的內(nèi)容從而排名。不同文字的頁面排名也成為可能。比如在百度或google.cn搜索“SEO”,系統(tǒng)開發(fā)哪家好都可以看到 英文和其他文字的SEO網(wǎng)站。甚至搜索“搜索引擎優(yōu)化”,也可以看到非中文頁面,原因 就在于有的鏈接可能使用“搜索引擎優(yōu)化”為錨文字指向英文頁面。