
正規(guī)制作網(wǎng)站中文分詞,分詞是中文搜索引擎特有的步驟。搜索引擎存儲和處理頁面及用戶搜索都是以詞為基礎(chǔ)的。英文等語言單詞與單詞之間有空格分隔,搜索引擎索引程序可以直接把句子劃分為單詞的集合。而中文詞與詞之間沒有任何分隔符,一個句子中的所有字和詞都是連在一起的。制作網(wǎng)站哪家好搜索引擎必須首先分辨哪幾個字組成一個詞,哪些字本身就是一個詞。比如“減肥方法”將被分詞為“減肥”和“方法”兩個詞。中文分詞方法基本上有兩種,一種是基于詞典匹配,另一種是墓于統(tǒng)計。

基于詞典匹配的方法是指,將待分析的一段漢字與一個事先造好的詞典中的詞條進(jìn)行匹配,正規(guī)制作網(wǎng)站在待分析漢字串中掃描到詞典中已有的詞條則匹配成功,或者說切分出一個單詞。按照掃描方向,基于詞典的匹配法可以分為正向匹配和逆向匹配。制作網(wǎng)站哪家好按照匹配長度優(yōu)先級的不同,又可以分為Z大匹配和Z小匹配。將掃描方向和長度優(yōu)先混合,又可以產(chǎn)生正向Z大匹配、逆向Z大匹配等不同方法。詞典匹配方法計算簡單,其準(zhǔn)確度在很大程度上取決于詞典的完整性和更新情況。

正規(guī)制作網(wǎng)站搜索引擎蜘蛛抓取的原始頁面,并不能直接用于查詢排名處理。搜索引擎數(shù)據(jù)庫中的頁面數(shù)都在數(shù)萬億級別以上,用戶輸入搜索詞后,靠排名程序?qū)崟r對這么多頁面分析相關(guān)性,計算量太大,不可能在一兩秒內(nèi)返回排名結(jié)果。制作網(wǎng)站哪家好因此抓取來的頁面必須經(jīng)過預(yù)處理,為Z后的查詢排名做好準(zhǔn)備。和爬行抓取一樣,預(yù)處理也是在后臺提前完成的,用戶搜索時感覺不到這個過程。搜索引擎預(yù)處理首先要做的就是從HTML文件中去除標(biāo)簽、程序,提取出可以用于排名處理的網(wǎng)頁面文字內(nèi)容。

正規(guī)制作網(wǎng)站這里的關(guān)鍵詞選取是在分詞、去停止詞、消噪之后。實(shí)驗(yàn)表明,通常選取10個特征關(guān)鍵詞就可以達(dá)到比較高的計算準(zhǔn)確性,再選取更多詞對去重準(zhǔn)確性提高的貢獻(xiàn)也就不大了。典型的指紋計算方法如MD5算法(信息摘要算法第五版)。制作網(wǎng)站哪家好這類指紋算法的特點(diǎn)是,輸入(特征關(guān)鍵詞)有任何微小的變化,都會導(dǎo)致計算出的指紋有很大差距。了解了搜索引擎的去重算法,網(wǎng)站優(yōu)化人員就應(yīng)該知道簡單地“的”、“地”、“得”、調(diào)換段落順序這種所謂偽原創(chuàng),并不能逃過搜索引擎的去重算法,因?yàn)檫@樣的操作無法改變文章的特征關(guān)鍵詞。