介紹幾款優(yōu)秀的英文分詞系統(tǒng)和中文分詞系統(tǒng)分詞原理建立索引和查詢的過程中，都是以基本的語素項(xiàng)為單位的。基本的語素項(xiàng)就是通過分詞得到。這個(gè)過程決定了索引單元金額最終的匹配過程。分詞在文本索引的建立過程和用戶提交檢索過程中都存在。利用相同的分詞器，把短語或者句子切分成相同的結(jié)果，才能保證檢索過程順利進(jìn)行。英文分詞的原理基本的處理流程是：輸入文本、詞匯分割、詞匯過濾（去除停留詞）、詞干提取（形態(tài)還原）、大寫轉(zhuǎn)為小寫、結(jié)果輸出。中文分詞原理中文分詞比較復(fù)雜，并沒有英文分詞那么簡單。這主要是因?yàn)橹形牡脑~與詞之間并不像英文中那樣用空格來隔開。主要的方法有三種：基于詞典匹配的分詞方法、基于語義理解的分詞、基于詞頻統(tǒng)計(jì)的分詞。基于詞典匹配的分詞方法基于字典匹配的分詞方法按照一定的匹配策略將輸入的字符串與機(jī)器字典詞條進(jìn)行匹配。如果在詞典中找到當(dāng)前字符串，則匹配成功輸出識(shí)別的詞匯。按照匹配操作的掃描方向不同，字典匹配分詞方法可以分為正向匹配和逆向匹配，以及結(jié)合了兩者的雙向匹配算法；按照不同長度優(yōu)先匹配的情況，可以分為最大（最長）匹配和最小（最短）匹配；按照是否與詞性標(biāo)注過程相結(jié)合，又可以分為單純分詞方法和分詞與詞性標(biāo)注相結(jié)合的方法。
幾種常用的詞典分詞方法如下所示：最少切分（是每一句中切除的詞數(shù)最小）。實(shí)際應(yīng)用中上述各種方法經(jīng)常組合使用，達(dá)到最好的效果，從而衍生出了結(jié)合正向最大匹配方法和逆向最大匹配算法的雙向匹配分詞法。由于中分詞最大的問題是歧義處理，結(jié)合中文語言自身的特點(diǎn)分詞工具分好以后關(guān)鍵詞價(jià)格，經(jīng)常采用逆向匹配的切分算法，處理的精度高于正向匹配，產(chǎn)生的切分歧義現(xiàn)象也較少。真正實(shí)用的分詞系統(tǒng)，都是把詞典分詞作為基礎(chǔ)手段，結(jié)合各種語言的其他特征信息來提高切分的效果和準(zhǔn)確度。有的實(shí)用系統(tǒng)中將分詞和詞性標(biāo)注結(jié)合起來，利用句法和詞法分析對(duì)分詞決策提高幫助，在詞性標(biāo)注過程中迭代處理，利用詞性和語法信息對(duì)分詞結(jié)果進(jìn)行檢驗(yàn)、調(diào)整。既然是基于分詞詞典的分詞方法，當(dāng)然還要考慮選擇一個(gè)好的查找詞典算法。一般有數(shù)字搜索樹，Trie算法等等。所謂的數(shù)字搜索樹（樹）就是要求樹的一個(gè)節(jié)點(diǎn)保留一個(gè)字符。如果一個(gè)單詞比一個(gè)字符長，則包含第一個(gè)字符串的節(jié)點(diǎn)有指向下一個(gè)字符的節(jié)點(diǎn)，以此類推。這樣組成一個(gè)層次結(jié)構(gòu)的樹，樹的第一層包括所有單詞的第一個(gè)字符，樹的第二層包括所有單詞的第二個(gè)字符，以此類推，數(shù)字搜索樹的最大高度是詞典中最長單詞的長度。但是這樣的樹，每一個(gè)節(jié)點(diǎn)都需要很多內(nèi)存。
假設(shè)每個(gè)詞都是由一個(gè)小寫英文字母組成的，這個(gè)節(jié)點(diǎn)中會(huì)有26個(gè)指針。所以不太可能直接用這樣的數(shù)字搜索樹來存儲(chǔ)中文這樣的大字符集。Trie樹，即三叉搜索樹，每一個(gè)節(jié)點(diǎn)包括一個(gè)字符，但只有三個(gè)指針，一個(gè)指向左邊的樹，一個(gè)指向右邊的樹，還有一個(gè)向下，指向單詞的下一個(gè)數(shù)據(jù)單元。三叉搜索樹是二叉搜索樹和數(shù)字搜索樹的混合體。它有和數(shù)字搜索樹差不多的速度但是和二叉搜索樹一樣只需要相對(duì)較少的內(nèi)存空間。單詞的讀入順序?qū)τ趧?chuàng)建平衡的三叉搜索樹很重要，但對(duì)于二叉搜索樹就不是太重要了。由于限于篇幅，這里就不寫上代碼了。基于語義理解的分詞基于語義理解的分詞方法是模擬人腦對(duì)語言和句子的理解，達(dá)到識(shí)別詞匯單元的效果。基本模式是把分詞、句法、語義分析并行進(jìn)行，利用句法和語義信息來處理分詞的歧義。一般結(jié)構(gòu)中通常包括分詞子系統(tǒng)、句法語義子系統(tǒng)、調(diào)度系統(tǒng)。在調(diào)度系統(tǒng)的協(xié)調(diào)下，分詞子系統(tǒng)可以獲得有關(guān)詞、句子等的句法和語義信息，模擬人腦對(duì)句子的理過程。基于語義理解的分詞方法需要使用大量的語言知識(shí)和信息。目前國內(nèi)外對(duì)漢語語言知識(shí)的理解和處理能力還沒有達(dá)到語義層面，具體到語言信息很難組織成機(jī)器可直接讀取、計(jì)算的形式，因此目前基于語義理解的分詞系統(tǒng)還處在試驗(yàn)階段。
基于詞頻統(tǒng)計(jì)的分詞這種做法基于人們對(duì)中文詞語的直接感覺。通常詞是穩(wěn)定的詞的組合，因此在中文文章的上下文中，相鄰的字搭配出現(xiàn)的頻率越多，就越有可能形成一個(gè)固定的詞。根據(jù)法知識(shí)可以知道，字與字相鄰?fù)瑫r(shí)出現(xiàn)的頻率或概率能夠較好地反映成詞的可信度。實(shí)際的系統(tǒng)中，通過對(duì)精心準(zhǔn)備的中文語料中相鄰共現(xiàn)的各個(gè)字的組合的頻度進(jìn)行統(tǒng)計(jì)，計(jì)算不同字詞的共現(xiàn)信息。根據(jù)兩個(gè)字的統(tǒng)計(jì)信息，計(jì)算兩個(gè)漢字的相鄰共現(xiàn)概率。統(tǒng)計(jì)處來的信息體現(xiàn)了中文環(huán)境下漢字之間結(jié)合緊密程度。當(dāng)緊密程度高于某一個(gè)閾值時(shí)，便可認(rèn)為此字組可能構(gòu)成一個(gè)詞。基于詞頻統(tǒng)計(jì)的分詞方法只需要對(duì)語料中的字組頻度進(jìn)行統(tǒng)計(jì)，不需要切分詞典，因而又叫做無詞典分詞法或統(tǒng)計(jì)分詞方法。這種方法經(jīng)常抽出一些共現(xiàn)頻度高、但并不是詞的常用字組，需要專門處理，提高精確度。實(shí)際應(yīng)用的統(tǒng)計(jì)分詞系統(tǒng)都使用一個(gè)基本的常用詞詞典，把字典分詞和統(tǒng)計(jì)分詞結(jié)合使用。基于統(tǒng)計(jì)的方法能很好地解決詞典未收錄新詞的處理問題，即將中文分詞中的串頻統(tǒng)計(jì)和串匹配結(jié)合起來，既發(fā)揮匹配分詞切分速度快、效率高的特點(diǎn)分詞工具分好以后關(guān)鍵詞價(jià)格，有利用了無詞典分詞結(jié)合上下文識(shí)別生詞、自動(dòng)消除歧義的優(yōu)點(diǎn)。分詞.0中，對(duì)分詞主要依靠類解析實(shí)現(xiàn)。
內(nèi)部主要通過類實(shí)現(xiàn)。m的兩個(gè)子類。處理單個(gè)字符組成的字符流，讀取對(duì)象中的數(shù)據(jù)，處理后轉(zhuǎn)換成詞匯單完成文本過濾器的功能，但在使用過程中必須注意不同的過濾器的使用的順序。分詞系統(tǒng)yzer能過濾詞匯中的特定字符串和詞匯，并且完成大寫轉(zhuǎn)小寫的功根據(jù)空格和符號(hào)來完成分詞，還可以完成數(shù)字、字母、E-mail地址、IP地址以及中文字符的分析處理，還可以支持過濾詞表，用來代替能夠?qū)崿F(xiàn)的過濾功能。具備基本西文字符詞匯分析的分詞器，處理詞匯單元時(shí)，以非字母字符作為分割符號(hào)。分詞器不能做詞匯的過濾，之進(jìn)行詞匯的分析和分割。輸出地詞匯單元完成小寫字符轉(zhuǎn)換，去掉標(biāo)點(diǎn)符號(hào)等分割符。在全文檢索系統(tǒng)開發(fā)中，通常用來支持西文符號(hào)的處理，不支持中文。由于不完成單詞過濾功能，所以不需要過濾詞庫支持。詞匯分割策略上簡單，使用非英文字符作為分割符，不需要分詞詞庫的支持。
使用空格作為間隔符的詞匯分割分詞器。處理詞匯單元的時(shí)候，以空格字符作為分割符號(hào)。分詞器不做詞匯過濾，也不進(jìn)行小寫字符轉(zhuǎn)換。實(shí)際中可以用來支持特定環(huán)境下的西文符號(hào)的處理。由于不完成單詞過濾和小寫字符轉(zhuǎn)換功能，也不需要過濾詞庫支持。詞匯分割策略上簡單使用非英文字符作為分割符，不需要分詞詞庫支持。把整個(gè)輸入作為一個(gè)單獨(dú)詞匯單元，方便特殊類型的文本進(jìn)行索引和檢索。針對(duì)郵政編碼，地址等文本信息使用關(guān)鍵詞分詞器進(jìn)行索引項(xiàng)建立非常方便。er內(nèi)部調(diào)用 分詞器，對(duì)中文進(jìn)行分詞，同時(shí)使用 濾器完成過濾功能，可以實(shí)現(xiàn)中文的多元切分和停用詞過濾。在.0 版本中已經(jīng)棄 功能與 分析器在處理中文是基本一致，都是切分成 單個(gè)的雙字節(jié)中文字符。在 .0 版本中已經(jīng)棄用。 功能主要用在針對(duì)不同的 Field 采用不同的 合。
比如對(duì)于文件名，需要使用 ，而對(duì)于文件內(nèi)容只使用 就可以了。通過 () 可以添加分類器。 實(shí)現(xiàn)了以詞典為基礎(chǔ)的正反向全切分，以及正反向最大匹配切分兩種方法。 是第三方實(shí)現(xiàn)的分詞器，繼承自 類，針對(duì)中文文本進(jìn)行處理。 10、 JE- JE- 的中文分詞組件，需要下載。 11、 中文分詞系統(tǒng)是 在中科院張華平和劉群老師的研制的 基礎(chǔ)上完成的一個(gè)java 開源分詞項(xiàng)目，簡化了原分詞程序的復(fù)雜度，旨在為廣大的中文分 詞愛好者一個(gè)更好的學(xué)習(xí)機(jī)會(huì)。 12、 -- -- 智能詞典 的智能中文分詞模塊，算法基于隱馬爾科夫 模型 ( Model, HMM) ，是中國科學(xué)院計(jì)算技術(shù)研究所的 中文分詞程序 的重新實(shí)現(xiàn)（基于 Java ），可以直接為 搜索引擎提供簡體中文分詞支持。
13、 中文分詞具有極 高效率 高擴(kuò)展性。引入隱喻，采用完全的面向 對(duì)象設(shè)計(jì)，構(gòu)思先進(jìn)。 其效率比較高，在 PIII 1G 內(nèi)存?zhèn)€人機(jī)器上， 秒可準(zhǔn)確分詞100 萬漢字。 采用基于不限制個(gè)數(shù)的詞典文件對(duì)文章進(jìn)行有效切分，使能夠?qū)?duì)詞匯分類定義。 能夠?qū)ξ粗脑~匯進(jìn)行合理解析。 14、 Chih- MMSeg算法 ( 實(shí)現(xiàn)的中文分詞器，并實(shí)現(xiàn) 以方便在 Solr中使用。 MMSeg 算法有兩種分詞方法： ，都是基于正向最大 匹配。 加了四個(gè)規(guī)則過慮。官方說：詞語的正確識(shí)別率達(dá)到了 98.41% 已經(jīng)實(shí)現(xiàn)了這兩種分詞算法。