开源的中文分词系统简介(下)

SCWS – 简易中文分词系统

  SCWS 在概念上并无创新成分，采用的是自行采集的词频词典，并辅以一定程度上的专有名称、人名、地名、数字年代等规则集，经小范围测试大概准确率在 90% ~ 95% 之间，已能基本满足一些中小型搜索引擎、关键字提取等场合运用。 SCWS 采用纯 C 代码开发，以 Unix-Like OS 为主要平台环境，提供共享函数库，方便植入各种现有软件系统。此外它支持 GBK，UTF-8，BIG5 等汉字编码，切词效率高。

系统平台：Windows/Unix

开发语言：C

使用方式：PHP扩展

演示网址：http://www.ftphp.com/scws/demo.php

开源官网：http://www.ftphp.com/scws/

附注：作为PHP扩展，容易与现有的基于PHP架构的Web系统继续集成，是其一大优势。

PhpanAlysis - PHP无组件分词系统

  PhpanAlysis分词系统是基于字符串匹配的分词方法 ，这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。按照扫描方向的不同，串匹配分词方法可以分为正向匹配 和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。

系统平台：PHP环境

开发语言：PHP

使用方式：HTTP服务

演示网址：http://www.itgrass.com/phpanalysis/

开源官网：http://www.itgrass.com/phpanalysis/

附注：实现简单，容易使用，能做一些简单应用，但大数据量的计算效率不如前几种。

试用了几个系统，基本分词功能都没什么问题，只是在个别一些词的划分上存在一些差异；对于词性的确定，系统间有所不同。

MMSEG4J　　

  MMSEG4J基于Java的开源中文分词组件，提供lucene和solr 接口

　　1）、mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法实现的中文分词器，并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。

　　2）、MMSeg 算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex 加了四个规则过虑。官方说：词语的正确识别率达到了 98.41%。mmseg4j 已经实现了这两种分词算法。

盘古分词　　

盘古分词是一个基于.net 平台的开源中文分词组件，提供lucene(.net 版本) 和HubbleDotNet的接口

　　高效：Core Duo 1.8 GHz 下单线程 分词速度为 390K 字符每秒

　　准确：盘古分词采用字典和统计结合的分词算法，分词准确率较高。

　　功能：盘古分词提供中文人名识别，简繁混合分词，多元分词，英文词根化，强制一元分词，词频优先分词，停用词过滤，英文专名提取等一系列功能。

IKAnalyzer  开源的轻量级中文分词工具包

  IKAnalyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

  IKAnalyzer3.0特性:

采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。

采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。优化的词典存储，更小的内存占用。

支持用户词典扩展定义，针对Lucene全文检索优化的查询分析器IKQueryParser(作者吐血推荐)；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene检索的命中率。