在使用 solr/lucene 的时候，对于中文，大家都使用什么Analyzer

Question

现在要在 solr 上做搜索相关的工作，但对于中文，不知道用哪个分词器好？最早在使用lucene 的时候用过 Paoding (庖丁 http://code.google.com/p/paoding/),然后也用过 IKAnalyzer(http://code.google.com/p/ik-analyzer/),但都只是试用，没有在正式产品中用过。不知道大家都用什么样的分词器？或者有什么推介的？

Answer 1

我推荐使用中文分词工具IKAnalyzer。

简介：独立于Lucene项目，同时提供了对Lucene的默认优化实现。结合词典分词和文法分析算法的中文分词组件,采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式。

IKAnalyzer对solr有很好的支持，更新很快，现在已有版本能支持solr的最新版本4.0。

下载地址：http://code.google.com/p/ik-analyzer/downloads/list

Answer 2

分词这种东西还是要看场景的..算法大家都差不多了..CRF 、HMM之类的很多分词器都在用..我觉得还是字典才是王道啊...哈哈..
推荐分词器的话..我建议用ICTCLAS...中科院开发的..不过是基于c/cpp的..java使用的话可能要用JNI来调用..而且也有商用版本.
如果你需求不是很强烈..或者没什么条件购买之类的..那么用这个吧http://code.google.com/p/imdict-chine...
这个也是基于ICTCLAS的实现的HMM思想..but free...我毕业设计的时候用的就是这个..足够了..