java中文分词组件-word分词

标签: java 中文分词 word | 发表时间:2014-05-06 13:33 | 作者:zhaoshijie
出处:http://www.iteye.com


关键字:java中文分词组件-word分词


word分词器主页 :https://github.com/ysc/word



word分词是一个Java实现的中文分词组件,提供了多种基于词典的分词算法,并利用ngram模型来消除歧义。 能准确识别英文、数字,以及日期、时间等数量词,能识别人名、地名、组织机构名等未登录词。 同时提供了Lucene、Solr、ElasticSearch插件。

分词使用方法:


  1、快速体验
  运行项目根目录下的脚本demo-word.bat可以快速体验分词效果
  用法: command [text] [input] [output]
  命令command的可选值为:demo、text、file
  demo
  text 杨尚川是APDPlat应用级产品开发平台的作者
  file d:/text.txt d:/word.txt
  exit

  2、对文本进行分词
  移除停用词:List<Word> words = WordSegmenter.seg("杨尚川是APDPlat应用级产品开发平台的作者");
  保留停用词:List<Word> words = WordSegmenter.segWithStopWords("杨尚川是APDPlat应用级产品开发平台的作者");
  System.out.println(words);


  输出:
  移除停用词:[杨尚川, apdplat, 应用级, 产品, 开发平台, 作者]
  保留停用词:[杨尚川, 是, apdplat, 应用级, 产品, 开发平台, 的, 作者]

  3、对文件进行分词
  String input = "d:/text.txt";
  String output = "d:/word.txt";
  移除停用词:WordSegmenter.seg(new File(input), new File(output));
  保留停用词:WordSegmenter.segWithStopWords(new File(input), new File(output));

  4、自定义配置文件
  默认配置文件为类路径下的word.conf,打包在word-x.x.jar中
  自定义配置文件为类路径下的word.local.conf,需要用户自己提供
  如果自定义配置和默认配置相同,自定义配置会覆盖默认配置
  配置文件编码为UTF-8


  5、自定义用户词库
  自定义用户词库为一个或多个文件夹或文件,可以使用绝对路径或相对路径
  用户词库由多个词典文件组成,文件编码为UTF-8
  词典文件的格式为文本文件,一行代表一个词
  可以通过系统属性或配置文件的方式来指定路径,多个路径之间用逗号分隔开
  类路径下的词典文件,需要在相对路径前加入前缀classpath:


  指定方式有三种:
  指定方式一,编程指定(高优先级):
  WordConfTools.set("dic.path", "classpath:dic.txt,d:/custom_dic");
  DictionaryFactory.reload();//更改词典路径之后,重新加载词典
  指定方式二,Java虚拟机启动参数(中优先级):
  java -Ddic.path=classpath:dic.txt,d:/custom_dic
  指定方式三,配置文件指定(低优先级):
  使用类路径下的文件word.local.conf来指定配置信息
  dic.path=classpath:dic.txt,d:/custom_dic

  如未指定,则默认使用类路径下的dic.txt词典文件

  6、自定义停用词词库
  使用方式和自定义用户词库类似,配置项为:
  stopwords.path=classpath:stopwords.txt,d:/custom_stopwords_dic

  7、自动检测词库变化
  可以自动检测自定义用户词库和自定义停用词词库的变化
  包含类路径下的文件和文件夹、非类路径下的绝对路径和相对路径
  如:
  classpath:dic.txt,classpath:custom_dic_dir,
  d:/dic_more.txt,d:/DIC_DIR,D:/DIC2_DIR,my_dic_dir,my_dic_file.txt


  classpath:stopwords.txt,classpath:custom_stopwords_dic_dir,
  d:/stopwords_more.txt,d:/STOPWORDS_DIR,d:/STOPWORDS2_DIR,stopwords_dir,remove.txt


  8、显式指定分词算法
  对文本进行分词时,可显式指定特定的分词算法,如:
  WordSegmenter.seg("APDPlat应用级产品开发平台", SegmentationAlgorithm.BidirectionalMaximumMatching);


  SegmentationAlgorithm的可选类型为:
  正向最大匹配算法:MaximumMatching
  逆向最大匹配算法:ReverseMaximumMatching
  正向最小匹配算法:MinimumMatching
  逆向最小匹配算法:ReverseMinimumMatching
  双向最大匹配算法:BidirectionalMaximumMatching
  双向最小匹配算法:BidirectionalMinimumMatching
  双向最大最小匹配算法:BidirectionalMaximumMinimumMatching

  9、分词效果评估
  运行项目根目录下的脚本evaluation.bat可以对分词效果进行评估
  评估采用的测试文本有253 3709行,共2837 4490个字符
  评估结果位于target/evaluation目录下:
  corpus-text.txt为分好词的人工标注文本,词之间以空格分隔
  test-text.txt为测试文本,是把corpus-text.txt以标点符号分隔为多行的结果
  standard-text.txt为测试文本对应的人工标注文本,作为分词是否正确的标准
  result-text-***.txt,***为各种分词算法名称,这是word分词结果
   perfect-result-***.txt,***为各种分词算法名称,这是分词结果和人工标注标准完全一致的文本
   wrong-result-***.txt,***为各种分词算法名称,这是分词结果


Lucene插件:

  1、构造一个word分析器ChineseWordAnalyzer
  Analyzer analyzer = new ChineseWordAnalyzer();

  2、利用word分析器切分文本
  TokenStream tokenStream = analyzer.tokenStream("text", "杨尚川是APDPlat应用级产品开发平台的作者");
  while(tokenStream.incrementToken()){
  CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);
  OffsetAttribute offsetAttribute = tokenStream.getAttribute(OffsetAttribute.class);
  System.out.println(charTermAttribute.toString()+" "+offsetAttribute.startOffset());
  }


  3、利用word分析器建立Lucene索引
  Directory directory = new RAMDirectory();
  IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_47, analyzer);
  IndexWriter indexWriter = new IndexWriter(directory, config);





  4、利用word分析器查询Lucene索引
  QueryParser queryParser = new QueryParser(Version.LUCENE_47, "text", analyzer);
  Query query = queryParser.parse("text:杨尚川");
  TopDocs docs = indexSearcher.search(query, Integer.MAX_VALUE);




Solr插件:


  1、生成分词组件二进制jar
  执行 mvn clean install 生成word中文分词组件target/word-1.0.jar


  2、创建目录solr-4.7.1/example/solr/lib,将target/word-1.0.jar文件复制到lib目录


  3、配置schema指定分词器
  将solr-4.7.1/example/solr/collection1/conf/schema.xml文件中所有的
  <tokenizer class="solr.WhitespaceTokenizerFactory"/>和
  <tokenizer class="solr.StandardTokenizerFactory"/>全部替换为
  <tokenizer class="org.apdplat.word.solr.ChineseWordTokenizerFactory"/>
  并移除所有的filter标签

  4、如果需要使用特定的分词算法:
  <tokenizer class="org.apdplat.word.solr.ChineseWordTokenizerFactory" segAlgorithm="ReverseMinimumMatching"/>
  segAlgorithm可选值有:
  正向最大匹配算法:MaximumMatching
  逆向最大匹配算法:ReverseMaximumMatching
  正向最小匹配算法:MinimumMatching
  逆向最小匹配算法:ReverseMinimumMatching
  双向最大匹配算法:BidirectionalMaximumMatching
  双向最小匹配算法:BidirectionalMinimumMatching
  双向最大最小匹配算法:BidirectionalMaximumMinimumMatching
  如不指定,默认使用双向最大匹配算法:BidirectionalMaximumMatching

  5、如果需要指定特定的配置文件:
  <tokenizer class="org.apdplat.word.solr.ChineseWordTokenizerFactory" segAlgorithm="ReverseMinimumMatching"
  conf="C:/solr-4.7.0/example/solr/nutch/conf/word.local.conf"/>
  word.local.conf文件中可配置的内容见 word-1.0.jar 中的word.conf文件
  如不指定,使用默认配置文件,位于 word-1.0.jar 中的word.conf文件




ElasticSearch插件:


  1、执行命令: mvn clean install dependency:copy-dependencies


  2、创建目录elasticsearch-1.1.0/plugins/word


  3、将中文分词库文件target/word-1.0.jar和依赖的日志库文件
  target/dependency/slf4j-api-1.6.4.jar
  target/dependency/logback-core-0.9.28.jar
  target/dependency/logback-classic-0.9.28.jar
  复制到刚创建的word目录


  4、修改文件elasticsearch-1.1.0/config/elasticsearch.yml,新增如下配置:
  index.analysis.analyzer.default.type : "word"
  index.analysis.tokenizer.default.type : "word"


  5、启动ElasticSearch测试效果,在Chrome浏览器中访问:
  http://localhost:9200/_analyze?analyzer=word&text=杨尚川是APDPlat应用级产品开发平台的作者


  6、自定义配置
  从word-1.0.jar中提取配置文件word.conf,改名为word.local.conf,放到elasticsearch-1.1.0/plugins/word目录下


  7、指定分词算法
  修改文件elasticsearch-1.1.0/config/elasticsearch.yml,新增如下配置:
  index.analysis.analyzer.default.segAlgorithm : "ReverseMinimumMatching"
  index.analysis.tokenizer.default.segAlgorithm : "ReverseMinimumMatching"


  这里segAlgorithm可指定的值有:
  正向最大匹配算法:MaximumMatching
  逆向最大匹配算法:ReverseMaximumMatching
  正向最小匹配算法:MinimumMatching
  逆向最小匹配算法:ReverseMinimumMatching
  双向最大匹配算法:BidirectionalMaximumMatching
  双向最小匹配算法:BidirectionalMinimumMatching
  双向最大最小匹配算法:BidirectionalMaximumMinimumMatching
  如不指定,默认使用双向最大匹配算法:BidirectionalMaximumMatching

词向量:

  从大规模语料中统计一个词的上下文相关词,并用这些上下文相关词组成的向量来表达这个词。
  通过计算词向量的相似性,即可得到词的相似性。
  相似性的假设是建立在如果两个词的上下文相关词越相似,那么这两个词就越相似这个前提下的。

  通过运行项目根目录下的脚本demo-word-vector-corpus.bat来体验word项目自带语料库的效果


  如果有自己的文本内容,可以使用脚本demo-word-vector-file.bat来对文本分词、建立词向量、计算相似性


已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [java 中文分词 word] 推荐:

java中文分词组件-word分词

- - 研发管理 - ITeye博客
关键字:java中文分词组件-word分词. word分词器主页 :https://github.com/ysc/word. word分词是一个Java实现的中文分词组件,提供了多种基于词典的分词算法,并利用ngram模型来消除歧义. 能准确识别英文、数字,以及日期、时间等数量词,能识别人名、地名、组织机构名等未登录词.

Jcseg java中文分词器

- - 企业架构 - ITeye博客
Jcseg[dʒɛ'​ke'sɛ]完整版本(源码, 词库, 帮助文档, 词库管理工具, jar文件)下载:  http://sourceforge.net/projects/jcseg . jcseg是使用Java开发的一个开源中文分词器,使用流行的mmseg算法实现,并且提供了最高版本的lucene, solr, elasticsearch(New)的分词接口..

java导出word之freemarker导出

- - 企业架构 - ITeye博客
       一,简单模板导出(不含图片, 不含表格循环).          1, 新建一个word文档, 输入如下类容:.          2, 将该word文件另存为xml格式(注意是另存为,不是直接改扩展名).          3, 将xml文件的扩展名直接改为ftl.          4, 用java代码完成导出(需要导入freemarker.jar).

使用Java基于数据流直接抽取word文本

- - 脚本爱好者
如下代码是直接基于数据流进行文本抽取,支持word97-word2003版本,之后的版本实际都是xml,抽取文本非常简单,因此在此处不再说明,代码仅供研究学习使用,禁止用于商业用途.

jcseg-1.9.2 发布 - Java开源轻量级中文分词器+里程碑版本

- - 开源中国社区最新新闻
jcseg是使用java开发的一款轻量级的开源中文分词器, 并且提供了最新版本的lucene和solr分词接口.. jcseg-1.9.2更新内容:. 配置文件中词库多目录加载, 多个目录使用';'隔开..     例如:在jcseg.properties中设置lexicon.path=/java/jcseg/lex1;/java/jcseg/lex2.

word wrap 解惑

- 大狗 - Taobao UED Team
我们经常需要“修复”一个老生常谈的“bug”,那就是文本的自动换行问题. 在专业术语上,这种期望得到的渲染现象被称作“word wrap”,即文本处理器有能力把超出页边的整个词自动传到下一行. 在现实项目中,尤其是在测试阶段,鉴于测试使用非常极端的测试用例,我们经常需要“修复”如图所示的这个问题:.

Struts导出word

- - CSDN博客Web前端推荐文章
 * @param tableSize 多少列(列数). // 设置 Table 表格. aTable.setWidths(width);// 设置每列所占比例. aTable.setWidth(100); // 占页面宽度 90%. aTable.setAlignment(Element.ALIGN_CENTER);// 居中显示.

freemarker生成word

- - 开源软件 - ITeye博客
freemarker生成word.          利用freemarker生成word,在项目中有用到,就单独写个测试以及用法列出来,欢迎圈错,共同学习.       一、应用场景和效果图.             1.应用场景:.                    a.xx项目里面需要定期生成xx报告,记录最近xx情况.

11大Java开源中文分词器的使用方法和分词效果对比

- - ImportNew
1、学会使用11大Java开源中文分词器. 2、对比分析11大Java开源中文分词器的分词效果. 本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码,至于效果哪个好,那要用的人结合自己的应用场景自己来判断. 11大Java开源中文分词器,不同的分词器有不同的用法,定义的接口也不一样,我们先定义一个统一的接口:.

Word操作技巧(一)

- Gene - 完美Excel
上周在分部内为同事进行了一场Word操作技巧培训,引起了大家比较强烈的反响,很多人都惊讶于每天使用的Word有如此多的技巧和功能,对Word又有了重新的认识. 通过这次培训,也使我认识到,虽然大家经常使用Word,但对其的了解还远远不够,以致于如此一款优秀的软件,没有得到很好的使用,甚至得到了许多误解.