回溯正向匹配中文分词算法

被引：13

作者：

张劲松

袁健

机构：

[1] 上海理工大学计算机与电气工程学院

来源：

计算机工程与应用 | 2009年 / 22期

关键词：

中文分词; 最大匹配法; 回溯匹配; 交集型歧义;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

在最大匹配法(The Maximum Matching Method)的基础上,提出了一种回溯正向匹配(The Backtracking Matching Method)的中文分词方法。该方法首先对待切文本进行预处理,将文本分割成长度较短的细粒度文本;利用正向匹配、回溯匹配和尾词匹配来有效发现歧义字段;利用长词优先兼顾2词簇的方式对交集型歧义字段进行切分。最后对该算法进行的定性分析说明了该方法的先进性,从随机抽取大量语料实验结果上证明了该方法的有效性。

引用

页码：132 / 134

页数：3

共 9 条

[1] 基于反序词典的中文分词技术研究 [J].