基于层叠隐马模型的汉语词法分析

被引：192

作者：

刘群

张华平

俞鸿魁

程学旗

机构：

[1] 中国科学院计算技术研究所,中国科学院计算技术研究所,中国科学院计算技术研究所,中国科学院计算技术研究所北京,北京大学计算语言学研究所北京,北京,中国科学院研究生院北京,北京,北京

来源：

计算机研究与发展 | 2004年 / 08期

关键词：

汉语词法分析; 分词; 词性标注; 未登录词识别; 层叠隐马模型; ICTCLAS;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理]; TP391.2 [翻译机];

学科分类号：

081203 ; 0835 ;

摘要：

提出了一种基于层叠隐马模型的汉语词法分析方法 ,旨在将汉语分词、词性标注、切分排歧和未登录词识别集成到一个完整的理论框架中在分词方面 ,采取的是基于类的隐马模型 ,在这层隐马模型中 ,未登录词和词典中收录的普通词一样处理未登录词识别引入了角色HMM :Viterbi算法标注出全局最优的角色序列 ,然后在角色序列的基础上 ,识别出未登录词 ,并计算出真实的可信度在切分排歧方面 ,提出了一种基于N 最短路径的策略 ,即 :在早期阶段召回N个最佳结果作为候选集 ,目的是覆盖尽可能多的歧义字段 ,最终的结果会在未登录词识别和词性标注之后 ,从N个最有潜力的候选结果中选优得到不同层面的实验表明 ,层叠隐马模型的各个层面对汉语词法分析都发挥了积极的作用实现了基于层叠隐马模型的汉语词法分析系统ICTCLAS ,该系统在 2 0 0 2年的“九七三”专家组评测中获得第 1名 ,在 2 0 0 3年汉语特别兴趣研究组 (ACLSpecialInterestGrouponChineseLanguageProcessing ,SIGHAN)组织的第 1届国际汉语分词大赛中综合得分获得两项第 1名、一项第 2名这表明 :ICTCLAS是目前最好的汉语词法分析系统之一 ,层叠隐马模型能够解决好汉语词法问题

引用

页码：1421 / 1429

页数：9

共 5 条

[1]

基于三元统计模型的汉语分词及标注一体化研究.[A].高山;张艳;徐波;宗成庆;韩兆兵;.全国第六届计算语言学联合学术会议.2001,

[2] 基于角色标注的中国人名自动识别研究 [J].