朴素并行LDA

被引：9

作者：

高阳

严建峰

刘晓升

机构：

[1] 苏州大学计算机科学与技术学院

来源：

计算机科学 | 2015年 / 42卷 / 06期

关键词：

潜在狄利克雷分配; 并行; 加速优化;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

并行潜在狄利克雷分配(LDA)主题模型在计算与通信两方面的时间消耗较大,导致训练模型的时间过长,因而无法被广泛应用。提出朴素并行LDA算法,针对计算和通信分别提出改进方法。一方面通过加入单词影响因子以及设置阈值的方法来降低文本训练的粒度,另一方面通过降低通信频率来减少通信时间。实验结果表明,优化后的并行LDA在保证精度损失为1%的前提下,将训练速度提高了36%,有效提高了并行的加速比。

引用

页码：243 / 246

页数：4