基于单元的快速的大数据集离群数据挖掘算法

被引：7

作者：

王柯柯

崔贯勋

倪伟

苟光磊

机构：

[1] 重庆理工大学计算机科学与工程学院

来源：

重庆邮电大学学报(自然科学版) | 2010年 / 05期

关键词：

大数据集; 离群数据; 单元; 分块; 快速;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

提出基于单元的快速的大数据集离群数据挖掘算法,用聚簇技术对数据进行预处理,然后将数据放入合适的空间单元并对非空单元使用维单元树(cell dimension tree,CD-tree)进行索引,数据集中大部分位于高密度区且与离群数据无关的数据将会被过滤掉,从而避免了大量不必要的计算。实验表明,该算法能快速准确地从大数据集中挖掘出离群数据,并提高离群数据的检测速度。

引用

收藏

页码：673 / 677

页数：5

相关论文

共 10 条

[1] 快速的基于单元格的离群数据挖掘算法 [J].

崔贯勋 ;

李梁 ;

王勇 ;

倪伟 ;

黄丽丰 .

计算机应用, 2009, 29 (12) :3300-3302

[2] 离群点挖掘研究 [J].

徐翔 ;

刘建伟 ;

罗雄麟 .

计算机应用研究, 2009, 26 (01) :34-40

[3] 基于Rough集的数据挖掘在教学评价中的应用 [J].

周玉敏 .

重庆邮电大学学报(自然科学版), 2008, (05) :627-630

[4] 一种基于相关度统计的告警关联规则挖掘算法 [J].

徐前方 ;

肖波 ;

郭军 .

北京邮电大学学报, 2007, (01) :66-70

[5] 基于方形邻域的离群点查找新方法 [J].

黄添强 ;

秦小麟 ;

叶飞跃 .

控制与决策, 2006, (05) :541-545+554

[6] SUDBC:一种基于空间单元密度的快速聚类算法 [J].

刘晓影 ;

王国仁 .

小型微型计算机系统, 2005, (12) :2216-2220

[7] 一种基于磁盘的大数据集快速异常检测算法 [J].

赵法信 ;

鲍玉斌 ;

孙焕良 ;

于戈 ;

王大玲 .

小型微型计算机系统, 2005, (11) :68-71

[8] 一种改进的基于密度和网格的高维聚类算法 [J].

朱倩 ;

黄志军 .

舰船电子工程, 2005, (05) :55-56+59

[9] 基于数据挖掘的网络型误用入侵检测系统研究 [J].

宋世杰 ;

胡华平 ;

胡笑蕾 ;

金士尧 .

重庆邮电学院学报(自然科学版), 2004, (01) :21-26

[10]

Distance-based outliers: algorithms and applications[J] . Edwin M. Knorr,Raymond T. Ng,Vladimir Tucakov.The VLDB Journal . 2000 (3-4)