基于Map-Reduce的海量数据高效Skyline查询处理

被引:45
作者
丁琳琳
信俊昌
王国仁
黄山
机构
[1] 医学影像计算教育部重点实验室(东北大学)
[2] 东北大学信息科学与工程学院
基金
国家杰出青年科学基金; 国家自然科学基金重点项目;
关键词
云计算; Skyline查询; Map-Reduce; 海量数据; Hadoop;
D O I
暂无
中图分类号
TP311.13 [];
学科分类号
1201 ;
摘要
Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性.
引用
收藏
页码:1785 / 1796
页数:12
相关论文
共 3 条
[1]   MapReduce框架下的Skyline计算 [J].
张波良 ;
周水庚 ;
关佶红 .
计算机科学与探索, 2011, (05) :385-397
[2]   Skyline查询处理 [J].
魏小娟 ;
杨婧 ;
李翠平 ;
陈红 .
软件学报, 2008, (06) :1386-1400
[3]   基于高维空间的在线高效子空间Skyline算法——CSky [J].
周红福 ;
宫学庆 ;
郑凯 ;
周傲英 .
计算机学报, 2007, (08) :1409-1417