共 3 条
基于Map-Reduce的海量数据高效Skyline查询处理
被引:45
作者:
丁琳琳
信俊昌
王国仁
黄山
机构:
[1] 医学影像计算教育部重点实验室(东北大学)
[2] 东北大学信息科学与工程学院
来源:
基金:
国家杰出青年科学基金;
国家自然科学基金重点项目;
关键词:
云计算;
Skyline查询;
Map-Reduce;
海量数据;
Hadoop;
D O I:
暂无
中图分类号:
TP311.13 [];
学科分类号:
1201 ;
摘要:
Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性.
引用
收藏
页码:1785 / 1796
页数:12
相关论文