云计算环境下面向数据密集型应用的数据布局策略与方法

被引:129
作者
郑湃
崔立真
王海洋
徐猛
机构
[1] 山东大学计算机科学与技术学院
基金
高等学校博士学科点专项科研基金;
关键词
云计算; 流程; 数据密集; 数据布局; 数据依赖;
D O I
暂无
中图分类号
TP393.09 [];
学科分类号
080402 ;
摘要
云计算环境下面向流程的数据密集型应用已被广泛应用于多个领域.面对多数据中心的云计算环境,这类应用在数据布局方面遇到了新的挑战,主要表现在如何减少跨数据中心的数据传输、如何保持数据间的依赖性以及如何在提高效率的同时兼顾全局的负载均衡等.针对这些挑战,文中提出一种三阶段数据布局策略,分别针对跨数据中心数据传输、数据依赖关系和全局负载均衡三个目标对数据布局方案进行求解和优化.实验显示,文中提出的数据布局策略具有良好的综合性能,特别是在降低流程执行过程中由跨数据中心数据传输所导致的时间开销方面,效果尤为明显.
引用
收藏
页码:1472 / 1480
页数:9
相关论文
共 4 条
[1]   A data placement strategy in scientific cloud workflows [J].
Yuan, Dong ;
Yang, Yun ;
Liu, Xiao ;
Chen, Jinjun .
FUTURE GENERATION COMPUTER SYSTEMS-THE INTERNATIONAL JOURNAL OF ESCIENCE, 2010, 26 (08) :1200-1214
[2]   Programming scientific and distributed workflow with Triana services [J].
Churches, David ;
Gombas, Gabor ;
Harrison, Andrew ;
Maassen, Jason ;
Robinson, Craig ;
Shields, Matthew ;
Taylor, Ian ;
Wang, Ian .
CONCURRENCY AND COMPUTATION-PRACTICE & EXPERIENCE, 2006, 18 (10) :1021-1037
[3]   Scheduling of scientific workflows in the ASKALON Grid environment. [J].
Wieczorek, M ;
Prodan, R ;
Fahringer, T .
SIGMOD RECORD, 2005, 34 (03) :56-62
[4]  
The Google file system[J] . Sanjay Ghemawat,Howard Gobioff,Shun-Tak Leung.ACM SIGOPS Operating Systems Review . 2003 (5)