基于云计算技术的电力大数据预处理属性约简方法

被引:93
作者
曲朝阳
陈帅
杨帆
朱莉
机构
[1] 东北电力大学信息工程学院
关键词
电力大数据; MapReduce; 粗糙集; 属性约简;
D O I
暂无
中图分类号
TP18 [人工智能理论]; TM769 [电子计算机在电力系统中的应用];
学科分类号
081104 ; 0812 ; 0835 ; 1405 ; 080802 ;
摘要
针对大数据时代下电网数据体量大、类型多、速度快的特点,传统的属性约简方法已经无法完成对电力大数据的预处理,为此提出一种基于云计算技术的电力大数据预处理属性约简方法。该方法剖析了粗糙集中相对正域理论的特性,利用MapReduce模型设计了可以并行计算正域中元素个数的属性约简算法MPPOSRS。最后,在Hadoop平台上对电网故障诊断表和风电实测数据进行属性约简,实验结果表明,该方法有效可行,并具有较好的加速比和可扩展性,适用于电力大数据预处理属性约简。
引用
收藏
页码:67 / 71
页数:5
相关论文
共 12 条
[1]   基于样例选取的属性约简算法 [J].
王熙照 ;
王婷婷 ;
翟俊海 .
计算机研究与发展 , 2012, (11) :2305-2310
[2]   基于Hadoop的广域测量系统数据处理 [J].
曲朝阳 ;
朱莉 ;
张士林 .
电力系统自动化, 2013, 37 (04) :92-97
[3]   变精度粗糙集的属性核和最小属性约简算法 [J].
陈昊 ;
杨俊安 ;
庄镇泉 .
计算机学报, 2012, 35 (05) :1011-1017
[4]   基于冲突域的高效属性约简算法 [J].
葛浩 ;
李龙澍 ;
杨传健 .
计算机学报, 2012, 35 (02) :2342-2350
[5]   基于MapReduce的Skyline-join查询算法 [J].
孙大烈 ;
李建中 .
哈尔滨工业大学学报, 2012, 44 (01) :103-106
[6]   基于粗糙集理论的中长期风速预测 [J].
高爽 ;
冬雷 ;
高阳 ;
廖晓钟 .
中国电机工程学报, 2012, 32 (01) :32-37+21
[7]   云计算环境下知识约简算法 [J].
钱进 ;
苗夺谦 ;
张泽华 .
计算机学报, 2011, 34 (12) :2332-2343
[8]   大数据分析——RDBMS与MapReduce的竞争与共生 [J].
覃雄派 ;
王会举 ;
杜小勇 ;
王珊 .
软件学报, 2012, 23 (01) :32-45
[9]   基于SQL的粗糙集属性约简方法 [J].
姜广 ;
曹付元 ;
张倚弛 ;
高嘉伟 .
计算机工程, 2008, (11) :69-71
[10]   属性序下的快速约简算法 [J].
胡峰 ;
王国胤 .
计算机学报, 2007, (08) :1429-1435