大数据系统综述

被引：460

作者：

李学龙 ^{[1
]}

龚海刚 ^{[2
]}

机构：

[1] 中国科学院西安光学精密机械研究所光学影像分析与学习中心 (OPTIMAL)

[2] 电子科技大学计算机科学与工程学院

来源：

中国科学:信息科学 | 2015年 / 45卷 / 01期

关键词：

大数据; 数据获取; 数据存储; 数据处理; 数据分析;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

随着科学、技术和工程的迅猛发展,近20年来,许多领域(如光学观测、光学监控、健康医护、传感器、用户数据、互联网和金融公司以及供应链系统)都产生了海量的数据(更恰当的描述或许是"无限"的数据,例如,在光学观测和监控等应用中,数据都是源源不断而来的,形成了"数据灾难"),大数据的概念也随之再次引起重视.与传统的数据相比,除了大容量等表象特点,大数据还具有其他独特的特点,例如大数据通常是无结构的,并且需要得到实时分析,因此大数据的发展需要全新的体系架构,用于处理大规模数据的获取、传输、存储和分析.本文对大数据分析平台进行了尽可能详尽的文献调研,首先介绍了大数据的基本定义和大数据面临的一些挑战;然后提出了大数据系统框架,将大数据系统分解为数据生成、数据获取、数据存储和数据分析等4个模块,这4个模块也构成了大数据价值链;随后讨论了学术界和工业界中和大数据相关的方法和机制;最后介绍了典型的大数据系统基准和大数据的一些科学问题.本文意图为非专业读者提供大数据的全景知识,也为高级读者定制自己的大数据解决方案提供辅助思想,希望能够对大数据相关的科技和工程人员起到一些参考作用.

引用

页码：1 / 44

页数：44

共 49 条

[1] PDMiner:基于云计算的并行分布式数据挖掘工具平台 [J].

何清 ;

庄福振 ;

曾立 ;

赵卫中 ;

谭庆 .

中国科学:信息科学, 2014, 44 (07) :871-885

[2] 大规模互联网图像检索与模式挖掘 [J].

张磊 .

中国科学:信息科学, 2013, 43 (12) :1641-1653

[3]

A general method of spatio-temporal clustering analysis[J]. DENG Min,LIU QiLiang,WANG JiaQiu,SHI Yan.Science China(Information Sciences). 2013(10)

[4]

TabuVis:A tool for visual analytics multidimensional datasets[J]. NGUYEN Quang Vinh,QIAN Yu,HUANG MaoLin,ZHANG JiaWan.Science China(Information Sciences). 2013(05)

[5]

Topic hypergraph:hierarchical visualization of thematic structures in long documents[J]. WANG GuiZhen,WEN ChaoKai,YAN BingHui,XIE Cong,LIANG RongHua,CHEN Wei.Science China(Information Sciences). 2013(05)

[6]

Phylogenetic networks: a new form of multivariate data summary for data mining and exploratory data analysis[J] . David A. Morrison.WIREs Data Mining Knowl Discov . 2014 (4)

[7]

Research of a MapReduce Model to Process the Traffic Big Data[J] . Wen Chuan Yang,He Chen,Qing Yi Qu.Applied Mechanics and Materials . 2014 (548)

[8]

Hybrid aggregates[J] . John D. Strunk.ACM SIGOPS Operating Systems Review . 2012 (3)

[9]

Assistive tagging[J] . Meng Wang,Bingbing Ni,Xian-Sheng Hua,Tat-Seng Chua.ACM Computing Surveys (CSUR) . 2012 (4)

[10]

Big data platforms: What's next?[J] . Vinayak R. Borkar,Michael J. Carey,Chen Li.XRDS: Crossroads, The ACM Magazine for Students . 2012 (1)

← 1 2 3 4 5 →