面向数据质量的ETL过程建模与实现

被引：18

作者：

贾自艳

黄友平

罗平

李嘉佑

秦亮曦

史忠植

机构：

[1] 中国科学院计算技术研究所智能信息处理重点实验室,中国科学院计算技术研究所智能信息处理重点实验室,中国科学院计算技术研究所智能信息处理重点实验室,中国科学院计算技术研究所智能信息处理重点实验室,中国科学院计算技术研究所智能信息处理重点实验室,中国科学院计算技术研究所智能信息处理重点实验室北京中国科学院研究生院,北京,北京中国科学院研究生院,北京,北京中国科学院研究生院,北京,北京中国科学院研究生院,北京,北京中国科学院研究生院,北京,北京

来源：

系统仿真学报 | 2004年 / 05期

关键词：

数据仓库; 数据质量; 抽取-转换-装载(ETL); 数据挖掘; 数据清洗;

D O I：

10.16182/j.cnki.joss.2004.05.012

中图分类号：

TP311 [程序设计、软件工程];

学科分类号：

081202 ; 0835 ;

摘要：

为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。

引用

页码：907 / 911+914 +914

页数：6

共 5 条

[1] 多策略通用数据采掘工具MSMiner [J].

游湘涛 ;

叶施仁 ;

史忠植 .

计算机研究与发展, 2001, (05) :581-586

[2]

知识发现[M]. 清华大学出版社 , 史忠植著, 2002

[3] Towards quality-oriented data warehouse usage and evolution [J].

Vassiliadis, P ;

Bouzeghoub, M ;

Quix, C .

INFORMATION SYSTEMS, 2000, 25 (02) :89-115

[4]

Architecture and quality in data warehouses: An extended repository approach[J] . Matthias Jarke,Manfred A. Jeusfeld,Christoph Quix,Panos Vassiliadis.Information Systems . 1999 (3)

[5]

A Model for Data Warehouse Operational Processes. P. Vassiliadis,C. Quix,Y. Vassiliou. Proceedings of The 12th Conference on Advanced Information Systems Engineering （CaiSE’00） . 2000

← 1 →