| 【中文题名】 | 基于工作流和元数据的ETL工具研究与实现 |
| 【英文题名】 | The Research and Implement about ETL Tool Based on Workflow and Metadata |
| 【学科专业】 | 计算机应用技术 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2007-11-12 |
| 【中关键词】 | ETL,工作流,元数据,数据清洗,数据转换,数据映射 |
| 【英关键词】 | etl,work flow,metadata,data cleaning,data transformation,data mapping, |
| 【分类导航】 | 工业技术>自动化技术、计算机技术>计算技术、计算机技术>计算机软件>程序设计、软件工程>软件工程 |
| 【论文摘要】 |
在全球经济一体化的背景下,随着互联网和信息技术的快速发展,企业建设相应的信息化系统成了必然趋势。然而,企业在信息化建设的过程中,大都实施了许多不同的企业应用系统。因此,各企业为了解决信息孤岛问题,必然要加强企业内各部门之间、企业间信息系统的资源共享和应用集成,从而信息的采集和分析管理成为了关键。ETL(Extract-Transform-Load)工具就是通过对不同的数据存储格式进行抽取、转换、加载来为数据仓库提供数据,进而达到资源的共享,为决策提供数据支持。可以说,ETL工具是从数据集成的角度来解决信息孤岛问题的。
根据论文的研究目标,本文论述了一种基于工作流和元数据的ETL工具的研究与实现。论文首先介绍了ETL工具的相关背景知识,并分析了ETL工具的研究现状,根据当前异构数据源的特点,提出基于通用数据访问技术(ADO.NET)的ETL系统的体系架构。该ETL系统具有工作流引擎、元数据管理、丰富的数据清洗功能、友好的拖拉式用户界面和多线程并发处理等功能。
本文中的所有功能模块都具有相应模型,本文主要的研究工作和创新点是:设计了ETL工作流模型、元数据模型、数据缓冲模型、并发规则执行... |
| 【论文题纲】 |
|
摘要 |
4-5 |
|
ABSTRACT |
5-8 |
|
第一章 绪论 |
8-12 |
|
§1-1 课题研究背景 |
8 |
|
§1-2 课题研究现状 |
8-11 |
|
1-2-1 ETL 的概念 |
8-9 |
|
1-2-2 ETL 的必要性 |
9 |
|
1-2-3 ETL 现阶段发展状况 |
9-11 |
|
§1-3 论文安排 |
11-12 |
|
第二章 工作流和元数据技术介绍 |
12-24 |
|
§2-1 工作流技术介绍 |
12-18 |
|
2-1-1 工作流技术起源 |
12-13 |
|
2-1-2 工作流的基本概念 |
13-14 |
|
2-1-3 工作流管理系统 |
14-15 |
|
2-1-4 工作流管理系统的体系结构及参考模型 |
15-16 |
|
2-1-5 工作流引擎 |
16-18 |
|
§2-2 元数据技术介绍 |
18-24 |
|
2-2-1 元数据的概念 |
18-19 |
|
2-2-2 元数据在数据仓库体系结构中的作用 |
19 |
|
2-2-3 元数据管理的标准化模型（CWM） |
19-22 |
|
2-2-4 元数据管理 |
22-24 |
|
第三章 其它重要技术介绍 |
24-29 |
|
§3-1 数据访问技术 |
24-25 |
|
§3-2 并发执行机制 |
25-26 |
|
§3-3 数据缓冲机制 |
26-27 |
|
§3-4 软件插件技术 |
27 |
|
§3-5 Windows 服务 |
27-29 |
|
第四章 ETL工具系统分析 |
29-34 |
|
§4-1 设计ETL 工具应该考虑的因素 |
29-30 |
|
§4-2 总体功能 |
30-31 |
|
§4-3 人机接口 |
31 |
|
§4-4 规则的并发执行 |
31-32 |
|
§4-5 数据转换 |
32-33 |
|
§4-6 数据质量检测 |
33-34 |
|
第五章 ETL工具系统设计 |
34-44 |
|
§5-1 软件系统架构设计 |
34-35 |
|
§5-2 网络架构设计 |
35 |
|
§5-3 数据模型及其加载策略 |
35-37 |
|
5-3-1 数据模型 |
35-36 |
|
5-3-2 数据加载策略 |
36-37 |
|
§5-4 元数据库设计 |
37-40 |
|
§5-5 数据抽取设计 |
40 |
|
§5-6 数据映射关系设计 |
40-43 |
|
5-6-1 数据映射关系的类型 |
40-41 |
|
5-6-2 数据映射关系的表示 |
41-43 |
|
5-6-3 数据映射关系的存储 |
43 |
|
§5-7 转换函数插件接口设计 |
43-44 |
|
第六章 ETL工具系统实现 |
44-54 |
|
§6-1 元数据扫描模块的实现 |
44-45 |
|
§6-2 规则定义模块的实现 |
45-47 |
|
§6-3 规则执行模块的实现 |
47-49 |
|
§6-4 工作流中各流程运行关系的实现 |
49-52 |
|
§6-5 作业调度模块的实现 |
52-54 |
|
第七章 总结与展望 |
54-56 |
|
§7-1 本文总结 |
54 |
|
§7-2 展望 |
54-56 |
|
参考文献 |
56-58 |
|
致谢 |
58-59 |
|
攻读学位期间所取得的相关科研成果 |
59 |
|
| 【DOI】 | LunWen.ID:2.2008.362657 |
