| 【中文题名】 | 分布式流处理系统的研究 |
| 【英文题名】 | Research on Distributed Stream-Processing System |
| 【学科专业】 | 计算机应用 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2007-8-21 |
| 【中关键词】 | 信息系统,DB,数据流,分布式计算,负载平衡,高可用性 |
| 【英关键词】 | info-system,DataBase,streaming data,distributed computing,load management,high availability, |
| 【分类导航】 | 工业技术>自动化技术、计算机技术>计算技术、计算机技术>计算机软件>程序设计、软件工程>软件工程 |
| 【论文摘要】 |
有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点。在过去30多年中，尽管传统数据库技术发展迅速且得到了广泛应用，但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所生成的一种新型数据，即流数据。流数据的特点是数据持续到达，且速度快、规模宏大。
许多面向流处理应用的系统具有固有的分布式特征，应用通常部署在一个由具有不同计算能力的设备连接而成的环境里，采用分布式计算是唯一解决方案。
本文分析了大规模分布式流处理系统设计所要面临的体系结构上的挑战和所要解决的几大关键技术问题，指出了现有分布式流处理系统的缺点，提出利用基于组件的开发方法，在现有的单机数据流处理系统的基础上利用各种成熟技术开发分布式数据流处理系统的构想。然后设计了一个基于ACE-TAO的分布式数据流处理系统的体系结构——DStream。分析了它的各个组件的基本结构和功能。接着讨论了负载平衡和高可用性问题，针对分布式流处理系统的特点，本文采用的负载平衡方法旨在最小化节点间的通信量，而本文提出的高可用性方法——上游流节点法，也同样基于此考虑，以提高系统的性能。
本系统的设计充分利用了现有的数据流处理技... |
| 【论文题纲】 |
|
摘要 |
5-6 |
|
Abstract |
6-10 |
|
第1章 绪论 |
10-16 |
|
1.1 引言 |
10-11 |
|
1.2 目的与意义 |
11 |
|
1.3 国内外研究现状 |
11-14 |
|
1.3.1 TelegraphCQ |
12-13 |
|
1.3.2 Aurora |
13 |
|
1.3.3 STREAM |
13-14 |
|
1.4 研究的主要内容 |
14-15 |
|
1.5 论文的组织结构 |
15-16 |
|
第2章 流数据管理技术概述 |
16-29 |
|
2.1 引言 |
16-18 |
|
2.2 概要数据结构的维护 |
18-22 |
|
2.2.1 基于界标模型的方法 |
19-20 |
|
2.2.2 基于滑动窗口模型的方法 |
20-22 |
|
2.3 查询的执行 |
22-24 |
|
2.4 查询的优化 |
24-26 |
|
2.5 系统的降载 |
26-28 |
|
2.6 本章小结 |
28-29 |
|
第3章 分布式计算技术概述 |
29-44 |
|
3.1 引言 |
29-30 |
|
3.2 分布式系统的定义 |
30-31 |
|
3.3 分布式系统实现之关键技术 |
31-37 |
|
3.3.1 命名服务 |
31-32 |
|
3.3.2 协调与协定 |
32-33 |
|
3.3.3 复制 |
33-34 |
|
3.3.4 分布式事务 |
34-36 |
|
3.3.5 时间与全局状态 |
36-37 |
|
3.4 分布式实时系统 |
37-38 |
|
3.5 自适应通信环境 |
38-43 |
|
3.5.1 分布式软件危机 |
38-40 |
|
3.5.2 面向对象的设计模式和框架 |
40 |
|
3.5.3 ACE综述 |
40-43 |
|
3.6 本章小结 |
43-44 |
|
第4章 分布式流处理系统的设计 |
44-61 |
|
4.1 引言 |
44-45 |
|
4.2 DStream的总体框架 |
45-47 |
|
4.3 DStream框架的关键组件介绍 |
47-50 |
|
4.3.1 适配层 |
47-48 |
|
4.3.2 Director组件 |
48-50 |
|
4.4 DStream的两个重要特性讨论 |
50-60 |
|
4.4.1 负载平衡 |
50-55 |
|
4.4.2 高可用性 |
55-60 |
|
4.5 DStream的技术路线 |
60 |
|
4.6 本章小结 |
60-61 |
|
结论 |
61-63 |
|
参考文献 |
63-67 |
|
攻读硕士学位期间发表的论文和取得的科研成果 |
67-68 |
|
致谢 |
68 |
|
| 【DOI】 | LunWen.ID:2.2008.364505 |
