| 【中文题名】 | 基于Agent的分布式专业信息采集系统 |
| 【英文题名】 | The Distributed Professional Information Collection System Base on Agent |
| 【学科专业】 | 计算机应用技术 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2007-9-24 |
| 【中关键词】 | 信息采集,Agent,分布式,专业信息评价,, |
| 【英关键词】 | information collection,Agent,distribution,professional information evaluation, |
| 【分类导航】 | 工业技术>自动化技术、计算机技术>自动化技术及设备>自动化系统>数据处理、数据处理系统>数据收集和处理系统 |
| 【论文摘要】 |
本文对搜索引擎的基本框架和工作原理进行了分析和综述，并对移动Agent理论和技术进行了深入的研究，详细分析了Agent理论应用到信息采集系统的优势。
本论文针对现有通用搜索引擎的不足，在对Internet信息收集处理及Agent技术的研究基础上，详细介绍了基于多Agent的专业信息采集系统的设计与实现。它使用基于多Agent的体系结构来实现信息收集过程的并行、分布式处理，较好地解决了Internet信息收集问题。
本系统由分布在不同信息节点上的一组相互协作的Agent组成，包括信息采集Agent、信息分析及评价Agent、消息通讯Agent、中心控制Agent。相比于普通的分布式信息采集系统，该系统中增加了信息分析及评价Agent，它通过对所采集数据和专业词库的分析，对所搜索的网站对象给予该专业相关度的评价，以表示该网站对于该专业的价值。系统下次搜索时，可以参照该相关度，对网站进行有选择地搜索，从而有效提高信息采集系统的效率。 |
| 【论文题纲】 |
|
摘要 |
4-5 |
|
ABSTRACT |
5-13 |
|
第一章 绪论 |
13-15 |
|
1.1 论文研究背景 |
13 |
|
1.2 项目研究内容 |
13-14 |
|
1.3 论文章节安排 |
14-15 |
|
第二章 搜索引擎介绍 |
15-20 |
|
2.1 搜索引擎定义及其工作原理 |
15-16 |
|
2.2 搜索引擎基本结构及各部分工作原理 |
16-19 |
|
2.3 搜索引擎的几个主要技术指标 |
19-20 |
|
第三章 Agent技术 |
20-29 |
|
3.1 Agent定义 |
20-21 |
|
3.2 Agent的主要技术 |
21-22 |
|
3.3 移动Agent特性和技术优势 |
22-24 |
|
3.4 基于移动Agent构建信息检索系统的原因 |
24-27 |
|
3.4.1 移动Agent技术与其它分布式技术的比较 |
24-27 |
|
3.4.2 移动Agent技术构建信息检索系统的优势 |
27 |
|
3.5 基于Java语言实现Agent的优点 |
27-29 |
|
第四章 专业信息采集系统的设计与实现 |
29-39 |
|
4.1 移动Agent系统 |
29 |
|
4.2 移动Agent系统的体系结构 |
29-30 |
|
4.3 系统总体框架 |
30-31 |
|
4.4 系统各部分设计与实现 |
31-37 |
|
4.4.1 信息采集Agent(ICA) |
31-35 |
|
4.4.2 信息分析与评价Agent(IAEA) |
35-36 |
|
4.4.3 中心控制Agent(CCA) |
36-37 |
|
4.4.4 消息通讯Agent(MCA) |
37 |
|
4.5 系统数据库设计 |
37-39 |
|
第五章 专业采集系统中关键问题研究 |
39-57 |
|
5.1 信息采集Agent中的若干问题分析 |
39-42 |
|
5.1.1 DNS查询问题 |
39-40 |
|
5.1.2 并发抓取问题 |
40-41 |
|
5.1.3 礼貌访问问题 |
41-42 |
|
5.1.4 消除重复链接问题 |
42 |
|
5.2 移动Agent的迁移问题 |
42-46 |
|
5.2.1 移动Agent的迁移协议 |
42-43 |
|
5.2.2 移动Agent的命名问题 |
43 |
|
5.2.3 移动Agent迁移的实现 |
43-44 |
|
5.2.4 移动Agent的移动粒度 |
44-46 |
|
5.3 移动Agent的路由问题及迁移机制 |
46-47 |
|
5.3.1 路由问题 |
46-47 |
|
5.3.2 迁移机制 |
47 |
|
5.4 移动Agent的协作模型 |
47-48 |
|
5.4.1 直接协作模型 |
47 |
|
5.4.2 基于黑板的协作模型 |
47-48 |
|
5.5 Aglet对象模型及消息机制 |
48-52 |
|
5.5.1 Aglet对象模型 |
48-49 |
|
5.5.2 Aglet通信模型 |
49 |
|
5.5.3 Aglet消息机制 |
49-51 |
|
5.5.4 消息队列和消息优先级 |
51-52 |
|
5.6 系统安全策略及容错问题 |
52-57 |
|
5.6.1 Aglet系统的安全框架 |
52-53 |
|
5.6.2 Agelet中安全策略的具体实现 |
53-54 |
|
5.6.3 本系统的通讯安全性设计 |
54-55 |
|
5.6.4 容错问题 |
55-57 |
|
第六章 总结与展望 |
57-59 |
|
6.1 总结 |
57 |
|
6.2 展望 |
57-59 |
|
参考文献 |
59-61 |
|
致谢 |
61-62 |
|
研究成果及发表的学术论文 |
62-63 |
|
作者和导师简介 |
63-64 |
|
硕士研究生学位论文答辩委员会决议书 |
64-65 |
|
| 【DOI】 | LunWen.ID:2.2008.389078 |
