| 【中文题名】 | 动态隧道技术在BP网络中的应用与研究 |
| 【英文题名】 | Study and Application of Dynamic Tunneling Technique in Training of BP Neural Network |
| 【学科专业】 | 计算机系统结构 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2006-12-5 |
| 【中关键词】 | 全局优化,BP算法,动态隧道算法,多轨道,并行算法, |
| 【英关键词】 | Global optimization,BP algorithm,Dynamic Tunneling algorithm,Multi-trajectory,Parallel algorithm, |
| 【分类导航】 | 工业技术>自动化技术、计算机技术>自动化基础理论>人工智能理论>人工神经网络与计算> |
| 【论文摘要】 |
动态隧道算法是一种全局优化研究方法。该算法重复以下两个过程:一是动态优化过程,在该过程中寻找一个局部最小点;二是动态隧道过程,该过程以该局部最小点为基准找到一个更小的能量区间,即提供给动态优化过程一个新的初始点。这两个过程交替进行,直到在动态隧道阶段找不到更小的能量区间。
训练神经网络是一个全局优化问题,目的是找到使误差函数最小的权值距阵。BP算法以其良好的非线性映射逼近能力和泛化能力以及易实现性成为人工神经网络应用最广泛的训练算法,但是BP算法也有其明显的缺陷,即训练速度慢、容易陷入局部极值等。因此,利用动态隧道思想来训练神经网络,并且可以有效避免陷入局部极小。
多轨道动态隧道算法是在传统动态隧道算法基础上的一种改进。该算法通过增加隧道搜索的方向以及引入弹性系数来增大找到全局最小点的几率。
本文将这种多轨道动态隧道思想引入到BP网络的训练中,同时,采用动态修改误差限的方法,提出了一种多轨道动态隧道技术训练BP网络算法(MDTTBP)。并将该算法在XOR、某医药公司物流数据和KDD CUP三个数据集上进行了测试,对传统动态隧道技术训练BP网络算法(DTTBP)、单纯使用多轨道... |
| 【论文题纲】 |
|
中文摘要 |
3-4 |
|
英文摘要 |
4-8 |
|
1 绪论 |
8-12 |
|
1.1 论文的研究背景及选题意义 |
8-9 |
|
1.2 国内外现状综述 |
9-11 |
|
1.3 论文研究的内容及组织 |
11-12 |
|
2 BP 算法及改进 |
12-20 |
|
2.1 标准BP 算法 |
12-15 |
|
2.1.1 BP 算法的思想 |
12 |
|
2.1.2 BP 算法的数学描述 |
12-15 |
|
2.2 BP 算法的不足 |
15-16 |
|
2.3 BP 算法的若干改进 |
16-19 |
|
2.4 本章小结 |
19-20 |
|
3 动态系统及全局最优化 |
20-30 |
|
3.1 动态系统 |
20-23 |
|
3.1.1 动态系统的定义 |
20-21 |
|
3.1.2 状态空间 |
21 |
|
3.1.3 Lipschitz 条件 |
21-22 |
|
3.1.4 平衡状态的稳定性 |
22 |
|
3.1.5 Lyapunov 定理 |
22-23 |
|
3.2 全局优化问题的数学模型及动态优化系统 |
23-25 |
|
3.2.1 全局优化问题的数学模型 |
23-24 |
|
3.2.2 全局优化问题中的动态优化系统 |
24-25 |
|
3.3 动态隧道算法 |
25-27 |
|
3.4 多轨道动态隧道算法 |
27-29 |
|
3.4.1 传统动态隧道算法的缺陷 |
27 |
|
3.4.2 改进动态隧道算法的不稳定性 |
27-28 |
|
3.4.3 多轨道动态隧道算法思想 |
28-29 |
|
3.5 本章小结 |
29-30 |
|
4 动态隧道技术训练 BP 网络 |
30-40 |
|
4.1 训练BP 网络采用的动态系统 |
30-33 |
|
4.1.1 训练BP 网络采用的动态优化系统 |
30-31 |
|
4.1.2 常用的动态隧道系统 |
31-32 |
|
4.1.3 本文训练BP 网络采用的动态隧道系统及积分方法 |
32-33 |
|
4.2 动态隧道算法训练BP 网络 |
33-34 |
|
4.3 多轨道动态隧道技术训练BP 网络算法 |
34-39 |
|
4.3.1 算法描述 |
34-35 |
|
4.3.2 算法主框图 |
35-37 |
|
4.3.3 算法讨论 |
37-38 |
|
4.3.4 算法复杂度 |
38-39 |
|
4.4 本章小结 |
39-40 |
|
5 实验结果及数据分析 |
40-46 |
|
5.1 引言 |
40 |
|
5.2 XOR 数据集 |
40-42 |
|
5.3 KDD 数据集 |
42-45 |
|
5.3.1 数据集介绍 |
42-43 |
|
5.3.2 算法参数设置 |
43-44 |
|
5.3.3 实验结果 |
44-45 |
|
5.4 医药公司数据集 |
45 |
|
5.5 本章小结 |
45-46 |
|
6 动态隧道技术训练 BP 网络的并行化 |
46-55 |
|
6.1 BP 算法并行策略 |
46-47 |
|
6.1.1 按层分配神经元 |
46-47 |
|
6.1.2 横向分配神经元 |
47 |
|
6.1.3 按训练集分配神经元 |
47 |
|
6.2 动态隧道技术训练BP 网络的并行化 |
47-54 |
|
6.2.1 并行环境 |
47-51 |
|
6.2.2 并行体系结构 |
51 |
|
6.2.3 并行算法描述 |
51-53 |
|
6.2.4 数值实验问题描述 |
53 |
|
6.2.5 并行执行时间 |
53-54 |
|
6.3 本章小结 |
54-55 |
|
7 论文的总结 |
55-57 |
|
7.1 论文的主要工作 |
55-56 |
|
7.2 进一步努力的方向 |
56-57 |
|
致谢 |
57-58 |
|
参考文献 |
58-61 |
|
附录 |
61-62 |
|
独创性声明 |
62 |
|
学位论文版权使用授权书 |
62 |
|
| 【DOI】 | LunWen.ID:2.2008.388038 |
