| 【中文题名】 | 带惩罚项的BP神经网络在线梯度法 |
| 【英文题名】 | |
| 【学科专业】 | 计算数学 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2004-7-7 |
| 【中关键词】 | BP神经网络,惩罚项,在线梯度法,有界,收敛, |
| 【英关键词】 | BP neural network, Penalty term, Online gradient method, Boundedness. Convergence, |
| 【分类导航】 | 工业技术>自动化技术、计算机技术>自动化基础理论>人工智能理论>人工神经网络与计算> |
| 【论文摘要】 | 多层前传神经网络在许多领域有着广泛的应用。网络的泛化能力，即网络在训练集以外的样本上的精度，是标志神经网络性能的一个重要指标。提高网络泛化能力的一个重要指导思想是选择能够在训练集上达到精度要求的尽可能小的网络。
这里所说的小网络是指具有较少的神经元或连接的网络。得到这样的较小网络的一个有效途径是：在网络训练完成之后删除一些不重要的单元或连接。关于这方面的算法的介绍参见[7，15，19]。其中，从网络中删除连接权值的方法中包括在传统的误差函数中加入一个惩罚项，这样不重要的连接就有较小的权值，修剪这些权值就可以使网络的复杂性大大减小[22]。另外，在一些训练结束时不对网络进行修剪的情况中，网络的复杂性仍然会因为权值都比较小而大幅降低，因而会表现出较好的泛化能力[18，26]。所以在BP网络的误差函数中加入惩罚项是提高网络泛化能力的一个重要途径。
已有许多文献研究了多种不同的惩罚项，例如[10，12，13，22，26]。他们中的大多数([10,12，22,26])都是在实验的基础上对惩罚项的性能进行研究，没有在数学上论证权值的有界性。Jun Kong & Wei Wu [13]对一种惩罚项的... |
| 【论文题纲】 |
|
第一章 绪论 |
7-19 |
|
1.1 神经网络综述 |
7-8 |
|
1.2 BP神经网络 |
8-17 |
|
1.2.1 神经元简介 |
8-9 |
|
1.2.2 BP网络基本算法 |
9-11 |
|
1.2.3 关于BP网络的一些细节 |
11-15 |
|
1.2.4 BP网络的应用 |
15-17 |
|
1.3 带惩罚项的BP神经网络 |
17-18 |
|
1.4 本文的主要工作 |
18-19 |
|
第二章 惩罚项简介 |
19-29 |
|
2.1 Weight-Decay简介 |
19 |
|
2.2 Weight-Elimination简介 |
19-23 |
|
2.2.1 概述 |
19-20 |
|
2.2.2 参数ω_0的选取 |
20-21 |
|
2.2.3 参数λ的选取 |
21-23 |
|
2.3 Combination of Weight-Decay and Weight-Elimination简介 |
23-25 |
|
2.3.1 概述 |
23 |
|
2.3.2 性能分析 |
23-25 |
|
2.4 Structural Learning with Forgetting简介 |
25-27 |
|
2.4.1 Learning with Forgetting |
25-26 |
|
2.4.2 Learning with Hidden Units Clarification |
26 |
|
2.4.3 Learning with Selective Forgetting |
26 |
|
2.4.4 SLF的简单流程 |
26-27 |
|
2.5 Penalty Term Using Inner Product简介 |
27 |
|
2.6 小结 |
27-29 |
|
第三章 网络结构与引理 |
29-37 |
|
3.1 网络结构介绍 |
29-32 |
|
3.2 重要引理 |
32-37 |
|
第四章 收敛性证明 |
37-45 |
|
4.1 权值的有界性与算法的收敛性 |
37-43 |
|
4.2 数值实验 |
43-45 |
|
参考文献 |
45-47 |
|
发表论文情况 |
47-48 |
|
致谢 |
48-50 |
|
| 【DOI】 | LunWen.ID:2.2008.387049 |
