| 【中文题名】 | 最小VC维分类器的一种实现方法 |
| 【英文题名】 | An Implementation Method for Minimal VC Dimensional Classifier |
| 【学科专业】 | 计算数学 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2007-8-10 |
| 【中关键词】 | 机器学习,支持向量机,核函数参数,分解算法,复形调优法, |
| 【英关键词】 | machine learning,support vector machines,kernel parameter,decomposition method,complex optimization method, |
| 【分类导航】 | 数理科学和化学>数学>控制论、信息论（数学理论）>学习机理论>> |
| 【论文摘要】 |
机器学习的重要基础是传统的统计学，其前提是有足够多的样本，但当样本数目有限时难以取得理想的效果。统计学习理论(Statistical Learning Theory或SLT)是由Vapnik等人提出的一种小样本统计理论，着重研究小样本情况下的统计规律及学习方法。SLT为机器学习问题建立了一个较好的理论框架，也发展出一种通用学习算法——支持向量机(Support Vector Machines或SVM)，能够较好地解决小样本学习问题。正因为SVM有较为完备的理论基础和较好的学习性能，使得它成为继神经网络研究之后的研究热点。
尽管SVM的性能在许多实际问题中得到了验证，但其核参数的选择依然是支持向量机研究领域的一个待解决问题。通常情况下，SVM算法中核参数是事先确定的。本文中最小VC维分类器的非线性约束规划问题中包含了RBF核参数，可以在算法执行中自适应地确定。本文旨在找到一个快速求解最小VC维分类器的方法。
本文从统计学习理论出发，介绍了控制学习过程的推广能力、结构风险最小化原则和支持向量机。对支持向量机的各种实现算法进行分析和总结，特别详细介绍了后面我们用到的Osuna分解方法的基本... |
| 【论文题纲】 |
|
摘要 |
6-7 |
|
ABSTRACT |
7-8 |
|
前言 |
8-10 |
|
第一章 绪论 |
10-15 |
|
1.1 研究背景 |
10-11 |
|
1.2 机器学习理论概述 |
11-13 |
|
1.2.1 经典统计估计方法 |
11-12 |
|
1.2.2 经验非线性方法 |
12 |
|
1.2.3 统计学习理论 |
12-13 |
|
1.3 本文主要工作及组织结构 |
13-15 |
|
第二章 机器学习理论 |
15-29 |
|
2.1 控制学习过程的推广能力 |
15-18 |
|
2.1.1 VC维 |
15 |
|
2.1.2 结构风险最小化理论 |
15-18 |
|
2.2 最优超平面 |
18-22 |
|
2.2.1 △-间隔分类超平面 |
19-20 |
|
2.2.2 构造最优超平面 |
20-22 |
|
2.3 支持向量机 |
22-24 |
|
2.3.1 内积回旋 |
23 |
|
2.3.2 构造支持向量机 |
23-24 |
|
2.4 SVM常用的经典实现算法 |
24-29 |
|
2.4.1 块算法 |
25 |
|
2.4.2 Osuna分解算法 |
25-27 |
|
2.4.3 SVM~(light)算法 |
27 |
|
2.4.4 SMO算法 |
27-29 |
|
第三章 最优化理论概述 |
29-33 |
|
3.1 梯度法 |
29-30 |
|
3.2 罚函数法 |
30-31 |
|
3.3 复形调优法 |
31-33 |
|
第四章 最小VC维分类器模型的建立 |
33-37 |
|
4.1 最小VC维分类器的理论基础 |
33 |
|
4.2 在特征空间中确定半径和权向量 |
33-34 |
|
4.3 最小VC维分类器的建立 |
34-35 |
|
4.4 最小VC维分类器的试验结果 |
35-36 |
|
4.5 本章小结 |
36-37 |
|
第五章 最小VC维分类器的实现及改进 |
37-46 |
|
5.1 求解最小VC维分类器的基本算法 |
37-40 |
|
5.2 试验一 求解最小 VC维分类器基本算法的性能验证 |
40-42 |
|
5.3 求解最小VC维分类器的改进算法 |
42-43 |
|
5.4 试验二 改进的求解最小VC维分类器算法的性能验证 |
43-44 |
|
5.5 本章小结 |
44-46 |
|
第六章 总结与展望 |
46-48 |
|
6.1 总结 |
46 |
|
6.2 进一步工作 |
46-48 |
|
参考文献 |
48-51 |
|
致谢 |
51 |
|
| 【DOI】 | LunWen.ID:2.2008.10673 |
