| 【中文题名】 | 不平衡样本集的支持向量机模型选择 |
| 【英文题名】 | Model Selection of Support Vector Machines in the Unbalanced Sets |
| 【学科专业】 | 计算数学 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2007-8-10 |
| 【中关键词】 | 统计学习理论,VC维,支持向量机,模型选择,, |
| 【英关键词】 | Statistical learning theory,VC dimension,Support vector machines,Model selection, |
| 【分类导航】 | 数理科学和化学>数学>控制论、信息论（数学理论）>学习机理论>> |
| 【论文摘要】 |
支持向量机是由Vapnik等人于上世纪90年代提出的一种崭新的学习机器，它作为统计学习理论的实现方法，是处理小样本学习的有效工具，在模式识别、信号处理、自动化、通讯等领域得到了广泛应用。在不平衡样本集中，不同类别的样本数量上的差异导致分类器性能的下降，所以一直以来不平衡样本集都是机器学习的一个研究热点。在不平衡样本集中寻找支持向量机的最优参数(又称模型选择)也是支持向量机研究领域的一个重要分支。
为此，本文首先介绍了统计学习的基本理论以及不平衡样本集中支持向量机研究的现状和存在的问题，并详细介绍了一种利用已知样本数量信息调节两个正则化参数比例的方法，由于该方法在理论上缺乏严谨的推导过程，却得到了广泛的应用，因此我们用L_1-SVM对该方法进行了大量的仿真实验，得出的结果表明，这一理论的正确性得不到保证。在此基础上，本文对两类样本引入不同的正则化参数，推广经典单正则化参数L_2-SVM，获得具有双正则化参数的L_2-SVM的对偶形式，使两个正则化参数出现在核矩阵的对角线上，此时核函数中同时包含了核参数和两个正则化参数，为确定最优化的目标函数打下基础。基于以上的研究，本文利用双正则化参数的L_2... |
| 【论文题纲】 |
|
摘要 |
6-7 |
|
ABSTRACT |
7-8 |
|
前言 |
8-10 |
|
第一章 绪论 |
10-18 |
|
1.1 机器学习理论概述 |
10-14 |
|
1.1.1 机器学习问题的表示 |
10-12 |
|
1.1.2 经验风险最小化原则 |
12 |
|
1.1.3 机器学习的发展简史 |
12-14 |
|
1.2 统计学习理论的核心内容 |
14-18 |
|
1.2.1 VC维简介 |
14-15 |
|
1.2.2 推广性的界 |
15 |
|
1.2.3 结构风险最小化原则 |
15-18 |
|
第二章 支持向量机基本原理及变形算法 |
18-27 |
|
2.1 最优分类面 |
18-20 |
|
2.2 广义最优分类面 |
20-23 |
|
2.3 基于核函数的学习方法 |
23-24 |
|
2.4 支持向量机 |
24-25 |
|
2.5 支持向量机的变形算法L_2-SVM |
25-27 |
|
第三章 不平衡样本集中支持向量机研究现状与仿真实验 |
27-37 |
|
3.1 不平衡样本集的性能分析与研究现状 |
27-28 |
|
3.1.1 不平衡样本集中支持向量机的性能分析 |
27 |
|
3.1.2 重构数据集方法的研究现状 |
27-28 |
|
3.2 不平衡样本集中支持向量机算法的改进 |
28-31 |
|
3.2.1 L_1-SVM的改进 |
28-29 |
|
3.2.2 v-SVM的改进 |
29-31 |
|
3.3 仿真实验 |
31-37 |
|
3.3.1 实验的目的 |
31 |
|
3.3.2 实验的方法和步骤 |
31-32 |
|
3.3.3 实验结果及分析 |
32-37 |
|
第四章 不平衡样本集的支持向量机模型选择的新方法 |
37-45 |
|
4.1 特征空间超平面VC维 |
37-38 |
|
4.2 模型选择中目标函数的选取 |
38-39 |
|
4.3 模型选择中SVM类型的选择 |
39-40 |
|
4.4 基于梯度法和VC维的模型选择方法 |
40-45 |
|
4.4.1 求VC维关于参数梯度的思路 |
41 |
|
4.4.2 基于梯度法的优化过程 |
41-43 |
|
4.4.3 算法实现的主要内容 |
43-45 |
|
第五章 实验过程与结果分析 |
45-56 |
|
5.1 实验一 VOWEL数据集性能测试 |
45-48 |
|
5.2 实验二 SATIMAGE数据集性能测试 |
48-52 |
|
5.3 实验三 SATIMAGE数据集多类分类性能测试 |
52-56 |
|
第六章 总结与展望 |
56-58 |
|
参考文献 |
58-61 |
|
致谢 |
61 |
|
| 【DOI】 | LunWen.ID:2.2008.10672 |
