| 【中文题名】 | 代价敏感的支持向量机监督学习研究 |
| 【英文题名】 | |
| 【学科专业】 | 教育技术学 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2007-8-10 |
| 【中关键词】 | 支持向量机,监督学习,代价敏感学习,取样,参数选择,遗传算法 |
| 【英关键词】 | Support Vector Machine,supervised learning,cost-sensitive learning,sampling,parameter selection,genetic algorithm, |
| 【分类导航】 | 工业技术>自动化技术、计算机技术>自动化基础理论>人工智能理论>> |
| 【论文摘要】 |
监督学习中的误分类代价问题是近年来机器学习技术走向现实的过程中产生的。为了更好地解决真实世界中的此类问题，代价敏感学习成为国际机器学习界的一个研究热点。支持向量机(Support Vector Machines，SVM)源于统计学习理论，是目前为止一种强有力的机器学习算法，但和传统的决策树、神经网络算法一样，SVM不具有代价敏感性，不能直接用于代价敏感学习。因此，设计代价敏感的SVM，并尽可能的提高其性能显得尤为重要。
本文以支持SVM为主线，针对监督学习中错误分类引起的代价问题，对实现代价敏感的SVM以及提高其性能方面做了如下工作：
1．在研究统计学习理论的基础上，指出了SVM在监督学习中优于其他学习算法的原因，并实现了一种标准SVM的训练算法—SMO算法。
2．在实现SMO算法的基础上，通过样本类空间重构的方式，设计并实现了基于随机过取样、SMOTE、欠取样的三种代价敏感SVM。并且借鉴代价敏感神经网络集成方法，对三种代价敏感SVM分别进行了软集成和硬集成。在采用软集成时，针对SVM的特点采用了不同于神经网络的软集成方法。试验结果表明：总体性能上，基于欠取样的代价敏感SV... |
| 【论文题纲】 |
|
摘要 |
5-6 |
|
Abstract |
6-7 |
|
第一章 绪论 |
7-12 |
|
1.1 引言 |
7-8 |
|
1.2 代价敏感学习 |
8-10 |
|
1.2.1 代价类型 |
8-9 |
|
1.2.2 形式表述 |
9-10 |
|
1.3 研究现状 |
10-11 |
|
1.4 本文的主要工作 |
11-12 |
|
第二章 统计学习理论与代价敏感的支持向量机 |
12-27 |
|
2.1 统计学习理论 |
12-16 |
|
2.1.1 机器学习的基本表示 |
12-13 |
|
2.1.2 经验风险最小化原则 |
13-14 |
|
2.1.3 VC维 |
14-15 |
|
2.1.4 结构风险最小化原则 |
15-16 |
|
2.3 支持向量机 |
16-21 |
|
2.3.1 线性支持向量机 |
16-19 |
|
2.3.2 非线性支持向量机 |
19-21 |
|
2.4 SVM的实现—SMO算法 |
21-26 |
|
2.4.1 两点解析解 |
22-23 |
|
2.4.2 活动点的选择与停止条件 |
23-24 |
|
2.4.3 SMO算法实现流程图 |
24-26 |
|
2.5 代价敏感的支持向量机 |
26-27 |
|
第三章 基于样本类空间重构的代价敏感 SVM算法 |
27-37 |
|
3.1 引言 |
27 |
|
3.2 代价设置 |
27-28 |
|
3.3 五种方法 |
28-32 |
|
3.3.1 基于过取样的代价敏感 SVM |
28-29 |
|
3.3.2 基于 SMOTE的代价敏感 SVM |
29 |
|
3.3.3 基于欠取样的代价敏感 SVM |
29-31 |
|
3.3.4 硬集成和软集成方法 |
31-32 |
|
3.4 实验测试 |
32-37 |
|
3.4.1 数据集与试验设置 |
32-34 |
|
3.4.2 试验结果与分析 |
34-37 |
|
第四章 嵌入误分类代价的 SVM算法及其参数选择 |
37-47 |
|
4.1 引言 |
37-38 |
|
4.2 嵌入误分类代价的 SVM算法(CSSVM) |
38-41 |
|
4.2.1 CSSVM算法设计 |
38-39 |
|
4.2.2 试验结果与分析 |
39-41 |
|
4.3 遗传算法用于 CSSVM的参数选择 |
41-47 |
|
4.3.1 遗传算法的基本原理与特点 |
41-42 |
|
4.3.2 CSSVM的参数选择过程 |
42-44 |
|
4.3.3 实验结果与分析 |
44-47 |
|
第五章 结束语 |
47-49 |
|
参考文献 |
49-52 |
|
附录 |
52-53 |
|
致谢 |
53 |
|
| 【DOI】 | LunWen.ID:2.2008.388806 |
