| 【中文题名】 | 支持向量机分类器及其贝叶斯框架研究 |
| 【英文题名】 | Research on Support Vector Machine Classifier and Its Bayesian Framework |
| 【学科专业】 | 计算机应用技术 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2006-7-13 |
| 【中关键词】 | 支持向量机,分类,超球面分割,损失函数,集成学习,贝叶斯方法 |
| 【英关键词】 | Support Vector Machines,Classification,Hyperspheres Division,Loss Function,Ensemble Learning,Bayesian Approach, |
| 【分类导航】 | 工业技术>自动化技术、计算机技术>自动化基础理论>人工智能理论>人工神经网络与计算> |
| 【论文摘要】 | 基于统计学习理论的支持向量机是当前机器学习领域的一个研究热点。它具有良好的泛化性能、可解决非线性问题、具有稀疏性和全局最优解等优点,但在标准分类模型和参数选择方面仍值得研究,本文的主要工作如下:
(1) 从支持向量的角度,提出一个基于同心超球面分割的支持向量预抽取方法。利用预抽取的支持向量代替整个数据集进行训练,可以有效的降低计算量。
(2) 损失函数是支持向量机风险泛函的关键部分,选择不同的损失函数可以构造不同类型的支持向量机。本文对三角函数进行了改进,并推导出相应的支持向量机分类的原始问题和对偶问题。
(3) 集成学习是当前机器学习的一个研究热点,它可以提高分类算法的泛化性能。本文利用Boosting对支持向量机进行集成学习,并给出了一种基于Boosting的支持向量机组合分类器。
(4) 对支持向量机分类的贝叶斯框架进行了系统的理论阐述。由于再生核希尔伯特空间与随机过程之间存在对偶性,因此可以通过高斯过程为支持向量机建立一个贝叶斯框架,从而利用贝叶斯方法来实现最优参数的选择。 |
| 【论文题纲】 |
|
第一章 绪论 |
14-23 |
|
1.1 机器学习 |
14-16 |
|
1.1.1 经验风险最小化 |
15 |
|
1.1.2 三类基本的机器学习问题 |
15-16 |
|
1.1.3 复杂性与推广能力 |
16 |
|
1.2 统计学习理论 |
16-19 |
|
1.2.1 VC维 |
16-17 |
|
1.2.2 推广能力的界 |
17 |
|
1.2.3 结构风险最小化 |
17-18 |
|
1.2.4 支持向量机 |
18-19 |
|
1.3 分类器的基本概念 |
19-21 |
|
1.3.1 影响分类器错误率的因素 |
19-20 |
|
1.3.2 分类方法的评估 |
20-21 |
|
1.4 论文的结构 |
21-23 |
|
第二章 支持向量机分类的算法 |
23-36 |
|
2.1 标准支持向量机分类模型 |
23-28 |
|
2.1.1 数据完全线性可分 |
23-25 |
|
2.1.1.1 最大间隔思想 |
23-24 |
|
2.1.1.2 原始问题和对偶问题 |
24-25 |
|
2.1.2 数据近似线性可分 |
25-26 |
|
2.1.3 数据非线性可分 |
26-28 |
|
2.1.3.1 非线性问题的变换 |
26-27 |
|
2.1.3.2 核函数 |
27-28 |
|
2.1.4 支持向量机分类的标准算法 |
28 |
|
2.2 多分类支持向量机 |
28-29 |
|
2.2.1 一对多 SVMs |
28-29 |
|
2.2.2 一对一 SVMs |
29 |
|
2.2.3 有向无环图 SVMs |
29 |
|
2.3 分解方法 |
29-32 |
|
2.3.1 选块算法(Chunking) |
30 |
|
2.3.2 分解算法(Decomposing) |
30-31 |
|
2.3.3 SMO算法(Sequential Minimal Optimization) |
31-32 |
|
2.4 同心超球面分割的支持向量预抽取方法 |
32-35 |
|
2.4.1 支持向量 |
32 |
|
2.4.2 同心超球面分割的思想 |
32-33 |
|
2.4.3 工作集的选择策略 |
33-34 |
|
2.4.4 HD-SVC训练算法描述 |
34 |
|
2.4.5 数值试验 |
34-35 |
|
2.5 本章小结 |
35-36 |
|
第三章 损失函数 |
36-42 |
|
3.1 损失函数模型 |
36 |
|
3.2 支持向量机回归的损失函数 |
36-37 |
|
3.3 支持向量机分类的损失函数 |
37-39 |
|
3.4 一种改进的三角损失函数支持向量机分类器 |
39-41 |
|
3.4.1 改进的三角损失函数 |
39 |
|
3.4.2 SVC的原始问题及其对偶问题 |
39-41 |
|
3.4.3 数值试验 |
41 |
|
3.5 本章小结 |
41-42 |
|
第四章 集成学习 |
42-50 |
|
4.1 分类器集成的实现 |
42-47 |
|
4.1.1 基分类器的集成 |
42-43 |
|
4.1.2 基分类器的生成 |
43-45 |
|
4.1.2.1 Boosting算法 |
43-44 |
|
4.1.2.2 Bagging算法 |
44-45 |
|
4.1.2.3 Boosting与 Bagging |
45 |
|
4.1.3 基分类器的分析 |
45-47 |
|
4.2 SVM的集成学习 |
47-49 |
|
4.2.1 Boosting与 SVM |
47 |
|
4.2.2 基于 Boosting的 SVM组合分类器 |
47-48 |
|
4.2.3 数值试验 |
48-49 |
|
4.3 本章小结 |
49-50 |
|
第五章 贝叶斯框架 |
50-56 |
|
5.1 静态高斯过程 |
50-51 |
|
5.2 高斯过程中的贝叶斯方法 |
51-52 |
|
5.2.1 先验概率 |
51 |
|
5.2.2 似然函数 |
51-52 |
|
5.2.3 后验概率 |
52 |
|
5.2.4 最大后验概率 |
52 |
|
5.3 SVM分类的贝叶斯框架 |
52-55 |
|
5.3.1 贝叶斯框架 |
53-54 |
|
5.3.2 二次规划 |
54 |
|
5.3.3 超参数推断 |
54-55 |
|
5.4 本章小结 |
55-56 |
|
第六章 结束语 |
56-57 |
|
6.1 工作总结 |
56 |
|
6.2 工作展望 |
56-57 |
|
参考文献 |
57-61 |
|
附录A 一些概念的介绍 |
61-63 |
|
附录B 攻读硕士学位期间完成的论文 |
63 |
|
| 【DOI】 | LunWen.ID:2.2008.387780 |