| 【中文题名】 | 基于核方法的纠错输出编码多类分类算法改进 |
| 【英文题名】 | Improving Error-Correcting Output Coding Using Kernel Methods |
| 【学科专业】 | 控制理论与控制工程 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2007-7-11 |
| 【中关键词】 | 多类分类,纠错输出编码,支持向量机,,, |
| 【英关键词】 | Multi-class classification,Error-Correcting Output Coding,Supper Vector Machine, |
| 【分类导航】 | 工业技术>自动化技术、计算机技术>自动化基础理论>人工智能理论>> |
| 【论文摘要】 |
分类问题是众多研究领域中的一个基本问题,如图像识别、语音识别、医疗诊断、系统辨识和控制、自然语言处理、蛋白质结构和功能预测、金融风险分析等等。诸多领域的强大需求为分类问题的算法和应用的研究带来了机遇和动力。同时,近来的统计学习理论为此提供了强大的理论支持,不断出现各种分类问题的解决思路。而随着二类分类(binary class classification)的技术逐渐成熟,最近研究人员逐渐将目光转向应用需求更加广泛的多类分类问题(multi class classification)。与二类分类问题相比,多类分类问题存在一定的难点:模型表示困难,理论支撑少,分类器训练复杂度大等。
近年来,多类分类算法中一种比较流行的思想是把多类分类问题分解成若干个二类分类分类问题来求解,纠错输出编码(ECOC,Error-correcting Output Coding)是一个典型的代表。本文通过调研各种分类算法以及对ECOC的仔细分析,基于统计学习理论中的大间隔(large margin)思想提出两种了ECOC的改进策略,目标是提高ECOC框架的预测能力,提高其预测精度。本文的贡献在于:
(1)基... |
| 【论文题纲】 |
|
摘要 |
3-5 |
|
Abstract |
5-11 |
|
第1章 绪论 |
11-23 |
|
1.1 人工智能与机器学习 |
11-12 |
|
1.2 人工智能的NP完全难问题? |
12-13 |
|
1.3 分类算法的国内外研究现状 |
13-19 |
|
1.3.1 多类分类各种算法简介 |
13-16 |
|
1.3.2 分类算法的各种应用 |
16-19 |
|
1.4 纠错输出编码及其缺陷 |
19-20 |
|
1.5 本文的主要贡献 |
20-21 |
|
1.6 问题的数学定义和符号约定 |
21-22 |
|
1.6.1 问题的数学描述 |
21 |
|
1.6.2 符号和术语的约定 |
21-22 |
|
1.7 本文组织 |
22 |
|
1.8 本章小结 |
22-23 |
|
第2章 机器学习理论和支持向量机 |
23-39 |
|
2.1 统计机器学习理论的一些渊源 |
23-24 |
|
2.1.1 学习机器的产生 |
23 |
|
2.1.2 学习理论基础的创立 |
23-24 |
|
2.1.3 神经网络的创立 |
24 |
|
2.1.4 统计学习理论 |
24 |
|
2.2 学习问题的表述 |
24-25 |
|
2.2.1 分类问题 |
25 |
|
2.2.2 回归 |
25 |
|
2.2.3 密度估计 |
25 |
|
2.3 经验风险最小化原则 |
25-27 |
|
2.4 统计机器学习的主要理论 |
27-29 |
|
2.4.1 推广能力的界 |
28 |
|
2.4.2 结构风险最小化原则 |
28-29 |
|
2.5 支持向量机 |
29-35 |
|
2.5.1 最优分类超平面 |
29-30 |
|
2.5.2 支持向量机的原问题及其对偶问题 |
30-34 |
|
2.5.3 二次规划的优化策略 |
34-35 |
|
2.6 核函数技巧 |
35-37 |
|
2.6.1 核学习方法简介 |
35-36 |
|
2.6.2 核方法在SVM中的应用 |
36-37 |
|
2.7 支持向量机的改进版本 |
37-38 |
|
2.7.1 Weston等的多类支持向量机 |
37 |
|
2.7.2 Crammer等的多类支持向量机 |
37-38 |
|
2.7.3 Guermeur等的多类支持向量机 |
38 |
|
2.8 本章小结 |
38-39 |
|
第3章 纠错输出编码及其间隔定义 |
39-46 |
|
3.1 ECOC框架算法 |
39-40 |
|
3.2 编码(encoding)过程 |
40-41 |
|
3.3 训练(learning)过程 |
41 |
|
3.4 解码(decoding)过程 |
41-42 |
|
3.5 ECOC框架的特点 |
42 |
|
3.6 ECOC下的间隔定义 |
42-45 |
|
3.6.1 区分函数 |
43-44 |
|
3.6.2 ECOC分类器的间隔 |
44-45 |
|
3.7 本章小结 |
45-46 |
|
第4章 ECO输出空间的距离函数学习改进 |
46-51 |
|
4.1 ECOC输出空间距离函数学习 |
46-49 |
|
4.1.1 损失函数的原问题定义 |
46-48 |
|
4.1.2 对偶问题 |
48-49 |
|
4.1.3 核技巧 |
49 |
|
4.2 优化策略 |
49-50 |
|
4.3 本章小结 |
50-51 |
|
第5章 ECOC算法的一致学习改进 |
51-60 |
|
5.1 ECOC的一致学习 |
51-53 |
|
5.1.1 损失函数原问题定义 |
51-52 |
|
5.1.2 对偶问题 |
52-53 |
|
5.1.3 核技巧 |
53 |
|
5.2 优化策略 |
53-54 |
|
5.3 与Guermeur的SVM的关系 |
54-57 |
|
5.4 与Weston等的SVM的关系 |
57-58 |
|
5.5 与Cai和Hofmann等的分层SVM的关系 |
58-59 |
|
5.6 本章小结 |
59-60 |
|
第6章 改进方法的性能验证 |
60-78 |
|
6.1 在UCI标准数据库上的预测性能比较 |
60-65 |
|
6.1.1 一致学习的ECOC性能验证 |
60-64 |
|
6.1.2 基于输出空间距离函数学习的ECOC性能验证 |
64-65 |
|
6.2 改进算法在多智能体系统中的应用 |
65-71 |
|
6.2.1 RoboCup下的协作对抗中对手建模和识别 |
66-67 |
|
6.2.2 数据来源和实验设置 |
67-68 |
|
6.2.3 特征定义 |
68 |
|
6.2.4 实验参数设置 |
68-69 |
|
6.2.5 实验结果 |
69-71 |
|
6.3 基于颜色的目标识别 |
71-77 |
|
6.3.1 数据来源 |
72 |
|
6.3.2 实验设置 |
72-74 |
|
6.3.3 算法流程 |
74 |
|
6.3.4 实验结果 |
74-77 |
|
6.4 本章小结 |
77-78 |
|
第7章 总结与展望 |
78-80 |
|
7.1 本文算法总结 |
78-79 |
|
7.2 未来研究展望 |
79 |
|
7.3 本章小结 |
79-80 |
|
参考文献 |
80-86 |
|
致谢 |
86-87 |
|
个人简历、在学期间的研究成果及发表的论文 |
87-88 |
|
在学期间的研究成果及发表的论文 |
88-91 |
|
| 【DOI】 | LunWen.ID:2.2008.388590 |