| 【中文题名】 | RoboCup仿真环境下Agent机器学习策略的研究 |
| 【英文题名】 | Study of Agent's Machine Learning Strategy in RoboCup Simulation Tournament |
| 【学科专业】 | 模式识别与智能系统 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2007-10-12 |
| 【中关键词】 | Agent,仿真环境,机器学习,强化学习,人工神经网络, |
| 【英关键词】 | Agent,Simulation,Machine-Learning,Reinforcement Learning,Artificial Neuron Network, |
| 【分类导航】 | 工业技术>自动化技术、计算机技术>自动化技术及设备>机器人技术>机器人>智能机器人 |
| 【论文摘要】 |
RoboCup(机器人世界杯足球赛)是国际上规模最大、影响最为广泛的机器人足球赛事，它是人工智能和机器人研究的一种集中体现。在RoboCup的仿真环境下，机器学习的很多方法都可以得到检验。作为人工智能和机器人学新的标准问题，机器人足球受到越来越广泛的关注。
本文使用仿真机器人足球作为研究机器学习算法应用的载体，基于Agent和机器学习的理论，围绕Agent个体的基本动作及Agent个体高级动作的决策问题展开研究，主要研究内容和成果如下：
1．将强化学习的方法引入到Agent踢球动作中，实现了把球加速到指定的出球速度的目的；在简化条件下采用BP神经网络的方法拟合Agcnt踢球力量和速度的关系，以便应用到简单的踢球动作的选择中。
2．改进现有的神经网络的截球方法，构造出一种新的基于BP神经网络的截球动作模型，并将该模型直接应用到传球的判断中，实现了传球路线的选择；将RBF神经网络引入到射门模型中，根据强化学习和BP神经网络结合的思想提出了一种新的基于前向神经网络的Q学习的算法，较好的实现了射门模型。 |
| 【论文题纲】 |
|
摘要 |
5-6 |
|
Abstract |
6-9 |
|
第一章 绪论 |
9-14 |
|
1.1 研究背景 |
9 |
|
1.2 足球机器人的研究意义 |
9-10 |
|
1.3 RoboCup研究现状 |
10-12 |
|
1.4 本文主要内容及研究成果 |
12 |
|
1.5 本文的组织结构 |
12-14 |
|
第二章 RoboCup仿真比赛系统 |
14-22 |
|
2.1 仿真比赛系统的构成 |
14-16 |
|
2.1.1 服务器(Server) |
15-16 |
|
2.1.2 监视器(Monitor) |
16 |
|
2.2 感知模型 |
16-19 |
|
2.2.1 听觉感知模型 |
17 |
|
2.2.2 视觉感知模型 |
17-19 |
|
2.2.3 身体感知模型 |
19 |
|
2.3 运动模型 |
19-20 |
|
2.4 动作模型 |
20-21 |
|
2.5 本章小结 |
21-22 |
|
第三章 RoboCup中主要的机器学习技术 |
22-31 |
|
3.1 机器学习概述 |
22-23 |
|
3.2 RoboCup中主要的机器学习技术 |
23-30 |
|
3.2.1 人工神经网络 |
23-26 |
|
3.2.2 强化学习 |
26-30 |
|
3.3 本章小结 |
30-31 |
|
第四章 Agent个体基本动作的实现 |
31-40 |
|
4.1 仿真环境下的kick命令 |
31-32 |
|
4.2 问题描述及相关工作 |
32-34 |
|
4.3 Q学习的方法确定踢球路线 |
34-37 |
|
4.3.1 状态离散 |
34-35 |
|
4.3.2 学习过程 |
35-36 |
|
4.3.3 在线规划 |
36-37 |
|
4.3.4 测试评价 |
37 |
|
4.4 神经网络的方法拟合踢球力量和动作的关系 |
37-39 |
|
4.5 本章小结 |
39-40 |
|
第五章 动作决策模块的实现 |
40-60 |
|
5.1 截球技术的实现 |
40-46 |
|
5.1.1 问题描述及相关工作 |
40-41 |
|
5.1.2 截球的典型算法——几何分析法 |
41-42 |
|
5.1.3 使用神经网络的方法实现截球的策略 |
42-43 |
|
5.1.4 实验过程 |
43-45 |
|
5.1.5 应用实例分析 |
45-46 |
|
5.2 利用截球模型实现传球算法 |
46-49 |
|
5.2.1 问题概述 |
46-47 |
|
5.2.2 传球路线的生成 |
47-48 |
|
5.2.3 传球路线的确定 |
48-49 |
|
5.3 射门技术的实现 |
49-59 |
|
5.3.1 问题描述及相关工作 |
49-50 |
|
5.3.2 用神经网络实现射门的方法 |
50-55 |
|
5.3.3 Q学习的方法实现射门决策 |
55-59 |
|
5.4 本章小结 |
59-60 |
|
第六章 总结与展望 |
60-62 |
|
6.1 总结 |
60 |
|
6.2 展望 |
60-62 |
|
参考文献 |
62-66 |
|
致谢 |
66 |
|
| 【DOI】 | LunWen.ID:2.2008.389005 |
