| 【中文题名】 | 基于神经网络和最大熵原理的自适应算术编码方法 |
| 【英文题名】 | |
| 【学科专业】 | 应用数学 |
| 【论文级别】 | 硕士论文 |
| 【投稿时间】 | 2004-7-21 |
| 【中关键词】 | 算术编码,最大熵,神经网络,,, |
| 【英关键词】 | Arithmetic coding,Maximum entropy,Neural network, |
| 【分类导航】 | 数理科学和化学>数学>代数、数论、组合理论>组合数学（组合学）>编码理论（代数码理论）> |
| 【论文摘要】 |
通用无损数据编码是数据压缩领域的一个重要的分支，现有的无损数据编码方法大多是基于n-gram模型的，n-gram模型忽略了自然语言中的远距离约束和诸如词序冗余、语义冗余、句法冗余等冗余，为了找出并减少这些冗余，需要更有效的语言模型和更智能的算法。近几年的自然语言处理研究表明，最大熵原理是建立自然语言统计模型的一个很有效的方法。而在许多领域应用广泛的人工神经网络具有自适应和自学习的特点，成为数据编码方法的一个理想选择。
传统的人工神经网络数据编码算法需要离线训练且编码速度慢，因此通常多用于专用有损编码领域如声音、图像编码等，在无损数据编码领域应用较少，针对这种现状，本文详细地研究了最大熵统计语言模型和神经网络算法各自的特点，在此基础上提出了一种基于神经网络和最大熵原理的算术编码方法，这是一种自适应的可在线学习的算法，并具有精简的网络结构。实验表明，这种算法在压缩率上优于传统的算法，在编码和解码速度上接近于传统的数据编码方法。 |
| 【论文题纲】 |
|
摘要 |
2-3 |
|
ABSTRACT |
3-4 |
|
目录 |
4-6 |
|
第1章 前言 |
6-9 |
|
1.1 选题的依据 |
6 |
|
1.2 国内外的研究现状 |
6-8 |
|
1.2.1 通用无损数据编码技术的发展 |
6-7 |
|
1.2.2 神经网络在专用压缩领域中的应用 |
7-8 |
|
1.2.3 神经网络在通用无损数据编码中的应用现状 |
8 |
|
1.3 研究内容与成果 |
8-9 |
|
第2章 数据编码理论与技术 |
9-21 |
|
2.1 数据编码理论 |
9-16 |
|
2.1.1 离散无记忆信源的熵 |
9-11 |
|
2.1.2 率失真理论 |
11-14 |
|
2.1.3 条件熵与相关信源 |
14-16 |
|
2.2 数据编码技术 |
16-21 |
|
2.2.1 数据编码方法的分类 |
16-17 |
|
2.2.2 目前主要的无损数据编码方法介绍 |
17-21 |
|
第3章 神经网络系统概论 |
21-27 |
|
3.1 神经网络的基本模型 |
21-22 |
|
3.2 神经网络模型的分类 |
22-23 |
|
3.3 神经网络模型的结构特点 |
23 |
|
3.4 神经网络的学习算法 |
23-26 |
|
3.4.1 神经网络的学习方式 |
23-24 |
|
3.4.2 神经网络的学习方法 |
24-25 |
|
3.4.3 几种常用的神经网络学习算法 |
25-26 |
|
3.5 神经网络的实现 |
26-27 |
|
第4章 最大熵原理 |
27-31 |
|
4.1 负指数分布 |
27-29 |
|
4.2 正态分布 |
29-30 |
|
4.3 均匀分布 |
30-31 |
|
第5章 最大熵神经网络算术编码 |
31-56 |
|
5.1 算术编码 |
31-35 |
|
5.1.1 原理 |
31-32 |
|
5.1.2 自适应算术编码方法 |
32-33 |
|
5.1.3 PPM算术编码方法 |
33-35 |
|
5.2 神经网络算术编码方法设计思路 |
35-37 |
|
5.2.1 两个典型的神经网络算法 |
35-36 |
|
5.2.2 神经网络算术编码方法框架 |
36-37 |
|
5.3 选用合适的语言模型 |
37-40 |
|
5.3.1 N-gram语言模型 |
37-38 |
|
5.3.2 N-pos模型 |
38 |
|
5.3.3 基于决策树的语言模型 |
38-39 |
|
5.3.4 动态、自适应、基于缓存的语言模型 |
39 |
|
5.3.5 以上几种模型存在的缺陷 |
39-40 |
|
5.3.6 基于最大熵方法的统计语言模型 |
40 |
|
5.4 最大熵统计语言模型建立 |
40-43 |
|
5.4.1 问题的描述 |
40 |
|
5.4.2 训练数据 |
40-41 |
|
5.4.3 特征、特征函数及约束 |
41 |
|
5.4.4 最大熵解 |
41-43 |
|
5.4.5 确定特征参数λ和p(yx)的迭代算法 |
43 |
|
5.5 最大熵神经网络算法 |
43-49 |
|
5.6 算法的具体实现和速度优化 |
49-53 |
|
5.6.1 程序的流程图 |
49-50 |
|
5.6.2 散列表实现输入层 |
50-51 |
|
5.6.3 速度优化 |
51-53 |
|
5.7 测试结果 |
53-56 |
|
第6章 结论与建议 |
56-57 |
|
致谢 |
57-58 |
|
参考文献 |
58-60 |
|
| 【DOI】 | LunWen.ID:2.2008.11461 |
