《前馈神经网络分析与设计》系统地论述了前馈神经网络的主要理论、设计基础及应用实例，旨在使读者了解神经网络的发展背景和研究对象，理解和熟悉它的基本原理和主要应用，掌握它的结构模型和设计应用方法，特别是前馈神经网络的参数学习算法和结构设计方法，为深入研究和应用开发打下基础。为了便于读者理解，书中尽量避免烦琐的数学推导，加强了应用举例，并在内容的选择和编排上注意到读者初次接触新概念的易接受性和思维的逻辑性。作为扩充知识，书中还介绍了前馈神经系统的基本概念、体系结构、控制特性及信息模式。

更多科学出版社服务，请扫码获取。

《前馈神经网络分析与设计》适合高校控制与信息类专业研究生、智能科学技术专业本科生以及各类科技人员阅读。

  乔俊飞，男，北京工业大学教授、博士生导师。国家杰出青年科学基金获得者，北京高等学校精品课程（自动控制原理）负责人。现任中国人工智能学会理事、中国自动化学会智能自动化专业委员会委员、中国自动化学会过程控制专业委员会委员、北京自动化学会常务理事，《控制工程》、《北京工业大学学报》等期刊编委。入选教育部新世纪优秀人才计划、北京市科技新星计划等。乔俊飞教授长期从事计算智能及智能信息处理方面的研究工作，已在IEEE Transactions on Neural Networks and Learning Systems、IEEE Transactions on Fuzzy Systems等权威刊物上发表学术论文近百篇；获得授权国家发明专利12项，软件著作权8项。并先后获得教育部科学技术进步一等奖（个人排名第一）、北京市教育教学成果奖二等奖（个人排名第一）、北京市优秀教师等10余项省部级及以上奖励。

目录
总序
前言
第1章 绪论 1
1.1 引言 1
1.2 神经网络及其发展 2
1.2.1 神经网络的定义 2
1.2.2 神经网络的功能 3
1.2.3 神经网络的发展 4
1.2.4 神经网络的应用 7
1.3 人工神经网络的结构设计 9
1.3.1 人工神经网络的结构 9
1.3.2 前馈神经网络结构设计研究现状 10
1.4 本书主要内容 13
1.4.1 神经网络参数学习算法研究 14
1.4.2 神经网络结构设计方法研究 14
1.4.3 自组织神经网络结构算法研究 15
1.4.4 应用研究 15
参考文献 17
第2章 感知器神经网络 23
2.1 引言 23
2.2 感知器神经网络分析 23
2.2.1 单神经元分析 24
2.2.2 单层感知器神经网络 25
2.2.3 多层感知器神经网络 28
2.3 感知器神经网络学习算法 30
2.3.1 隐含层与输出层之间的权值修正 33
2.3.2 输入层与隐含层之间的权值修正 34
2.3.3 BP算法的改进 36
2.4 本章小结 43
附录A 数学基础 44
附录A.1 泰勒引理 44
附录A.2 泰勒定理和推论 46
参考文献 49
第3章 RBF神经网络 53
3.1 引言 53
3.2 RB神经网络原理 54
3.2.1 插值计算 54
3.2.2 模式可分性 56
3.2.3 正规化法则 57
3.2.4 RB神经网络结构 58
3.3 RB神经网络学习算法 59
3.3.1 中心值学习策略 59
3.3.2 隐含层和输出层连接权值学习策略 63
3.4 本章小结 67
附录B 数学运算 67
附录B.1 域和向量空间 67
附录B.2 矩阵的表示和运算 69
附录B.3 矩阵的性质 70
附录B.4 矩阵范数的运算 75
参考文献 76
第4章 模糊神经网络 80
4.1 引言 80
4.2 模糊推理系统描述 81
4.2.1 模糊集合与隶属函数 81
4.2.2 模糊运算 83
4.3 模糊神经网络结构 87
4.4 模糊神经网络学习算法 89
4.5 本章小结 93
参考文献 94
第5章 前馈神经网络快速下降算法研究 98
5.1 引言 98
5.2 神经网络学习 98
5.2.1 神经网络结构及信息处理 98
5.2.2 神经网络学习算法分析 100
5.3 快速下降算法 101
5.3.1 快速下降算法描述 101
5.3.2 快速下降算法收敛性分析 104
5.4 仿真研究 108
5.4.1 感知器神经网络仿真研究 109
5.4.2 RBF神经网络仿真研究 112
5.5 本章小结 117
参考文献 118
第6章 前馈神经网络改进型递归最小二乘算法研究 123
6.1 引言 123
6.2 递归最小二乘算法 124
6.2.1 递归最小二乘算法描述 124
6.2.2 递归最小二乘算法分析 128
6.3 改进型递归最小二乘算法 129
6.3.1 改进型递归最小二乘算法描述 130
6.3.2 改进型递归最小二乘算法收敛性分析 131
6.4 改进型递归最小二乘算法的应用 132
6.4.1 非线性函数逼近 133
6.4.2 双螺旋模式分类 135
6.4.3 污泥膨胀预测 137
6.5 本章小结 142
参考文献 143
第7章 基于显著性分析的快速修剪型感知器神经网络 148
7.1 引言 148
7.1.1 增长型神经网络 148
7.1.2 修剪型神经网络 152
7.2 显著性分析 153
7.2.1 误差曲面分析 153
7.2.2 显著性分析算法 155
7.3 基于显著性分析的快速修剪算法 156
7.3.1 多层感知器神经网络 157
7.3.2 多层感知器神经网络快速修剪算法 158
7.3.3 仿真研究 160
7.4 本章小结 167
参考文献 168
第8章 增长-修剪型多层感知器神经网络 174
8.1 引言 174
8.2 敏感度计算 175
8.2.1 敏感度分析方法的分类 175
8.2.2 敏感度分析方法 178
8.2.3 敏感度计算 181
8.3 神经网络输出敏感度分析 182
8.3.1 敏感度分析的频域研究 182
8.3.2 神经网络输出敏感度分析 187
8.4 增长-修剪型多层感知器神经网络分析 189
8.4.1 隐含层神经元的敏感度 189
8.4.2 神经元增长和修剪 192
8.4.3 增长修剪型感知器神经网络 193
8.4.4 收敛性分析 195
8.5 增长-修剪型多层感知器神经网络应用 197
8.5.1 非线性函数逼近 197
8.5.2 数据分类199
8.5.3 生化需氧量软测量 202
8.6 本章小结 208
参考文献 210
第9章 弹性RBF神经网络 215
9.1 引言 215
9.2 RBF神经网络描述 216
9.3 弹性RBF神经网络 217
9.3.1 神经元修复准则 217
9.3.2 神经网络结构优化设计 219
9.3.3 弹性RBF神经网络 221
9.3.4 收敛性分析 221
9.4 弹性RBF神经网络应用 224
9.4.1 非线性函数逼近 224
9.4.2 非线性系统建模 227
9.4.3 溶解氧模型预测控制 231
9.5 本章小结 238
附录C 熵 239
附录C.1 熵的概念 239
附录C.2 互信息 240
参考文献 242
第10章 自组织模糊神经网络 248
10.1 引言 248
10.2 模糊神经网络 249
10.3 自组织模糊神经网络分析 253
10.3.1 模糊神经网络结构优化 253
10.3.2 模糊神经网络自组织设计算法 256
10.3.3 收敛性分析 258
10.4 自组织模糊神经网络应用 260
10.4.1 非线性系统建模 260
10.4.2 Mackey-Glass时间序列系统预测 263
10.4.3 污水处理关键水质参数预测 266
10.4.4 污水处理过程溶解氧控制 269
10.5 本章小结 272
参考文献 273
索引 278

第1章 绪论
1.1 引言脑和神经系统是人体结构、功能中最复杂的系统，随着分子生物学、细胞生物学的发展，大规模开展脑研究成为可能［1］。众所周知，数字计算机具有很强的计算和信息处理能力，但是它对于模式识别、感知以及在复杂环境中作决策等问题的处理能力却远不如人。神经生理学研究结果表明，人的智能主要取决于大脑皮层，而大脑皮层是一个大规模互连的生物神经网络生物神经网络［2］。探求大脑的组织结构和运行机制，从模仿人脑智能的角度出发，寻求新的信息处理方法是当前人工智能领域的研究热点问题。国家中长期科学和技术发展规划纲要中也明确指出：脑功能的细胞和分子机理、脑学习记忆和思维等高级认知功能的过程及其神经基础、脑信息表达等研究方向属于当前的科学前沿问题［3］。
高性能、低成本、普适计算和智能化等是当前信息科学发展的主要方向，寻求新的计算与处理方式和物理实现是未来信息技术领域面临的重大挑战［3］。人工神经网络人工神经网络的研究正是在与传统计算方法挑战的过程中得以发展、壮大，目前已经成为人工智能领域中最活跃的研究方向之一。一般来说，神经网络主要研究ABC2等问题，即人工神经网络人工神经网络(artificial neural network, ANN)、生物神经网络生物神经网络(biological neural network, BNN)、认知科学认知科学(cognitive science)和混沌混沌(chaos)［4］。人工神经网络的研究主要集中在神经网络结构和学习算法的研究两方面［5］。近年来随着脑科学、神经生物学的发展，人工神经网络结构的研究开始全面向生物神经系统靠拢。
人工神经网络是智能科学的重要组成部分，已经成为脑科学、认知科学、计算机科学、数学和物理学等学科共同关注的焦点。其应用研究已经渗透到工业、农业、国防、航空等领域，并且在信号处理、智能控制、模式识别、图像处理、非线性优化、知识处理等方面取得了令人鼓舞的进展［6-11］。
从20世纪80年代初复苏以来，人工神经网络在计算能力、对任意连续映射的逼近能力、学习理论以及动态网络稳定性分析等方面都取得了丰硕的成果［12］。在结构设计方面，除了经典的神经网络外却鲜有突破性进展，但这方面的工作已引起了学者们的广泛关注［13-15］。神经网络实际应用的需求驱动了其理论研究的发展，其实每一个成功的应用都需要对神经网络进行精心设计。可见，人工神经网络结构优化设计是神经网络成功应用的核心技术，对其展开研究也是神经网络推广应用的客观需要。
人工神经网络就是借鉴生物神经网络生物神经网络结构和生物神经元工作机理，在一定程度上模拟人脑功能的信息处理系统。人工神经网络已经在模式识别、组合优化、函数逼近、智能控制、过程建模等方面得到成功应用，应用前景不容置疑。但目前的神经网络多数是通过足够的设计经验和充足的数据确定其结构，且神经网络结构一旦确定之后将不再调整。对一些工况变化不大、动态特性比较平稳的任务，理论和实践都已经证明通过调整神经网络参数可以满足实际需要。但是对于工况变化异常剧烈、动态特性呈现出很强的非线性的任务，其效果往往不佳。传统的固定结构人工神经网络性能仅仅由参数学习算法提供，在工作过程中，只是通过改变神经网络的参数以适应任务的变化。而神经计算领域的研究结果显示生物神经网络生物神经网络之所以有如此强大的信息处理能力，与生物神经网络生物神经网络的结构有很大的关系，生物神经网络生物神经网络的信息传输和信息处理能够根据信息量和复杂度进行自组调整神经网络结构连接方式。为了进一步推进人工神经网络对人脑功能的模拟，解决人工神经网络结构动态优化设计的问题，本书详细介绍了几种典型前馈神经网络；并描述了几种前馈神经网络学习算法；最后分析了神经网络性能与神经网络结构之间的联系，介绍了前馈神经网络结构生长和削减的演化机制，基于此获得几种自组织前馈神经网络。
1.2 神经网络及其发展
1.2.1神经网络的定义人工神经网络，简称神经网络，是由大量简单的处理单元——人工神经元人工神经元(artificial neuron)互相连接而组成的一个高度非线性、并行的自适应的信息处理系统。神经网络是一个非线性的动力学系统，打破了传统的串行处理计算机的局限，以并行分布式存储和处理信息，尽管单个神经元的结构和功能都比较简单，但大量的神经元组合起来却具有强大的处理问题的能力。神经网络旨在模仿人脑或生物的信息处理系统，是对人脑功能的一种模仿与简化，具有学习、记忆、联想、类比、计算以及智能处理的能力，是现代神经科学研究与工程技术相结合的产物。神经网络理论的开创与发展，对智能科学和信息技术的发展产生了重大的影响和积极的推动作用。
1943年美国神经生理学家McCulloch和Pitts提出的第一个神经网络模型M-P模型［16］，开创了微观人工智能的研究工作，奠定了人工神经网络发展的基础。人工神经网络经过几十年的发展，无论是在理论研究还是在工程应用方面都取得了较为丰富的科研成果。
1.2.2 神经网络的功能
神经网络是通过对人类大脑结构和功能的模拟建立起来的一个非线性、自适应的高级信息处理系统。它是现代神经科学研究与工程技术应用相结合的产物，通过对大脑的模拟进行信息处理。神经网络具有强大的计算能力，是由其本身大规模的并行分布式结构和较好的学习能力以及由此延伸而来的泛化能力决定。神经网络具有非线性、分布/处理、容错性、自适应性等显著特点，如图1-1所示。
图1-1神经网络的特点
1.非线性
神经网络的单个处理单元——人工神经元人工神经元可以是线性或非线性的，但是由此互相连接而成的神经网络本身却是非线性的。此外，非线性是一种分布于整个网络的特殊性质。因此，神经网络具有非线性映射能力，且理论研究已经表明一个三层的神经网络能够以任意精度逼近非线性系统。
2.并行分布/处理
神经网络是为模拟大脑的结构和功能而建立的一种数学模型，大量的人工神经元人工神经元相互连接成一个高度并行的非线性动力学系统。尽管单个人工神经元人工神经元的功能都十分简单，但大量神经元的并行活动使得整个网络呈现出较强大的处理能力。神经网络中信息的存储体现在神经元之间互相连接的并行分布结构上，进而使得信息的处理必然采用大规模的并行分布方式进行，即神经网络中信息的存储和处理是在整个网络中同时进行的，信息不是存储在神经网络中的某个局部，而是分布在网络的所有单元之中。一个神经网络可以存储多种信息，而神经元连接权值中只存储多种信息的一部分。神经网络的内在结构的并行分布方式，使得信息的存储和处理在空间与时间分布上均是并行的。神经网络中的数据及其处理是全局的而不是局部的。
3.容错性
神经网络善于联想、概括、类比和推广，加之神经网络信息存储和处理的并行特性，使得神经网络在以下两个方面表现出较好的容错性。一方面，由于网络的信息采用分布式存储，分布在各个神经元的连接权值之中，当网络中某一神经元或连接权值出现问题时，局部的改变将不会影响网络的整体非线性映射。这一点，与人的大脑中每时每刻都有神经细胞的正常死亡和分裂，但不会影响大脑的整体功能相类似。另一方面，当网络的输入信息模糊、残缺或不完整时，神经网络能够通过联想、记忆等实现对输入信息的正确识别。
4.自适应性
自适应性是指系统能够通过改变自身的某些性能以适应外界环境变化的能力。自适应性是神经网络的一个重要特性。神经网络的自学习能力表现在，当外界环境发生改变，即网络的输入变化时，神经网络通过一段时间的学习和训练，能够自动调整网络的结构和参数，从而给出期望的输出。可以在学习过程中不断地完善自身，具有创新的特点。而其自组织特性则表现在，神经网络在接收外部激励后可以根据一定的规则通过对网络权值的调整以及神经元的增减来重新构建新的神经网络。神经网络不但可以处理各种变化的信息，而且在其学习阶段可以根据流过网络的外部和内部信息对自身的连接权值（结构）进行调整，从而改变网络本身的非线性动力学特性，从而实现对外界环境的变化。
1.2.3 神经网络的发展
人工神经网络是一门新兴交叉学科，是人类智能研究的重要组成部分，人工神经网络借鉴了神经科学的研究成果，基于模仿人类大脑的结构和功能构成的一种信息处理系统，具有广泛的应用前景。已成为脑科学、神经科学、认知科学、心理学、计算机科学、数学和物理学等共同关注的焦点。它模仿人脑神经网络的结构和某些工作机制建立一种计算模型，在过去半个多世纪中一直统治着信息处理的程序化计算。人工神经网络的应用和发展不但推动神经动力学本身的发展，而且为智能计算提供了新的现代化方法，有可能给信息科学带来革命性的变化。虽然目前人工神经网络的研究正处在前所未有的热潮中，但它的发展却不是一帆风顺的。从研究时间递推的角度看，人工神经网络研究主要经历了兴起与高潮、萧条、稳步发展的较为曲折的道路，如图1-2所示。
图1-2人工神经网络的发展
1.兴起与高潮期(1940-1970年)
1943年，心理学家McCulloch和数理逻辑学家Pitts提出了M-P模型［16］，这是第一个用数理语言描述脑的信息处理过程的模型，虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。1949年，心理学家Hebb提出突触联系可变的假设［17］，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。1957年，计算机科学家Rosenblatt提出了著名的感知机模型［18］，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络，第一次把神经网络研究付诸工程实现。1960年，Windrow提出了自适应线性单元(ADAIINE)［19］，主要用于自适应系统。这些简单网络中所体现的许多性质，如并行处理、分布式存储、连续计算、可学习性等，因而引起了不少人的兴趣。至此，人工神经网络的研究工作进入了第一个高潮［20］。
……