基于改进型Hopfield神经网络的盲检测新算法研究
考研招生网
Y1010020711冯迪于舒娟
电路和系统
无线通信系统中的信号处理技术工程硕士二一三年二月学号
叫名鉴师
学科专业研究人员申请学位类别论文提交日期
investigationonnewblinddetectionalgorithmbasedonimprovedhopfieldneuralnetworkthesissubmittedtonanjinguniversityofpostsandtelectecandtelechectectionged
丰迪
supervisor : prof.yushujuanfebruary 2013 I
摘要
基于Hopfield神经网络的盲检测算法由于不依赖统计量，适用于复杂信道，在无线通信领域得到广泛应用和深入研究，但也存在不足之处。 本文针对这些问题展开了研究，本文的主要工作如下。
(1)研究分析了连续Hopfield神经网络和基于连续Hopfield神经网络的盲检测算法。 该算法利用接收信号矩阵与发射信号矩阵之间的关系建立了盲检测优化问题的代价函数。 同时通过权重矩阵的有效配置，将信号盲检测问题巧妙地转化为连续Hopfield神经网络稳定平衡点的求解问题。 仿真验证表明，基于连续Hopfield神经网络的盲检测算法可以应用于不依赖统计量、包含公零点的信道，具有一定的普遍性，各方面性能都与传统的基于统计量的经典文献盲检测算法(txxx 但发现算法在低信噪比环境下误码率过高。
)2)针对基于连续Hopfield神经网络的盲检测算法在低信噪比环境下误码率过高的缺点，提出了一种改进激活函数的Hopfield盲检测算法。 同时证明了同步更新模式和异步更新模式下算法的稳定性。 仿真分析表明，该算法通过改进激活函数有效降低了神经元对输入值的灵敏度，提高了算法的抗干扰能力。 但是，也存在激活函数缺乏灵活性的问题。 )3)针对基于连续Hopfield神经网络的盲检测算法及其改进算法缺乏激活函数灵活性的缺点，提出了一种基于滞后Hopfield神经网络的盲检测算法。 同时证明了滞环Hopfield神经网络的稳定性，给出了滞环激活函数的调节机制，探究了噪声对实验的影响。 仿真结果表明，时延Hopfield神经网络可以大概率收敛于全局最优点，算法性能优于传统的基于连续Hopfield神经网络的盲检测算法。 但是算法依赖于多个起点，在单一起点条件下算法有可能陷入局部最优解。 )4)为了实现只有单一起点才能得到最优解的问题，提出了一种基于暂态混沌神经网络的盲检测算法，重点阐述了其模拟退火机构和参数的设计。 仿真结果表明，算法在单起点条件下可以成功实现发射信号的盲检测。
关键词： Hopfield神经网络，盲检测，激活函数，普适IIAbstract
blinddetectionalgorithmsbasedonhopfieldneuralnetworkshavebeenwidelyusedinwirelesscommunicationbecauseofitsabilitytobefitforthed relyonstatisticalinformation，goodperformanceincomplexchannelenvironmentsandgooduniversity ".theresearchwork
(1) ) ) )。 westudythecontinuoushopfieldneuralnetworksandblinddetectionalgorithmswhichisbasedoncontinuoushopfieldneuralnetworks.accordi ndi weenreceivedsignalsandtransmittedsignals，theproposedalgorithmconstructsnewoptimizationperformancefunctionstoblindlydetectsigsigals throughtheefficientconstructionoftheweightmatrixblind， thesignaldetectionproblemcanbemadetocorrespondtosolvingtheproblemofhopfieldneuralnetworkstableeequilibriumpoint.simulation Anant depend on the statistics, and is suitable for channel with common zeros and certain universality. All aspects of performances are much better than the traditional blind detection algorithms based on statistics ( TXK algorithm, SSA algorithm, LPA algorithm). But the algorithm has the shortcoming; that is, error rate is too high in the low SNR environment.
(2)To conquer the shortcoming of blind detection algorithms based on Continuous Hopfield Neural Networks, a new kind of activation function is put forward. The stabilities for networks with asynchronous and synchronous operating mode are also analyzed separately. Simulation analysis shows that the improved algorithm can effectively reduce the algorithm's sensitivity to noise and greatly improve its anti-jamming capability, so its performance has been greatly improved. But the algorithm has the shortcoming; that is, the active function is lack of flexibility. (3) To conquer the shortcoming of blind detection algorithms and its improved algorithms based on Continuous Hopfield Neural Networks, a new kind of blind detection algorithms based on Hysteresis Hopfield Neural Network is put forward. The stabilities for Hysteresis Hopfield Neural Network have been proved. In addition, the adjustment mechanism of the activation function and the impact of noise on the experiment are analyzed separately. Simulation analysis shows that blind detection algorithms based on Hysteresis Hopfield Neural Network has a tendency to overcoming local minima and its performance is better than blind detection algorithms based on Continuous Hopfield Neural Networks. But the algorithm depends on more than one starting point and the IIIcomplexity is too high.
(4) In order to only use a single starting point to obtain the optimal solution to this problem, blind detection algorithm based on transiently chaotic neural network is proposed. The simulated annealing and the parameters’ design are analyzed. Simulation analysis shows that the algorithm does not depend on starting points and has low complexity. Key words: Hopfield Neural Networks, Blind detection, Activation function,Universal applicabilityIV
目录
专用术语注释表 ....................................................................................................................................................... 1第一章 绪论 ............................................................................................................................................................. 21.1 研究背景与意义 ....................................................................................................................................... 21.2 盲检测与盲均衡技术概述 ....................................................................................................................... 31.2.1 盲检测与盲均衡技术简介 ........................................................................................................... 31.2.2 盲检测与盲均衡算法 ................................................................................................................... 41.2.3 基于人工神经网络的盲检测与盲均衡算法 ............................................................................... 5
1.3 本文的工作 ............................................................................................................................................... 61.4 本文的结构 ............................................................................................................................................... 6第二章 基于连续 Hopfield 神经网络的信号盲检测 ............................................................................................. 82.1 连续 Hopfield 神经网络概述 .................................................................................................................... 82.2 Hopfield 神经网络的能量函数及其在优化问题中的应用 ................................................................... 102.3 基于连续 Hopfield 神经网络的盲检测 ...................................................................................................112.3.1 盲检测优化问题的建立 ...............................................................................................................112.3.2 连续 Hopfield 神经网络的建立 .................................................................................................. 122.3.3 权矩阵配置与网络终止条件设置 .............................................................................................. 132.3.4 仿真实验 ...................................................................................................................................... 142.4 改进激活函数的连续 Hopfield 盲检测算法 .......................................................................................... 182.4.1 激活函数的改进 .......................................................................................................................... 182.4.2 网络的能量函数与稳定性证明 .................................................................................................. 202.4.3 仿真实验 ...................................................................................................................................... 222.5 本章小结 .................................................................................................................................................. 25第三章 基于迟滞 Hopfield 神经网络的信号盲检测 ........................................................................................... 263.1 迟滞 Hopfield 神经网络概述 .................................................................................................................. 263.2 迟滞 Hopfield 神经网络的构建及其稳定性证明 .................................................................................. 283.3 激活函数参数的调节机制 ...................................................................................................................... 303.4 权矩阵配置及噪声对实验的影响 .......................................................................................................... 323.5 仿真实验 .................................................................................................................................................. 333.6 本章小结 .................................................................................................................................................. 38第四章 基于暂态混沌神经网络的信号盲检测 ................................................................................................... 394.1 暂态混沌神经网络概述 .......................................................................................................................... 394.2 暂态混沌神经网络的构建及其模拟退火机制 ...................................................................................... 404.2.1 暂态混沌神经网络的模型 .......................................................................................................... 40 4.2.2 暂态混沌神经网络中的模拟退火机制及参数设计 .................................................................. 41 4.2.3 暂态混沌神经网络与 Hopfield 神经网络的比较 ...................................................................... 42 4.3 仿真实验 .................................................................................................................................................. 444.4 本章小结 .................................................................................................................................................. 49第五章 总结与展望 ............................................................................................................................................... 505.1 本文总结 .................................................................................................................................................. 505.2 研究展望 .................................................................................................................................................. 51参考文献 ................................................................................................................................................................. 53附录 1 攻读硕士学位期间撰写的论文 ................................................................................................................ 56附录 2 攻读硕士学位期间申请的专利 ................................................................................................................ 57
致谢 ......................................................................................................................................................................... 58南京邮电大学硕士研究生学位论文 专用术语注释表1
专用术语注释表符号说明：min( ) 取最小值
sigmoid 符号函数 T 转置 H
共轭转置 取模值 求偏导
1 f ( ) 逆函数 缩略词说明：BER Bit Error Rate 比特误码率
BPSK Binary Phase Shift Keying 二值相移键控调制CMA Constant Modulus Algorithm 恒模算法DHNN Discrete Hopfield Neural Network 离散 Hopfield 神经网络HNN Hopfield Neural Network Hopfield 神经网络HHNN Hysteresis Hopfield Neural Network 迟滞 Hopfield 神经网络ISI Inter Symbol Interference 符号间干扰
LPA Linear Prediction Algorithm 线性预测算法MIMO Multi -input Multi-output 多输入多输出QAM Quadrature Amplitude Modulation 正交振幅调制QPSK Quadrature Phase Shift Keying 四值相移键控调制SIMO Single-input Multi -output 单输入单输出SSA Subspace Algorithm 子空间算法SNR Signal-to-Noise Ratio 信噪比TCNN Transiently Chaotic Neural Network 暂态混沌神经网络南京邮电大学硕士研究生学位论文 第一章 绪论
2
第一章 绪论
1.1 研究背景与意义
近年来，随着移动通信技术和物联网技术的迅速发展，人们对通信系统的容量和可靠性提出了更高的要求。然而，由于无线多径时变信道引起的码间干扰（ISI）会严重影响通信系统的性能,快速而又即时的信道均衡是必要的。传统的均衡技术依赖于训练序列，通过训练序列进行滑动，从而得到信道的多普勒频谱、瞬时时延功率谱等参数。进而更新均衡器系数，补偿信道特性，最终达到消除码间干扰的目的。但是，传统的依赖于训练序列的均衡技术的不足日趋明显，主要表现在如下的几个方面：第一，传统的均衡技术需要定期的发送训练序列，而宽带无线通信信道是快速时变的，要保证对信道的实时均衡，则必须频繁地发送训练序列，就会占用大量的带宽，造成通信资源和效率的极大浪费。
第二，实际的通信环境是复杂的，信道所受的干扰也是未知的。如果接收机无法实现信道的跟踪，则可能导致信号的中断。在这种情况下，为了重新建立通信，发送端则必须再次发送训练序列，进而初始化接收机。这样会使得通信过程变得更为复杂，技术上也难以实现。第三，传统的均衡技术所依赖的条件过于理想，它要求发送端发送训练序列，接收端必须完全同步，才能实现均衡。也就是说在一点对多点的通信环境中，主机对各个终端同时发送训练序列，然后对各个终端对应的子信道进行均衡。而当有新终端需要加入时，主机必须停止一切工作，重新进行同步和均衡。这显然不能满足现代通信对均衡的要求。第四，在物联网和无线传感网等新兴通信环境中，由于传感器节点通常处于快速移动状态，此时的信道具有明显的时变特性。这时如果利用训练序列进行均衡，则会造成发送的训练序列难以平稳，而非平稳的序列是难以实现均衡的。同时传感器节点通常以电池作为能量来源，过于频繁的使用训练序列进行均衡，必然会造成传感器节点的能量损耗。这无法满足物联网和无线传感网等新兴环境下的通信对于均衡的要求。盲信道均衡和盲信号检测由于不依赖训练序列，仅仅利用接受信号序列本身的特性便能够实现信道的均衡和信号的检测，从而提高了通信系统的容量和可靠性。因此对它的研究成为近年来无线通信领域最为活跃的分支之一。已有的文献盲检测和盲均衡算法大都建立在统计量的基础上，存在所需数据量大、收敛速度慢、容易陷入局部最优点等不足之处。同时随着物联网技术的迅速发展，由于传感器节点复杂分布，信道的时变特性变的更为明显。这就南京邮电大学硕士研究生学位论文 第一章 绪论
3
要求盲检测和盲均衡算法具有一定的普适性，具备对抗复杂时变信道（比如含公零点信道）的能力。
基于以上背景，目前，不依赖统计量的、不受限于公零点信道的 Hopfield 盲检测和盲均衡算法具有一定的研究价值。本文在解了当前的技术发展背景的情况下，提出了本文的研究课题，即“基于改进型 Hopfield 神经网络的盲检测新算法研究”。1.2 盲检测与盲均衡技术概述1.2.1 盲检测与盲均衡技术简介
盲检测与盲均衡技术是盲信号处理技术中的一个重要的研究方向，同时也是各个学科的研究热点。所谓盲检测与盲均衡技术就是在发送端信号和信道信息均是未知的情况下，仅依靠接受端获取的信号来实现发送端信号的检测与信道的均衡。盲均衡与盲检测的原理如图1.1所示：假设系统发送信号序列为s n( ) ，传输信道的有限冲激响应为h(n) ，信道的加性高斯白噪声为v n( ) ，经过信道传输后的接受序列为 x( ) n ，均衡器的冲激响应为(n) ，经过均衡器均衡后的序列为sˆ n 。图 1.1 盲检测与盲均衡的原理框图 由图 1.1 可知：
i
x n h n s n v n h is n i v n （1.1） 不考虑噪声的情况下，由式(1.1)可知 x( ) n 可由 s n( ) 和h(n) 做卷积而成。因此仅从接受序列 x( ) n 中恢复 s n( ) 序列有两种方法，一种是对 x( ) n 进行反卷积运算，二是盲辨识出信道h(n) 的逆信道 ( ) 1 h n ，但是仅仅已知 x( ) n 这一个参数，显然是无法辨识出逆信道 ( ) 1 h n 。那么该问题就变成了不适定问题，解决起来就十分困难，这时就需要依靠盲检测或盲均衡技术。南京邮电大学硕士研究生学位论文 第一章 绪论4
盲检测与盲均衡的基本原理是：利用均衡器( ) n 对信道的输出 x( ) n 进行均衡，并不断调整均衡器的系数，使得均衡器输出序列 s n ˆ 尽可能地与输入序列s n( ) 相接近，进而检测出输入序列s n( ) ，即根据观测数据估计或重建输入信号，使得 s n cs n q ˆ ( ) ，其中：c为任意常数，q 为整数时延。1.2.2 盲检测与盲均衡算法
自上世纪 80 年代以来，盲检测与盲均衡算法这一领域的研究一直非常活跃。目前的盲检测与盲均衡算法大体可以分为如下几大类： 按算法所依赖的信号特征可分为：基于高阶统计量的盲检测与盲均衡算法、基于二阶统计量的盲检测与盲均衡算法和基于有限字符集的盲检测与盲均衡算法。
（1）基于高阶统计量的盲检测与盲均衡算法[1][2][3][4],比如 Bussgang 算法及其改进算法、恒模 CMA 算法及其改进算法。这类算法物理概念比较清楚,运算量相对较小，算法在思路上保持了传统自适应均衡的简单性。但是此类算法的不足之处是：严重依赖数据量，收敛时间长，仅适用于高斯加性噪声。同时此类算法需要知道发送信号的字符集特性。（2）基于二阶统计量的盲检测与盲均衡算法[5][6][7] ，比如 TXK 算法、子空间 SSA 算法、线性预报 LPA 算法。这类算法收敛速度较快，所依赖的数据量较小，并且噪声也不局限于高斯加性噪声。但是此类算法存在的问题是：要求已知被均衡信道的阶数，要求子信道不存在公零点。同时此类算法对发送信号的统计量特性有严格的限制，当发送信号不符合统计量特性时，算法是失效的。（3）基于有限字符集的盲检测与盲均衡算法[8][9] ，此类算法仅仅利用发送信号的有限字符集特性，除了发送信号序列是“独立同分布”、“零均值”、“属于有限字符集”外，没有利用任何其他统计信息。但是此类算法比较适用于简单的 BPSK 信号，对于较为复杂的 QAM信号就会因计算量复杂而失效。 按算法实现的步骤可以分为：直接盲检测信号的盲检测与盲均衡算法，需要设计均衡器的盲检测与盲均衡算法。
（1）直接盲检测信号的盲检测与盲均衡算法[10][11]，此类算法不需要设计均衡器也不需要辨识信道，就可以盲检测发送信号。（2）需要设计均衡器的盲检测与盲均衡算法[5][6][7]，此类算法需要设计均衡器的结构，南京邮电大学硕士研究生学位论文 第一章 绪论5
自适应地调节均衡器的系数来实现信号的盲检测与信道的盲均衡。 1.2.3 基于人工神经网络的盲检测与盲均衡算法
人工神经网络[11] [12]在结构上由许多简单的神经元组合而成，每个神经元并行处理信息，具备处理大规模数据的能力。同时人工神经网络通过各个神经元之间的连接以及各连接的权值来表示信息。因此当网络局部受损时，仍然能够恢复出原来的信息。此外人工神经网络作为一种可变的结构，具有强大的自学习、自组织能力，能够适应外界环境的变化，自适应地处理不同的信息。因此，利用人工神经网络来实现信号的盲检测与信道的盲均衡是可行的。目前基于神经网络的盲检测与盲均衡算法主要有以下几种：（1）基于前馈神经网络的盲检测与盲均衡算法
文献[13,14]提出了一种基于前馈神经网络的盲检测与盲均衡算法。此算法利用接受信号的高阶谱对信道进行辨识，然后再利用神经网络的非线性，构造出被辨识信道的逆信道。该算法有效克服了信道阶数不确定所带来的不良影响，同时对噪声有一定的容错性。但是这种算法收敛速度比较慢，不适用于现有的时变通信信道。文献[15]针对传统前馈神经网络的盲检测与盲均衡算法容易陷入局部最优点的缺点，首次将分层反向传播算法应用于多层反馈网络之中，使得算法的性能显著提高。（2）基于遗传优化神经网络的盲检测与盲均衡算法
文献[16]针对水声信道的特点，提出了一种基于遗传优化神经网络的盲检测与盲均衡算法。此算法在对神经网络权重优化的同时，有效地提高算法的泛化性能，能够对时变水声信道进行高效地均衡和辨识。（3）基于支持向量机的盲检测与盲均衡算法
文献[17,18,19,20]在支持向量机的统一框架上，提出针对高阶信号的盲检测新算法。同时对支持向量机的参数选择方法做了详尽的论述，新算法实现了稀疏 QAM 信号的盲检测与盲均衡，同时能够有效地避免局部最优点，收敛速度也有了显著地提高。但是不足的是此类算法对于稍密集的 QAM 信号是失效的。（4）基于模糊神经网络的盲检测与盲均衡算法
文献[21]提出一种基于模糊神经网络的盲检测与盲均衡算法。此算法利用模糊神经网络的模糊性和学习性，有效地把模糊神经均衡器与其先验知识联系起来，以此来迅速地调节均衡器的最佳参数。文献[22 )提出利用模糊神经网络的模糊规则，调整网络均衡的速度以加快模糊均衡器的收敛速度。 文献[22]还提出了利用周期性模糊神经网络进行非线性时变信南京邮电大学硕士研究生学位论文第一章绪论6
道路平衡的方法。 该方法物理结构比较简单，同时有效利用模糊神经网络的学习能力和模糊规则。 文献[23]提出了一种结构简单、计算复杂度低、可利用预标量聚类算法训练、适用于高速移动环境、功能上优化最大后验概率的模糊神经系统均衡器。 (5)基于Hopfield神经网络的盲检测和盲均衡算法
文献[24]利用连续Hopfiled神经网络对QPSK信号的盲检测进行了初步研究，证明了网络趋向稳定平衡的充要条件，并给出了稳定平衡点集大小与权矩阵主对角元大小之间的关系。 文献[25]针对多值信号的盲检测问题，提出了一种基于离散Hopfiled神经网络的多值信号直接盲检测算法，给出了离散Hopfiled神经网络的能量函数和权重矩阵配置，同时从理论上给出了网络文献[10]针对稀疏QAM信号，提出了一种基于复离散Hopfiled神经网络的盲检测算法，该算法利用接收信号的互补投影算子，将盲检测问题转化为求解带整数约束的二次规划问题，算法文献[11]提出了一种基于幅相型连续多值复Hopfiled神经网络的盲检测算法，给出了不同信号的幅相型离散多电平激活函数，同时证明了同步更新模式和异步更新模式下网络的稳定性。 1.3本文的工作
一些文献的盲检测和盲均衡算法对发射序列的长度和信道条件有着严格的要求。 文献
利用[ 10，24，25 ] Hopfield神经网络良好的自组织、自学习、自适应、高度非线性、并行信息能力，突破了这一条件的限制，实现了信号盲检测。 本文运用文献[ 10，24，25 ]的理论，进一步研究信号的直接盲检测。 具体工作如下。 (1)基于连续Hopfield神经网络，提出了新的改进激活函数，分别给出了网络同步更新模式和异步更新模式下的稳定性证明，并通过仿真验证了改进激活函数的有效性。
)2)提出了一种基于滞后Hopfield神经网络的盲检测新算法，与传统的基于连续Hopfield神经网络的盲检测算法相比新算法在检测性能上有一定的提高。 )3)与传统的基于连续Hopfield神经网络的盲检测算法相比，提出一种新算法不依赖于多个起点的基于瞬态混沌神经网络的盲检测新算法。 1.4正文结构
本文共包括五章，其组织框架如下：南京邮电大学硕士研究生学位论文第一章绪论7
第一章介绍了论文的研究背景和意义，重点介绍了盲检测技术和盲均衡技术，对盲检测和盲均衡算法进行了分类介绍，并对这些算法的优缺点进行了说明。 然后给出了本文的具体结构安排。
第二章首先介绍了连续Hopfield神经网络，包括网络的基本结构、采用的激活函数、能量函数及其在优化问题中的应用； 其次基于文献研究了基于连续Hopfield神经网络的盲检测算法，包括盲检测优化问题的建立、网络的建立、权重矩阵的配置和网络终止条件的设定，并通过仿真实验证明了算法的特点最后在文献的基础上，提出了一种改进激活函数的Hopfield盲检测算法，给出了新的激活函数，分别在同步更新模式和异步更新模式下证明了网络的稳定性，并通过仿真实验分析了改进后算法的特点和优点。 第三章首先在文献的基础上对滞环Hopfield神经网络进行了介绍，包括滞环神经元的结构、滞环激活函数的模型及其数学表达式其次根据课题的要求，针对盲测试优化问题，提出了滞环Hopfield神经网络最后通过仿真实验分析了新算法的特点和优点。
第四章首先根据文献对暂态混沌神经网络进行了概述； 接下来在文献的基础上，结合盲测试优化问题，建立了瞬态混沌神经网络，论述了其模拟退火的机理，讨论了参数设计的要点，从能量函数的角度，讨论了瞬态混沌神经网络与传统的连续hhs 最后通过仿真实验分析了新算法的特点和优点。 第五章总结了全文的工作，并展望了进一步研究的方向。
南京邮电大学硕士研究生学位论文第二章基于连续Hopfield神经网络的信号盲检测8第二章基于连续Hopfield神经网络的信号盲检测
在SIMO通信系统中，采用传统的盲检测算法，需要满足“信道中不包含公共零点”、“需要已知的信道阶数”、“需要符合特定的统计量特性”等特定条件。 显然这些条件不能满足现代移动通信技术和物联网技术的发展需要。 研究一种不依赖统计量、运算复杂度低、含公零点信道的盲检测新算法显得尤为重要。 在目前基于神经网络的盲检测算法中，基于连续Hopfield神经网络的盲检测算法具有良好的误码性能。 基于文献[ 9，24 ]，本章主要论述了基于连续Hopfield神经网络的信号盲检测，同时提出了一种改进激活函数的Hopfield盲检测新算法，用于同步更新模式和异步更新模式最后总结了该算法的不足。 2.1连续Hopfield神经网络综述
图2.1连续Hopfield神经网络输入输出示意图
连续Hopfield神经网络(continuoushopfieldneuralnetwork，简称HNN ) )是J.J.Hopfield于1984年离散Hopfiled神经网络(Discre )te Hopfield Neural Network ，简称 DHNN）的基础上提出来的，其结构如图 2.1 所示。其中 N 为神经元个数，Ci 为第i个神经元的泄漏电容，南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测9
i u 为第i个神经元的输入， i v 为第i个神经元的输出， Ii为神经元的固定外偏置， f 则为神经元的激活函数，wij 为神经元i对神经元 j 的反馈传导系数。忽略时延时，根据基尔霍夫电流定理可写出第i个神经元的的微分方程。 1
d 1 C Id RNi
i i ij i ij ii iu
u wvtv fu
（2.1）
当考虑 N 个神经元时，我们可以假设神经元的输入向量为 1 2 [, , ] N u uu u ，神经元输出
向量为 1 2 [, , ] N v vv v ，激活函数算子 fu f 1 2 , , fu u N f u ，则连接权矩阵可表示为：11 12 121 22 21 2
NN
N N NNww www www w
W
（2.2）
通常，连续 Hopfield 神经网络的激活函数采用sigmoid型函数。sigmoid型函数是一种单调递增的可微函数，由于其单调性，它的反函数也是唯一的。每个神经元的输出可用单调递增的可微函数表示，输入不仅仅与神经元的输入有关系，也同连接权值有关，一般取( ) tanh( ) ii i v fu u （2.3）其中 为陡度系数，主要控制激活函数的陡度，当 时，激活函数 f ( ) 可以看作符号函数，当 0时，激活函数 f ( ) 可以看作是限幅函数。当 i u 时， 1 i v ，从而限制了网络的输出范围。当 5时，激活函数 f 及其反函数 1 f 如图 2.2 所示。
南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测101
3 2 1 1 2100vu
v fu 3 1
1 1 2 3210
0vu
1 uf v 3
v fu 1 uf v
图 2.2 激活函数v fu 和它的反函数 1 uf v 2.2 Hopfield 神经网络的能量函数及其在优化问题中的应用 利用 Hopfield 神经网络来解决优化问题，则必须要求网络是收敛的也是稳定的。能量函数的提出对于网络稳定性的判断有着重要的意义：根据能量函数可以判断网络的稳定性。随着时间的演化，网络总是朝着能量函数减小的方向运动，最终达到能量函数的最小值点。因此研究网络的能量函数对于解决优化问题有着极为重要的作用。文献[26]给出了连续 Hopfield 神经网络的能量函数及其稳定性证明。能量函数的定义如式(2.4)所示：
1011 1 11 1 I d2 R
i NN N N vij i j i iij i i i j iE t wv tv t v t f v v
(2.4)其稳定性证明如下：
假设权矩阵是对称阵，即w w ij ji ，对能量函数求导得式(2.5)：1 11d d d Id dd RN NN
ii i
ij j i
i ij i iE E vv uw vt vt t
（2.5） 再将式（2.1）代入式(2.5)可得：1
d d d Cd ddN
i iii
E v ut tt
2 ' 11
d CdNi
i ii
v f vt
（2.6）由于激活函数 1i f v 是单调递增的并且是连续有界的，同时C 0 i ，则可以保证 d 0dEt
。
南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测11当且仅当 d 0d
i v
t 时， d 0dE
t 。可以看出连续 Hopfield 神经网络的能量函数是单调下降的，如果能量函数值有下界，则网络必然是收敛和稳定的。
当利用连续 Hopfield 神经网络解决优化问题时，就是把优化问题的代价函数转化为网络的能量函数，网络的能量函数的极小值点对应于系统的收敛点。这样就把优化问题转换成为求解系统收敛点的问题。而稳定网络的能量函数总是单调递减的，即稳定网络的能量函数的极小值点总是对应于系统的收敛点，优化问题的最优解也随之获得。但是 Hopfield 神经网络的能量函数的下降法本质上是梯度下降法，那么能量函数不可避免地会陷入局部极小值点。因此如何防止网络陷入局部最优点是一个值得研究的问题。综上，利用 Hopfield 神经网络解决优化问题可分为如下的几个步骤。（1）将优化问题的模型映射到连续 Hopfield 神经网络，将优化问题的变量与网络中神经元的输入、输出、连接权系数、外偏置等一一对应。
（2）选择合适的激活函数，可以适当地调节激活函数的参数。
（3）构造合适的能量函数，并且将优化问题的代价函数与网络的能量函数联系起来。把求解优化问题的最优解的问题转换为求解系统稳定平衡点的问题。特别指出的是要防止能量函数陷入局部极小值点。（4）设计合理的权矩阵，把权矩阵的设计同网络的用途联系起来。（5）初始化网络，进行迭代计算。
2.3 基于连续 Hopfield 神经网络的盲检测2.3.1 盲检测优化问题的建立
根据文献[27,28]，无噪声情况下，SIMO 数字通信系统中接受信号方程、盲处理方如 式（2.7）和式（2.8）所示： 1 ( 1) 1 01
0
,...,() ( )
( (k)) [ ]( (k)) q MjMMqj
sk j
hh
xh s
(2.7)
T X S N Γ (2.8)
其中, q 是过采样因子，M 是信道阶数， L 是均衡器系数， 0 [ ] ,..., h hM 是通信信道的冲激响
应， N ( 1) ( ) X NL q 是接受信号阵， ( 1) ( ) S N LM 是发送信号阵，（ ）Γ ( 1) ( 1) L q LM 是由序列h j南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测12
（ j M 0,1, 2.... ）构成的 Toeplitz 矩阵。由式（2.8）可知，当Γ为列满秩矩阵时，一定有N QS 0 ( ) k d （d ML 0,...., ）， T Q UU c 。其中Uc由接受信号阵奇异值分解而来并且满足 TN [, ] 0 c D
X UU V ， N N LM ( ( 1))c R U 。 由此可以构造代价函数与优化问题： T T
0 ()() N N J kd kd S QS S QS (2.9) 0 ˆ argmin J s (2.10)
显然，式(2.10)是个带约束条件的二次型函数优化问题。本文就是利用连续 Hopfield 神经网络来解决这一问题。2.3.2 连续 Hopfield 神经网络的建立s(k) y(k) s(k+1)W
1 Z
f ( )
图 2.3 连续 Hopfield 神经网络结构
根据文献[29]，盲检测问题中连续 Hopfield 神经网络结构如图 2.3 所示，其中W为权矩阵， f ( ) 为激活函数，发送的信号为二值的 BPSK 信号。根据图 2.3，连续 Hopfield 神经网络的动态方程如下所示：
s Ws y k f k fk 1 () () (2.11)式(2.11)中神经元个数为 N ， T1 2 ( ) [ ( ), ( ), , ( )] N s k sk sk s k 1
( ) , 1, ,Ni ij jj
y k ws k i N (2.12)
式(2.12)中wij 是从神经元 j s 与 is 间的连接权值，并且 T W W 。南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测13f ( ) 为网络的激活函数，本节所采用的激活函数为传统的sigmoid 型函数,表达式如下所示：
f ( ) tanh( ) u u (2.13)其中u 为激活函数的输入。
根据网络更新方式的不同，网络的更新模式可以分为同步更新模式与异步更新模式。所谓同步更新模式，是指某时刻所有神经元同时进行调整。而异步更新模式则是指某时刻网络中只有一个被选择的神经元进行状态更新，其他的神经元的状态保持不变。通常情况下，网络要经过若干次的更新才能达到稳定的收敛状态。采用异步更新模式能够使得神经元的稳态以不同概率出现，从而有效地限制了网络的输出状态。同步更新和异步更新模式下的稳定性证明可见文献[24,29]，在此就不再赘述。 2.3.3 权矩阵配置与网络终止条件设置
为了利用 Hopfield 神经网络(HNN)实现 BPSK 信号盲检测，Hopfield 神经网络(HNN)的权矩阵配置如式(2.14)所示： W IQ (2.14)
根据连续 Hopfield 神经网络(HNN)收敛的充分必要条件有 S S ( ) ( 1) k k ， 即S S QS ( ) ( ( ) ( )) kfk k 。此时QS 0 ( ) k ，满足代价函数的要求。所以说权矩阵如上配置能够巧妙地把BPSK信号盲检测问题转化为连续Hopfield神经网络(HNN)稳定平衡点的求解问题。根据文献[24,29]中对网络稳定性的证明,得到如下的结论: 式(2.11)所示的神经网络是稳定收效的, 且其稳定收敛点对应于信号盲检侧问题的最优或次最优解。
连续Hopfield 神经网络比较常用的终止条件有：迭代过程中代价函数值与理想代价函数值之间的差值小于某个阈值。但是，对于同一问题，神经元数目的不同决定了优化问题的复杂度不同，网络收敛所达到的代价函数也不尽相同，设置一个固定的代价函数值使得算法缺乏普适性。而Hopfield 网络可能含有多个局部极小点，并不能保证每一次迭代都可以达到最优的全局最小点。并且，采用代价函数值与理想的代价函数值之间的差值的方式需要足够的先验信息。基于以上原因，采用迭代过程中代价函数的增量作为网络运行的终止条件。仿真中设置该差值为0.001 ，结果证明：该条件可简单有效地满足算法要求。 南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测142.3.4 仿真实验
仿真采用以 BPSK 信号作为发送信号序列，噪声为加性高斯白噪声，所有仿真结果都是经 100 次 Monte Carlo 实验而得。同时，为了作图方便，所有仿真实验中均将误码率为零的点设为 10-5 处理。为了验证本文算法的性能，进行四组实验。
实验1：采用权值和延时固定，不含公零点合成信道，固定序列长度时，分别采用同步更新模式与异步更新模式进行Monte Carlo实验，计算算法的误码率，与经典的文献算法TXK算法[5] 、 SSA算法[6] 、LPA算法[7] 做比较。经典文献算法所使用的发送序列长度均为固定值N 300。因此为了同经典文献算法比较，发送序列长度也固定为 N 300。 0 5 10 15 20 25 3010-510-410-310-210-1100
SNR(dB)BER
HNN同 步HNN异 步LPASSATXK
图 2.4 HNN 算法与经典文献算法误码率比较图
通过图 2.4 不难发现，无论是在同步更新模式还是在异步更新模式下，HNN 算法在信噪
比为 12db 时，误码率都降为 0；TXK 算法[5]在信噪比为 28db 时误码率降为 0；SSA 算法[6] 在信噪比为 18db 时误码率降为 0；LPA 算法[7]在信噪比为 30db 时误码率还未降为 0。可见，HNN算法检测性能优于经典的文献算法 TXK 算法[5] 、 SSA 算法[6] 、LPA 算法[7]。实验2：当发送序列为短数据时，采用权值和延时固定，不含公零点的合成信道，分别采用同步更新模式与异步更新模式进行Monte Carlo实验，计算算法的误码率，与经典文献算法南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测15TXK算法[5] 、 SSA算法[6] 、LPA算法[7] 做比较。故意设短发送序列长度为 N 100，为了与经典的文献算法比较，所用的经典文献算法数据长度也故意设短为 N 100。
0 5 10 15 20 25 3010-510-410-310-210-1100SNR(dB)BER
HNN同 步HNN异 步LPASSATXK
图 2.5 短数据量情况下 HNN 算法与经典文献算法误码率比较图
通过图 2.5 不难发现，在同步更新模式下 HNN 算法在信噪比为 12db 的时候，误码率降为 0；在异步更新模式下，HNN 算法在信噪比为 10db 的时候，误码率降为 0，而经典的文献算法均是失效的。可见在短数据量的情况下 HNN 算法的检测性能优于经典文献算法 TXK 算法[5] 、 SSA 算法[6] 、LPA 算法[7]。实验3：采用权值和延时固定，含一个公零点的合成信道，分别采用同步更新模式与异步更新模式进行Monte Carlo实验，计算算法的误码率，与经典文献算法做比较。固定发送序列长度为 N 300，所用的经典文献算法数据长度也设为 N 300。南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测160 5 10 15 20 25 3010-5
10-410-310-210-1100SNR(dB)BER
HNN同 步HNN异 步LPASSATXK
图 2.6 在含一个公零点信道情况下 HNN 算法与经典文献算法误码率比较图通过图 2.6 不难发现，无论是在同步更新模式还是在异步更新模式，HNN 算法在信噪比
为 12db 的时候，误码率降为 0；而经典文献算法 TXK 算法[5] 、 SSA 算法[6] 、LPA 算法 [7]均是失效的。可见在含公零点信道情况下，HNN 算法的误码性能优于经典文献算法 TXK 算法[5] 、 SSA 算法[6] 、LPA 算法[7]。实验4：采用权值和延时固定，不含公零点的合成信道，分别采用同步更新模式与异步更新模式进行Monte Carlo实验，计算算法的误码率，探究算法与发送序列长度关系。南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测170 5 10 15 20 25 3010-5
10-410-310-210-1100SNR(dB)BER
N=30N=40N=50
图 2.7 同步更新模式下 HNN 算法与数据量的关系0 5 10 15 20 25 3010-510-410-310-210-1100
SNR(dB)BERN=30N=40N=50
图 2.8 异步更新模式下 HNN 算法与数据量的关系
南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测18
通过图 2.7 和图 2.8 不难发现，无论是在同步更新模式还是在异步更新模式下，当发送信号序列长度为 N 50时，HNN 算法能够成功盲检测数发送信号序列。可见 HNN 算法对发送信号序列长度有一定的要求，不能小于 N 50,否则算法就会失效。2.4 改进激活函数的连续 Hopfield 盲检测算法2.4.1 激活函数的改进目前，在众多利用神经网络解决实际问题的文献中[30] [31] [32] [33]，绝大部分激活函数均采用传统的sigmoid函数，如式（2.15）所示。
f x x tanh （2.15）传统的sigmoid激活函数有如下特点：（1）对于 x 有 f x() 1 。（2）对于 x 有 f x() 1 。（3）对于 x R ，有 1 () 1 f x ，且单调递增。
（4）当 x 在0 点附近时 f x() 0 达到最大。即0 点附近是输入值的敏感区域，此时激活函数 f ( ) x 对输入值的变化特别敏感。也就是说神经元输入值的绝对值越小， f ( ) x 对噪声的敏感度就越大，各个神经元之间的自组织、自学习能力就会变差[33]。并且 HNN 是一种循环网络，神经元输出误差会随着循环迭代次数的增加而累积，进而对整个网络的性能产生不良的影响。
迎新晚会
00
1 0 1 0
- 2tanh( ) (1 tanh( ))1 tanh( )( )
(1 tanh( )1 tanh( )xx
x xxx
f xx xx
（2.16）
其中 为函数的放大因子， 它主要用于控制函数的陡度， 越小，函数越陡。x0是一个正实数，是神经元输入的门限值，只有当神经元的输入的绝对值大于 x0时，激活函数 f ( ) x 的曲线图形才会变陡。
改进的激活函数有以下主要优点：（1）改进后的激活函数在主体上和传统的sigmoid激活函数一致，在神经元输入的绝对值较大时，能够确保其快速收敛；（2）在0 点附近，改进后的激活函数的导数值远小于传统的sigmoid激活函数的导数值。也就是激活函数 f ( ) x 在0 点附近对神经元输入值的敏感度明显降低，对噪声的抗干扰能力显著提高。当 0.02 时，新的激活函数与传统的激活函数曲线如图 2.9 所示。-0.1 -0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08 0.1-1
-0.8-0.6-0.4-0.200.20.40.60.81Sigmoid
Newsigmoid x0=0.02Newsigmoid x0=0.03图 2.9 新的激活函数与传统的 sigmoid 激活函数的曲线图
南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测202.4.2 网络的能量函数与稳定性证明
定理 2.1 假设连续 Hopfield 网络由 N 个神经元构成，权矩阵满足 T W W ，并且对角元素
wjj满足 wjj ， 1 min ( ) 1, , j f j N ，i N 1, 2, 。此时网络在异步更新模式下的能量函数为： ( ) 10
11 1
( ) T 101
1 ( ) ( ) ( ) ( )d 21 ( ) ( ) ( )d 2jj
NN N s kij i jji jN s kj
Ek ws ks k f x xk k f xx
s Ws(2.17)证明：
由于网络是在异步更新模式下，因此每次只有一个神经元的状态得到更新，其他神经元
的状态不变。可以假设神经元 ( ) j s k 被更新，再设ss s ( ) ( 1) ( ) kk k ，则可以得到：( 1) TT 1( ) 1( )
TT 1( )
( ) ( 1) ( )
1 1 ( 1) ( 1) ( ) ( ) ( )d 2 21 ( ) ( ) ( ) ( ) ( )d 2jj
j jj
N s ks kj
sk ss kEk Ek Ek
k k k k f xxk k k k f xx
s Ws s Wss W s s Ws
(2.18)其中：
1 2 1( ( 1)) 2 j jj j j sw s f s k (2.19)再根据泰勒公式可以得到： ( )
2 11 1( )
1 ( )d ( ( 1)) ( ) 2j jj
sk s
jj j js k
f xx s f sk s f
(2.20)其中：
() () () j jj sk sk k s 或 () () () j jj sk k sk s (2.21)南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测21
2 21 1 12 2 12 1( )
1 1 ( ( 1)) ( ( 1)) ( ) 2 21 1 ( ) 2 21 ( ) 2
j jj j j j j j jj jj j jj ii iE k
sw s f s k s f s k s fsw s fsw f
(2.22) 根据假设条件可知：1
() 0 w f jj j (2.23)从而 E k() 0 (2.24)
综上所述，在异步更新模式下，网络在运行过程中能量函数是逐渐减少的，最后达到稳定平衡状态即网络在异步更新模式下是稳定的。定理 2.2 假设连续 Hopfield 神经网络由 N 个神经元构成，权矩阵满足 T W W ，此时网络在同步更新模式下的能量函数为：( ) ( 1) 1 10 0
11 1 1
( ) ( 1) T 110 01 1
( ) ( ) ( 1) ( )d ( )d ( ) ( 1) ( )d ( )dj jj j
NN N N sk skij i jji j j
N N sk skj j
Ek ws ks k f x x f x xk k f xx f xx
s Ws (2.25) 证明：
由于网络是在同步更新模式下，因此每次所有神经元的状态都会得到更新。( 1) TT 1( 1) 1
( ) ( 1) ( )
( 1) ( ) ( ) ( 1) ( )d jjN s ks k
j
E k Ek Ek
k k kk f x x
s Ws s Ws (2.26)再设 ( 1) ( 1) jj j s sk sk可得T T1
111
( 1) ( 1) ( )
( 1) ( 1) ( ( 1)) ( ( 1))N
jj jjN
j jjkk k
sk sk f skf sk s
s s Ws(2.27)根据积分中值定理，可得：
南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测22( 1)1 1
( 1)
( )d ( )j jj
sk sj js k
f xx f s
(2.28)
其中 ( 1) ( 1) j jj sk sk 或者 ( 1) ( 1) j jj sk sk 。可得: 11
( )Nj jj
f s
(2.29) 1 11 11 11
( )
( ( 1)) ( ) ( ( 1)) ( )N Nj j jjj j
N
jj jjE k
f sk s f ss f sk f
(2.30)
因为 1 f () 是单调递增函数的， 1 1 ( ( 1)) ( ) j j f sk f 的正负性与 j s 的正负性相同。因此 1 1 ( ( 1)) ( ) 0 jj j s f sk f ，进而E k() 0 。综上所述，在同步更新模式下，网络在运行过程中能量函数是逐渐减少的，最后达到稳定平衡状态即网络在同步更新模式下是稳定的。2.4.3 仿真实验
仿真采用以 BPSK 信号作为发送信号序列，噪声为加性高斯白噪声，所有仿真结果都是经 100 次 Monte Carlo 实验而得。同时，为了作图方便，所有仿真实验中均将误码率为零的点设为 10-5 处理。为了验证本文算法的性能，进行两组实验。
实验 1：采用权值和延时固定，不含公零点的合成信道，固定序列长度时，分别采用同步更新模式与异步更新模式进行 Monte Carlo 实验，计算算法的误码率。为了与 HNN 算法比较，固定发送序列长度 N 300，HNN 算法所用数据长度也是 N 300。南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测230 5 10 1510-5
10-410-310-210-1100SNR(dB)BER
HNN算 法
改进激活函数的 算法 HNN
图 2.10 同步更新模式下改进激活函数的 HNN 算法与传统 HNN 算法误码率比较图 0 5 10 1510-510-410-310-210-1100
SNR(dB)BERHNN算 法
改进激活函数的 算法 HNN
图 2.11 异步更新模式下改进激活函数的 HNN 算法与传统 HNN 算法误码率比较图南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测24
通过图 2.10 和图 2.11 不难发现，在同步更新模式下，改进激活函数的 HNN 算法在信噪比为 8db 时误码性能降为 0；在异步更新模式下，改进激活函数的 HNN 算法在信噪比为 6db时误码性能降为 0。在检测性能上均优于 HNN 算法。实验 2：采用四种不同的经典信道，固定发送序列长度，分别采用同步更新模式与异步
更新模式，进行 Monte Carlo 实验，计算算法的误码率。固定发送序列长度 N 300。信道一：采用权值和延时度固定的，不含公零点的合成信道。信道二：采用权值和延时固定的，含一个公零点的合成信道。信道三：采用权值和延时固定的信道，含两个个公零点的合成信道。信道四：采用按 Ding Zhi 指定的延迟delay [0,1/ 3]，权系数 w [1, 0.7] 的信道，同时信道头尾各补q(过采样因子)个零。
0 5 10 1510-5
10-410-310-210-1100SNR(dB)BER
CH1CH2CH3CH4
图 2.12 同步更新模式下改进激活函数的 HNN 算法在不同信道条件下误码率比较图 南京邮电大学硕士研究生学位论文 第二章 基于连续 Hopfield 神经网络的信号盲检测250 5 10 1510-5
10-410-310-210-1100SNR(dB)BER
CH1CH2CH3CH4
图 2.13 异步更新模式下改进激活函数的 HNN 算法在不同信道条件下误码率比较图 通过图 2.12 和图 2.13 不难发现，无论是在同步更新模式还是在异步更新模式下，改进激活函数的 HNN 算法对四种常见的经典文献信道都是适用的，算法具备一定的适用性。2.5 本章小结
本章首先根据经典文献介绍了连续 Hopfield 神经网络的结构，能量函数及其在优化问题中的应用。同时根据文献研究了基于连续 Hopfield 神经网络的盲检测算法。仿真结果表明，无论是在同步更新模式还是在异步更新模式下，HNN 算法均不依赖统计量，适用于含公零点信道，检测性能比经典文献算法优越。但是此种算法所采用的激活函数对输入较为敏感，在低信噪比环境下误码率较高。针对这一问题，本章对传统的sigmoid激活函数做了改进，提出了一种新的改进sigmoid激活函数。新激活函数有效地降低了神经元对于输入的敏感性，进而提高了算法的误码性能。同时还研究了网络所采用的能量函数，分异步更新模式和同步更新模式对网络的稳定性做了证明。最后通过仿真说明了新激活函数的有效性和普适性。南京邮电大学硕士研究生学位论文 第三章 基于迟滞 Hopfield 神经网络的信号盲检测26第三章 基于迟滞 Hopfield 神经网络的信号盲检测
第二章主要介绍了基于连续 Hopfield 神经网络的信号盲检测算法及其改进激活函数的算法。这类算法不依赖于统计量，适用于含公零点信道，所需的发送序列较短。但是该算法有两个明显的缺点：(1)激活函数是固定的，不能随着神经元输入的变化而做自适应的调整，从而导致激活函数容易陷入过饱和区域，进而使得网络的能量函数陷入局部极小值点。(2)在低信噪比环境下，该算法误码率较大。本章将利用迟滞 Hopfield 神经网络（Hysteresis Hopfield Neural Network ，简称 HHNN）能够以较大的概率收敛于全局最优点的特点，来实现发送信号的直接盲检测。
本章有以下几个部分组成：3.1 节概述了迟滞 Hopfield 神经网络；3.2 节针对本课题构建了适用于盲检测优化问题的迟滞 Hopfield 神经网络并且证明了网络的稳定性；3.3 节在文献的基础上，给出了激活函数的调节机制；3.4 节给出了权矩阵的配置并且着重讨论了噪声对实验的影响； 3.5节通过仿真实验验证本章提出的算法最后一节对本章进行总结。 3.1延迟Hopfield神经网络概述延迟现象是指作用力变化时发生的现象及其后发生的反应。 迟滞现象广泛存在于自然中。 目前，磁滞被认为是极其重要的技术。 文献[34]描述了工程系统受到空气动力或声波的作用而引起的滞后。 文献[ 35，36 ]描述了生物实验中出现的滞后现象，以及生物细胞代谢过程中滞后现象可以抑制随机化学波动的不利影响。 文献[37]描述了三相变压器中的磁滞现象，并对这一现象进行了具体的解释和分析。 文献[ 38，39 ]阐述了滞回技术在建筑物抗震设计中的应用。
文献[ 40，41，42，43 ]建立了滞后模型并进行了具体描述。 文献[ 44，45 ]提出了用于联想记忆的滞后神经元模型，在记忆能力、抗干扰能力、联想记忆学习等方面均表现出较好的性能。 文献[46]提出了具有以下特征的二值延迟神经元模型。 (1)神经元输入超过一定阈值时，神经元输出被统一为“1”。 )2)神经元的输入低于一定阈值时，神经元的输出统一为“0”。 )3)当神经元的输入位于两个阈值点时，神经元的输出等于输入。 这些经典的延迟神经元模型对本文延迟神经元的构建具有一定的启示意义。 但本章采用的延迟神经元与文献[ 42，46 ]不同，有以下两个最重要的特点： (1)激活函数可自适应调节； )作为记忆特性的神经元的输出，不仅依赖于其输入，还依赖于其前后2次输入的变化值。 南京邮电大学硕士研究生学位论文第三章基于滞后Hopfield神经网络的信号盲检测27
1 y2 yNyx y
图3.1滞后神经元结构图
- 30-20-100102030-1-0.8-0.6-0.4-0.200.20.40.60.81 ABCD
延迟神经元输入延迟神经元输出图3.2延迟激活函数图
从图3.1可以看出，延迟神经元在结构上与其他神经元模型相似，能够处理线性组合权重输入。 然而，如图3.2所示，延迟神经元采用的激活函数是非线性的延迟激活函数。 其数学式如式(3.1 )所示，yXTXTtfXTXT ) 3.1 )中，fTanh ) 3.2 )
00
xttxttxtt
(3.3 ) )。
南京邮电大学硕士研究生学位论文第三章基于滞后Hopfield神经网络的信号盲检测28
00
xttxttxtt
(3.4 )。
然后，0，0 limt
dxttxtXTtxtTDT
。
由上可见，滞后激活函数为多值映射，滞后神经元的输出不仅与其输入有关，还与其前后输入值的变化有关。 这样神经元就有一定的联想记忆特性，与其他神经元不同。 如图3.2所示，当神经元输入x在某一时间点为正且值在下一时间点增加时，激活函数保持在滞后C-A。 相反，如果在某一时刻神经元输入x为正，并且在下一时刻该值减少，则激活函数保持在滞后B-D中。 另外，与传统激活函数相比，滞后激活函数有、和四个时变参数，通过调节这四个参数可以优化神经元的自调节能力，这是其他神经元所没有的。 此时，请注意滞后激活函数是传统的sigmoid激活函数。 延迟神经元可以用于各种类型的神经网络，本文将延迟神经元用于连续Hopfield神经网络，解决信号盲检测的优化问题。 3.2滞后Hopfield神经网络的建立及其稳定性证明了HHNN与传统Hopfield神经网络的最大区别在于其激活函数的不同。 HNN是激活函数基于多值映射的滞后激活函数，其输出不仅与当前输入有关，还与历史输入的变化有关[34]。 针对盲测试问题，本论文设计的滞后Hopfield网络结构如图3.3所示。 s(k ) y ) ) ks ) k1 ) )。
w
1z
f () )
图3.3滞后Hopfield网络结构图
根据图3.3，滞后Hopfield神经网络(HHNN )的动态方程式，如式(3.5 )所示，为swsykfkfk1) ) ) ) ) ) )式) 3.5 ) t
1 () ) )、)、) ) nsksksksk ) 3.6 )南京邮电大学硕士研究生学位论文第三章基于滞后Hopfield神经网络的信号盲检测29
()，1，倪Ni ij jj
ywskIn(3.7 ) )。
这里，wij为神经元j s和i s之间的连接权重，且为tww。 针对信号盲检测问题，本章构建的滞后激活函数f (如式(3.8 )和式(3.9 )所示。 ST ) )0fytSTSTytST )。 ) ( ) tanh[ ( ( )) ( ) ( ( ))) ] (3.8)若st t ( )0 f yt st t st t yt st t ( ) ( ) tanh[ ( ( )) ( ) ( ( )) ] (3.9) 其中 ( ) 0 ( ) ( ) 0 ( ) t tt t
t tsss
(3.10)
( ) 0 ( ) ( ) 0 ( ) t tt tt ts
ss
(3.11) 0
( ) ( ) limts t st tst t t
， , 0 ，迟滞激活函数有 、 、 、 四个时变参数。具体的调节机制我们将在下节中详细叙述。 迟滞Hopfield神经网络(HHNN)的能量函数如下所示： 1 2
10
11 1
1 ) ( ( )) 2 ( , i NN N xN ij i j i i i i ij iEx x x w x x f x s s t t dx
(3.12)其中 j x 是第 j 个神经元的输出。
采用文献[34]的迟滞 Hopfield 模型，针对信号的盲检测问题，迟滞 Hopfield 神经网络(HHNN)中第 j 个节点的基尔霍夫电流方程如下： 1
( )d
( d )Nj
j ji i jis t
s t wx st
t t (3.13)
根据式（3.12）和式（3.13）迟滞 Hopfield 神经网络(HHNN)的稳定性证明如下：南京邮电大学硕士研究生学位论文 第三章 基于迟滞 Hopfield 神经网络的信号盲检测301
1 11
2121dd(ddd( ))d
ddNj j
j j jN Nj j
j j ji ij i jN
j jjj jNj jj jNj jj j
E E x st xs tx ss s wxs t
s xststs xt ss xt s t t
（3.14)
下面通过式（3.10），式(3.11)和图 3.2 来分析 jjxs
的正负性：
当某时刻迟滞神经元输入为正，且在下一刻是增加的，则激活函数保持在迟滞段 A-B 上，此时 0 j x ， 0 j s ， 0 jjxs
。反之，如果某时刻迟滞神经元的输入为正，但在下一刻是
下降的，则激活函数将会跳跃至 C-D 上，此时 0 j x ， 0 j s ， 0 jjxs
。
同理可得当某时刻迟滞神经元输入为负时，无论在下一时刻增加与否， 0 jjxs
。
所以综上可得 0 jjxs
，从而 d 0dEt
，迟滞 Hopfield 神经网络(HHNN)的能量函数是动态减少的，直至网络稳定。若对式（3.13）离散化，可以令 0
d
limdjjjt
st st t stt t
并且t kT t T , ，同样能够证明网络的稳定性。3.3 激活函数参数的调节机制
针对信号盲检测问题对激活函数的敏感性，受文献[34]启发，本文采用基于梯度下降的方法对激活函数参数进行调节：南京邮电大学硕士研究生学位论文 第三章 基于迟滞 Hopfield 神经网络的信号盲检测311 ( )) ( )) ( )) ( )) ( ))
d
( )( () d ( )) (
( (( (lllij ij ijlij lij
ijijlij lij
tt tt ttEt tt txss ssE
t tx tss ts
2d d
( )) d d ( ))d (
( (
( ( )) sec ( )) ( )) d (l
ij lijl
ij ij ij ijij ijijij
s xt tt ttsss
s s t t s t t st tt
(3.15)
再由式（3.10）和式（3.11）有:
1 2 1 ( ( ) sec ) ) 1 ( ij ij ij ij ij ij l s l l st l t l (3.16) 22 1 ( 1 () ( ) sec ) ij ij i ij ij j ij ll l st t s l l （3.17） 其中， ( ) ij l 和 ( ) ij l 为两个不同迟滞坡度，它们的调节机制如下：2 (3.18)
根据式（3.13）和式（3.14）有： 1(
( (( ( ( ))
( )) ( )) ( )) ( ))d( )) d( ) ( )(d)(
( ) dlij
l l
ij ijlij lijl
ij lijijl
ijijijt t
tt ttE
t tt tE xt tx tts
ts
s sssss
s t
2 2 sec ( )) ( )) ( )) ( )) ( (( (
l ll l
ij ij ij i ij i j j s s s st t tt s tt ttst (3.19)再由式（3.8）和式（3.9）有：
23
2 1 ) ( ) sec ) ( ( ij ij ij ij ij ij ij ij ll l l sk s s l l (3.20) 24
2 1 ) ( ) sec ) ( ( ij ij i ij j j i ij ij ij l l l ll l sk s s （3.21）综上所述，我们完成了 、 、 、 四个时变参数的梯度下降调整。网络每一次循环都选用不同的不同的迟滞激活函数，前后两次循环所用的迟滞激活函数正好构成一个迟滞环，既保证了网络的稳定性又使得网络表现出较好的灵活性。 南京邮电大学硕士研究生学位论文 第三章 基于迟滞 Hopfield 神经网络的信号盲检测32
3.4 权矩阵配置及噪声对实验的影响
本章所采用的系统模型与 2.4 节一致，为了利用迟滞 Hopfield 神经网络(HHNN)实现BPSK 信号的盲检测，迟滞 Hopfield 神经网络(HHNN)的权矩阵配置如下： WIQ (3.22)
根据迟滞 Hopfield 神经网络(HHNN)收敛的充分必要条件有S S ( ) ( 1) k k ,即S S QS ( ) ( ( ) ( )) kfk k 。可以得到QS 0 ( ) k ，满足代价函数的要求。所以说权矩阵如上配置能够巧妙地把 BPSK 信号盲检测问题转化为迟滞 Hopfield 神经网络(HHNN)稳定平衡点的求解问题。下面讨论噪声对实验的影响：
令无噪声时的权值矩阵为W，无噪声时稳定平衡点信号为S。此时:WS S ， T T
0 S QS S I W S 。
高考招生网
。此时： TTT
min 0 J
s Qs
s I W Wss Ws
(3.23)
由于噪声是随机产生的，所以 W
的大小是无法确定的，仅利用式（3.23）无法求得代价函数的最小值。下面通过探究发送信号阵与接受信号阵的关系来求解代价函数的最小值：
根据式（2.8）可知span span X S N 而 sˆ spanS ，所以 sˆ spanXN 。即盲检测的信号在接收信号阵的值空间中。而接受信号阵XN 通过奇异值分解可以得到由d 个相互酉基
组成的酉矩阵U ，其中U uu u 1 2 ,,, d ，d rank U。因此，盲检测的信号就在U 中。因为为 T Γ 列满秩矩阵所以 d LM ，所以必然可以找到一组系数 kkk k 123 ,,, d 满足：11 2 2 33 ˆ d d s kk k k μμμ μ 。由此代价函数的最小值可以转化为式（3.24）：
南京邮电大学硕士研究生学位论文 第三章 基于迟滞 Hopfield 神经网络的信号盲检测33TTTT
min 0 J
μmins Qss I W Wss Wss s
（3.24）
其中 ， 为大于 0 的常数， μ min min μ1 ,..., μd ， 表示为向量的模。值得注意的是的取值并非随意设置，设置的过大容易使得网络陷入局部最优点，设置的过小容易则导致导致网络运行时间过长，算法时间复杂度过大。一般取 2.5 比较合适。
由于迟滞 Hopfield 神经网络(HHNN)存在多个局部最小点，因此网络并不能保证每次迭代所获得的平衡点都是稳定平衡点。代价函数最小值的求解为稳定平衡点的求解奠定了一定的基础，当所获得的代价函数值小于或者等于预先所设置的最小值时，所获得的平衡点就是稳定平衡点，网络自动停止迭代。3.5 仿真实验
仿真采用以 BPSK 信号作为发送信号序列，噪声为加性高斯白噪声，所有仿真结果都是经 100 次 Monte Carlo 实验而得。同时，为了作图方便，所有仿真实验中均将误码率为零的点设为 10-5 处理。为了验证本文算法的性能，进行三组实验。所有仿真实验参数的具体配置均为： 0 0 ij
， 0 0 ij
， 0 0 ij ，ij 0 0 ， 1 0.02， 2 0.02， 3 0.08， 4 0.01。实验 1：采用权值和延时固定，不含公零点的合成信道，固定序列长度时，分别采用同步更新模式与异步更新模式进行 Monte Carlo 实验，计算算法的误码率，并与 HNN 算法做比较。为了与文献的 HNN 算法比较，固定发送序列长度 N 300，HNN 算法的数据长度也是300。南京邮电大学硕士研究生学位论文 第三章 基于迟滞 Hopfield 神经网络的信号盲检测34
0 5 10 1510-5
10-410-310-210-1100SNR(dB)BER
HNN算 法HHNN算 法
图 3.4 同步更新模式下 HHNN 算法与 HNN 算法误码率比较0 5 10 1510-510-410-310-210-1100
SNR(dB)BERHNN算 法HHNN算 法
图 3.5 异步更新模式下 HHNN 算法与 HNN 算法误码率比较图南京邮电大学硕士研究生学位论文 第三章 基于迟滞 Hopfield 神经网络的信号盲检测35
通过图 3.4 和图 3.5 不难发现，无论是在同步更新模式还是在异步更新模式下，HHNN 算法在信噪比为 9db 的时候，误码率都降为 0，而在同步更新模式下 HNN 算法在信噪比为 13db时，误码率才降为 0。在异步更新模式下 HNN 算法在信噪比为 11db 时，误码率才降为 0。。可见 HHNN 算法的误码性能明显优于 HNN 算法。实验2：采用权值和延时固定，不含公零点的合成信道，分别采用同步更新模式与异步更新模式进行Monte Carlo实验，计算算法的误码率，探究算法与发送序列长度关系。0 5 10 15
10-510-410-310-210-1100SNR(dB)BER
N=30N=40N=50
图 3.6 同步更新模式下 HHNN 算法与数据量的关系图
南京邮电大学硕士研究生学位论文 第三章 基于迟滞 Hopfield 神经网络的信号盲检测360 5 10 1510-5
10-410-310-210-1100SNR(dB)BER
N=30N=40N=50
图 3.7 异步更新模式下 HHNN 算法与数据量的关系
通过图 3.6 和图 3.7 不难发现，无论是在同步更新模式还是在异步更新模式下，当发送信号序列长度为 N 50时，HHNN 算法才能够成功盲检测发送信号序列。可见 HHNN 算法对发送信号序列长度有一定的要求，不能小于 N 50，否则算法就会失效。实验 3：采用四种不同的经典信道，固定发送序列长度，分别采用同步更新模式与异步更新模式，进行 Monte Carlo 试验，计算算法的误码率。固定发送序列长度 N 300。信道一：采用权值和延时度固定的，不含公零点的合成信道。信道二：采用权值和延时固定的，含一个公零点的合成信道。信道三：采用权值和延时固定的信道，含两个个公零点的合成信道。信道四：采用按 Ding Zhi 指定的延迟delay [0,1/ 3]，权系数 w [1, 0.7] 的信道，同时信道头尾各补q(过采样因子)个零。
南京邮电大学硕士研究生学位论文 第三章 基于迟滞 Hopfield 神经网络的信号盲检测370 5 10 1510-5
10-410-310-210-1100SNR(dB)BER
CH1CH2CH3CH4
图 3.8 同步更新模式下 HHNN 算法在不同信道下误码率比较图0 5 10 1510-510-410-310-210-1100
SNR(dB)BERCH1CH2CH3CH4
图 3.9 异步更新模式下 HHNN 算法在不同信道下误码率比较图
南京邮电大学硕士研究生学位论文 第三章 基于迟滞 Hopfield 神经网络的信号盲检测38
通过图 3.8 和图 3.9 不难发现，无论是在同步更新模式还是在异步更新模式下，HHNN 算法对四种常见的经典文献信道都是适用的，算法具备一定的普适性。3.6 本章小结
本章利用迟滞 Hopfield 神经网络能够以较大的概率收敛于全局最优点的特点，来实现发送信号的直接盲检测。本章首先对迟滞 Hopfield 神经网络做了简单的介绍，而后针对信号盲检测优化问题构建了迟滞 Hopfield 神经网络，在文献的基础上对网络的稳定性做了证明，同时给出了激活函数的调节机制，重点讨论了噪声对实验的影响，给出了噪声条件下代价函数的理论最小值。最后通过仿真验证了算法的性能，仿真结果表明无论是在同步更新模式还是在异步更新模式下，基于迟滞 Hopfield 神经网络的信号盲检测算法的检测性能均优于 HNN算法，同时算法适用于四种经典的文献信道，具备一定的普适性。南京邮电大学硕士研究生学位论文 第四章 基于暂态混沌神经网络的信号盲检测39
第四章 基于暂态混沌神经网络的信号盲检测
利用 Hopfield 神经网络来解决信号盲检测的优化问题，不可避免地需要考虑能量函数陷入局部极小值点这一问题。为了防止其陷入局部极小值点，本文的第二章和第三章所采用的方法是利用多个起点，多次循环来获得全局最优解。然而，这种方法也存在不足之处：起点是随机的，循环的次数也是未知的。在 Hopfield 神经网络中，利用一个起点就能获取全局最优点是一个较有价值的研究方向。本章将利用暂态混沌神经网络良好的全局搜索能力来实现单起点条件下的信号盲检测。本章有以下几个部分组成：4.1 节概述了暂态混沌神经网络；4.2 节针对本课题构建了适用于盲检测优化问题的暂态混沌神经网络并且讨论了其模拟退火机制及其参数的设计。还将其同传统的 Hopfield 神经网络做了比较，讨论了其异同点；4.3 节通过仿真实验验证本文所提出的算法；最后一节对本章进行总结。
4.1 暂态混沌神经网络概述
暂态混沌神经网络(Transiently Chaotic Neural Network，简称TCNN) 最早由Chen和Aihara在文献[47]中提出，并将其用于组合优化问题之中。暂态混沌神经网络在混沌神经网络的基础上，将模拟退火中的退火机制引入至网络负反馈连接系数的调整之中。这样就使得网络在动态运行之中能通过减小负反馈连接系数来使网络从最初的混沌状态收敛到稳定状态。文献[48]表明，相比Hopfield网络，暂态混沌神经网络（TCNN）能够以更小的时间复杂度获得更高质量的解。因此对暂态混沌神经网络（TCNN）的研究是极具价值的，对其的改进和应用也层出不穷。
文献[49]重点分析了暂态混沌神经网络（TCNN）具有全局搜索能力的重要内因，即混沌吸引子的存在和混沌动力学所具有的全局分形结构，同时对其在应用方面的研究指明了方向。文献[50,51]从理论上证明了暂态混沌神经网络中所存在的混沌吸引子，同时分同步更新模式与异步更新模式证明了网络的稳定性，并且证明了其混沌吸引子具有遍历性。文献[52]给出了暂态神经网络（TCNN）的能量函数，并且基于能量函数来解决组合优化问题，同时对于优化问题的细节做了深入的讨论。文献[53]对暂态混沌神经网络（TCNN）的稳定性做了重新讨论，放宽了网络权矩阵的条件。这为暂态混沌神经网路的工程应用奠定了坚实的基础。文献[54]创造性地把暂态混沌神经网络用于信道分配这一优化问题中。首先用传统的信道分配算法进行信道的分配。如果无法获得最优解或者算法陷入局部最优解，那么用暂态混南京邮电大学硕士研究生学位论文 第四章 基于暂态混沌神经网络的信号盲检测40沌神经网络（TCNN）来对信道进行搜索分配，从而获得最优的分配方式。这种方法一方面降低了算法的复杂度，同时能够获得比以往神经网络算法更优的解。文献[55]将暂态混沌神经网络（TCNN）付诸硬件实现，给出了硬件电路设计版图，以此在超大规模集成电路上实现暂态混沌神经网络。并且流片表明，在芯片中能够观察到混沌现象。这就为暂态混沌神经网络（TCNN）产业化应用奠定了重要的基础。
4.2 暂态混沌神经网络的构建及其模拟退火机制4.2.1 暂态混沌神经网络的模型 根据文献[47]，暂态混沌神经网络的模型方程如下所示： 11 , 1,2,N
i i ij j i ij
y t ky t w z i xt t tx N （4.1）
xii i k fyk yk tanh （4.2） 1 1 1 , 2, i i zk zk i N （4.3） 1
( ) , 1, ,Ni ij jj
y k ws k i N （4.4）其中：式（4.1）是暂态混沌神经网络的动态方程。 式（4.2）是网络的神经元的激活函数。 式（4.3）是退火函数。
i s 是第i 个神经元的输入； i x 为神经元的输出； i y 为网络的内部变量； i z 为一变量并且它随着网络的循环而逐渐变小； 是尺度参数； 是变量 z k i 的衰减因子，它能够保证 z k i 以指数形式收敛，并且有0 1 ；wij 是从神经元 j s 与 is 间的连接权值，并且 T W W ，并且有1N
ij jj iEw xx
，其中 E 为优化问题中所构建的能量函数。文献[47]还揭示了暂态混沌神经网络所具有的一些特性。
（1）暂态混沌神经网络的优化过程可分为两个阶段，即基于混沌的全局搜索状态和基于梯度下降的搜索状态。当网络进入基于混沌的全局搜索状态时，网络表现出一定的随机性和遍历性。随机性确保了算法的全局搜索能力，而遍历性保证了算法能够不重复地尽可能地遍南京邮电大学硕士研究生学位论文 第四章 基于暂态混沌神经网络的信号盲检测41
历所有状态。因此算法从理论上具备了防止其能量函数陷入局部最小值的能力。（2）当网络处于基于混沌的全局搜索状态时，可以通过调节网络的参数来调整其混沌运动状态。同时这种状态不受能量函数的限制，这和传统的网络是不同的。随着网络的不断循环，通过参数的控制，网络随之就进入了模拟退火状态。此时网络的混沌现象随之减弱，直至其进入逆分叉期阶段。同时，随着网络参数的控制，搜索的过程将被限制在一定的范围内。此时，算法能够获得一个近似的最优解。搜索机制将转为梯度下降机制，以此来获得最优的解。4.2.2 暂态混沌神经网络中的模拟退火机制及参数设计
根据文献[47]和式（4.1）,可以得到本优化问题中单个神经元的动态方程如下：y t ky t z t x t 1 （4.5）zt zt 1 1 （4.6）xii i t fyt yt tanh （4.7）为了得到混沌神经元从状态 y t 到 y t 1 的一维映射，可以将式（4.7）代入式（4.6），从而可以得到式（4.8）。
y t ky t z t y t 1 tanh （4.8）文献[47]还揭示了暂态混沌神经网络具有一定的确定性，也就是说它能够从混沌动力学逐步收敛到稳定平衡点。这种机制也被称作混沌模拟退火过程。它是一种确定性的模拟退火过程，是一种能够从奇怪吸引子收敛到系统不动点的过程。为了能够有效地利用暂态混沌神经网络进行优化问题的求解，还需要仔细地选择各个参数来使得网络有较好的效果。
(1)尺度参数 的设计
对暂态混沌神经网络的混沌特性有着重要的影响。当 取值过大时，网络会出现振荡现象，无法收敛到平衡点。当 取值过小时，网络则不会出现混沌现象，无法得到满意的解。只有当 取合适的值，网络在负反馈系数 z 较大的时候，网络才会陷入混沌状态。同时随着负反馈系数 z 的指数下降，网络将从混沌中退出，最后收敛于一个稳定平衡点，进而获得一个最优的解。(2)退火参数 的设计
南京邮电大学硕士研究生学位论文 第四章 基于暂态混沌神经网络的信号盲检测42
选择合理的退火函数对于最优解的获得是极为重要的。而退火函数中最重要的则是退火参数的选择。退火参数 较大时，退火速率就会变快，梯度搜索的过程就会加快，整个网络的搜索耗时就会减少。而退火参数 较小时，混沌搜索时间就越长，混沌的遍历性就好，找到全局最优点的可能性就越大，收敛性也就越好。因此如何在搜索收敛性和搜索的耗时中寻找平衡点是设计 值所需要重点考虑的。(3) z 的初始值设计
当且仅当 z 趋向于0 的时候，网络才能够从混沌模拟退火状态中退出，转入 Hopfield 网络进行梯度下降，进而收敛到一个稳定平衡点，优化问题也随之解决。当退火参数 为一定值时， z 的初值取得越大，网络处于混沌状态的时间也就越长，网络循环至收敛的时间也就越长。可见，z 的初值的设计能够影响网络循环所耗费的时间。因此应该选取一个合适的 z 的初值，一方面确保解的质量另一方面使得网络循环的时间尽可能的短。4.2.3 暂态混沌神经网络与 Hopfield 神经网络的比较 通过前面的叙述，我们可以发现暂态混沌神经网络的优化机理与 Hopfield 神经网络相比有一定的相似之处。因此有必要对两者进行比较研究。
为了同连续 Hopfield 神经网络做比较，我们可以把暂态混沌神经网络的模型方程式（4.1）-（4.5）改写成如下的形式： '1
1,2,N ii ij ij
dy t y i x tdt w Nt
（4.9）
xii i t fyt yt tanh （4.10） i 'i
dz tz t
dt （4.11）其中'
'
ijijij
i ji jw zww
。
通过上面的表述，可以发现暂态混沌神经网络是连续 Hopfield 神经网络的一种特殊形式。不同的是权矩阵W的对角线元素在不停的变动。根据本文 2.2 节连续 Hopfield 神经网络能量函数的定义，暂态混沌神经网络能量函数的定义可以如式（4.12）所示 ：南京邮电大学硕士研究生学位论文 第四章 基于暂态混沌神经网络的信号盲检测43
'' 10
11 11 '2011 1 1' 21
1 d2
1 1 d1 2 22
ii
NN N xij i jji i
NN N N xij i j iji i iNii
E t
E t wx tx t f v vwx tx t f v v z x tz xt
（4.12）
其中， ' E t 为暂态混沌神经网络的能量函数并且1N
ij jj iEw xx
，E t 为传统的连续 Hopfield神经网络的能量函数， 1 f 为所采用的激活函数的反函数。综上可以看出暂态混沌神经网络的能量函数同传统的连续 Hopfield 神经网络相比，多了一个变化项。并且正是这个变化项，造就了暂态混沌神经网路的模拟退火搜索机制。这样就使得暂态混沌神经网络具备良好的全局搜索和寻优能力，也使得网络的能量函数不容易陷入局部最优解。下面根据定义的能量函数来比较暂态混沌神经网络和传统连续 Hopfield 神经网络的异同点：
由式（4.12）可知
1d dd di ii
Et y t f x txt t t
（4.13） 因此 1 ' dd
ii
f xt E tt xt
（4.14）即
' 1 ' dd
i ii
f xt xt E tt xt
（4.15）可以得到
'
' 1d 1di
i i
x t Et
t xt f xt （4.16）
根据微分的定义可以对式（4.16）离散化得：
' ' '' 1
1 1 ii ii i i
Et Et f ytxt xt
x t t xt f xt t
(4.17)
通过式（4.17）可知，暂态混沌神经网络的优化过程也是基于能量函数的，其动态循环南京邮电大学硕士研究生学位论文 第四章 基于暂态混沌神经网络的信号盲检测44过程是基于其能量函数的梯度下降法进行的。唯一不同的是它的能量函数比传统连续Hopfield 神经网络的能量函数多了一项。4.3 仿真实验
本章所采用的系统模型与 2.4 节一致，初始权矩阵的设置同本文的第二章和第三章一致。仿真采用以 BPSK 信号作为发送信号序列，噪声为加性高斯白噪声，所有仿真结果都是经 100次 Monte Carlo 实验而得。同时，为了作图方便，所有仿真实验中误码率为零的点设为 10-5处理。为了验证本文算法的性能，进行三组实验。所有仿真实验参数的具体配置均为：z 0 0.02 ， 0.0006。实验 1：采用权值和延时固定，不含公零点的合成信道，固定序列长度时，分别采用同步更新模式与异步更新模式进行 Monte Carlo 实验，计算算法的误码率，并同 HNN 算法做比较。同时为了验证 TCNN 算法在单起点条件下的检测性能，固定 TCNN 算法的起点个数为 1。0 5 10 1510-510-410-310-210-1100
SNR(dB)BERHNN算 法TCNN算 法
图 4.1 同步更新模式下 TCNN 算法与 HNN 算法误码率比较南京邮电大学硕士研究生学位论文 第四章 基于暂态混沌神经网络的信号盲检测450 5 10 1510-5
10-410-310-210-1100SNR(dB)BER
HNN算 法TCNN算 法
图 4.2 异步更新模式下 TCNN 算法与 HNN 算法误码率比较
（1）误码性能比较：通过图 4.1 和图 4.2 不难发现，无论是在同步更新模式还是在异步更新模式下，TCNN 算法的误码性能略优于 HNN 算法。值得注意的是，在仿真实验中，TCNN算法的发送起点的个数被固定为 1，即为单起点，HNN 算法则为多起点。表 4.1 平均每次收敛所需起点个数比较(2)所用起点个数的比较：根据信噪比的不同，累加每次 Monte Carlo 仿真实验中的起点SNR（db） 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15HNN 算法
同步更新模式
2.8 2.7 2.9 2.6 3.1 2.6 2.52.82.92.82.72.62.72.82.62.5 tcnn算法同步更新模式
1.01.01.01.01.01.01.01.01.01.01.01.01.0 hnn算法异步更新模式
2.7.2.92.82.62.72.82.82.92.62.82.72.5 tcnn算法异步更新模式
1.01.01.01.01.01.01.01.01.01.01.0南京邮电大学硕士学位论文第四章基于瞬态混沌神经网络的信号盲检测46
个数在进行100次蒙特卡罗模拟后取平均值。 TCNN算法的发送起点全部固定为1，因此表4.1的TCNN算法的平均收敛所需的起点数全部为1。 根据表4.1可知，无论是同步更新模式还是异步更新模式，HNN算法都依赖于多个起点，而TCNN算法由于起点的数量是固定的，所以都是1。 综上所述，无论是同步更新模式还是异步更新模式，TCNN算法的误码性能都与HNN算法相当，但只需要一个起点，解决了HNN算法的多起点问题。 实验2 )使用权值和等待时间一定且不含公共零点的合成信道，分别使用同步更新模式和异步更新模式固定起点，进行蒙特卡罗实验，探索算法和发送序列长度的关系。 0 5 10 1510-510-410-310-210-1100
SNR(db ) BERN=30N=40N=50
图4.3同步更新模式下TCNN算法与数据量关系图南京邮电大学硕士学位论文第四章基于暂态混沌神经网络的信号盲检测470 5 10 1510-5
10-410-310-210-1100SNR(db ) BER
N=30N=40N=50
图4.4异步更新模式下TCNN算法与数据量的关系图
从图4.3和4.4中可以看出，无论是同步更新模式还是异步更新模式，在发送信号序列长度为n50的情况下，TCNN算法都成功地进行了发送信号序列的盲检测。 TCNN算法对发送信号序列的长度有一定的要求，如果不小于n50，则算法无效。 实验3 :采用4种不同的经典信道，固定发送序列长度，分别采用同步更新模式和异步
更新模式，进行蒙特卡罗试验，计算算法的误码率。 固定发送序列长度N 300。 通道1 :采用权重和延时固定、不含公零点的合成通道。 通道2 :采用权重和延迟固定的、含一个公零点的合成通道。 频道3 :采用权重和延迟固定的频道，包含2个公零点的合成频道。 采用在信道定则中指定的延迟delay [ 0，1/3 ]、权重系数w [ 1，0.7 ]的信道，同时在信道末尾分别添加零(过采样因子)。
南京邮电大学硕士研究生学位论文第四章基于暂态混沌神经网络的信号盲检测480 5 10 1510-5
10-410-310-210-1100SNR(db ) BER
CH1CH2CH3CH4
图4.5同步更新模式下TCNN算法的信道误码率比较图0 5 10 1510-510-410-310-210-1100
SNR(db ) BERCH1CH2CH3CH4
4.6异步更新模式下TCNN算法不同信道误码率对比图南京邮电大学硕士学位论文第四章基于暂态混沌神经网络的信号盲检测49图4.5和图4.6显示，无论是同步更新模式还是异步更新模式，TCNN算法都有四种常见4.4本章总结
本章利用暂态混沌神经网络具有良好全局搜索能力的特点，实现了单起点条件下对信号的直接盲检测。 本章首先在文献的基础上介绍了暂态混沌神经网络，同时基于盲测试优化问题建立了暂态混沌神经网络，重点阐述了其模拟退火机制和参数的设计，并对其全局搜索机制进行了描述最后与传统的连续Hopfield神经网络进行了比较。 仿真分析表明，基于瞬态混沌神经网络的盲检测算法可以实现单起点条件下的信号盲检测，在检测性能上略优于HNN算法，但算法不依赖于多个起点，同时算法南京邮电大学硕士研究生学位论文第五章总结与展望50
第五章总结与展望5.1正文总结
为了解决无线多径时变信道带来的码间干扰问题，盲检测技术和盲均衡技术应运而生。 其核心技术利用接收信号序列自身的特性，实现信道盲均衡和信号盲检测，从而提高了通信系统的容量和可靠性。 同时，随着物联网、无线传感器网络技术的飞速发展，对盲检测和盲均衡技术本身也提出了更高的要求。 但现有的文献盲检测算法多依赖于统计量，存在所需数据量大、收敛速度慢、容易陷入局部最优点等诸多问题。 因此，研究与统计量无关的、不限于公零点信道的盲检测和盲均衡算法具有一定的研究价值。 本文重点讨论了基于连续Hopfield神经网络的盲检测算法及其改进算法、基于时延Hopfield神经网络的盲检测算法、基于瞬态混沌神经网络的盲检测算法为信号盲检测技术在物联网、无线传感器网络中的应用奠定了一定的基础。 本文的具体研究内容如下： (1)本论文在第二章首先介绍了连续Hopfield神经网络，介绍了基于连续Hopfield神经网络的能量函数及其在优化问题中的应用。 系统提供SIMO通信系统中的信号盲检测模型并利用所接收的信号矩阵和发射信号号矩阵之间的关系建立起了盲检测优化问题的代价函数。同时通过权矩阵的有效配置，巧妙地把信号盲检测优化问题转化为连续 Hopfield 神经网络稳定平衡点的求解问题。最后将基于连续 Hopfield 神经网络的盲检测算法同传统的基于统计量的经典文献盲
检测算法（TXK 算法、子空间算法(Subspace Algorithm，SSA)、线性预测算法(Linear Prediction Algorithm，LPA))做分析比较。仿真实验分析表明，基于连续 Hopfield 神经网络的盲检测算法不依赖统计量，适用于含公零点信道，误码性能比经典的文献盲检测算法优越。但是此种算法所采用的激活函数对输入较为敏感，在低信噪比环境下误码率较高。
(2)针对基于连续 Hopfield 神经网络的盲检测算法在低信噪比环境下误码率过高这一缺点，提出了一种改进激活函数的 Hopfield 盲检测算法。改进后的激活函数一方面在主体上和传统的sigmoid激活函数一致，在神经元输入的绝对值较大时，能够确保其快速收敛。另一方面，在0 点附近，改进后的激活函数的导数值远小于传统的sigmoid激活函数的导数值，这就有效地降低了神经元对输入的敏感度。同时还证明了算法在同步更新模式和异步更新模式下的稳定性。最后仿真分析表明该算法通过改进激活函数有效地降低了神经元对输入值的敏感度，算法对噪声的抗干扰能力得到了有效地提高。但是也存在激活函数缺乏灵活性这一缺点。(3)针对基于连续 Hopfield 神经网络的盲检测算法及其改进算法存在激活函数缺乏灵活南京邮电大学硕士研究生学位论文 第五章 总结与展望51
性这一缺点，本论文在第三章提出了基于迟滞 Hopfield 神经网络的盲检测算法。首先根据文献介绍了迟滞 Hopfield 神经网络，而后针对盲检测问题建立了迟滞 Hopfield 神经网络，该网络和传统的 Hopfield 神经网络最大的区别在于其激活函数的不同。迟滞 Hopfield 神经网络所采用的是激活函数是基于多值映射的迟滞激活函数，它的输出不仅和当前的输入有关还和历史输入的变化有关系。同时证明了网络的稳定性，并且给出了激活函数参数的调节机制。这样网络每一次循环都选用不同的迟滞激活函数，前后两次循环所用的迟滞激活函数正好构成一个迟滞环，既保证了网络的稳定性又使得网络表现出较好的灵活性。最后还讨论了噪声对实验的影响。仿真分析实验表明，迟滞 Hopfield 神经网络能够以较大的概率收敛于全局最优点，算法的性能优于基于连续 Hopfield 神经网络的盲检测算法。但是算法存在依赖于多个起点，复杂度高这一缺点。(4)为了实现仅利用单个起点就能获得最优解这一问题，本论文在第四章提出了基于暂态混沌神经网络的盲检测算法。首先根据文献介绍了暂态混沌神经网络；然后根据盲检测优化问题建立了适用于盲检测优化问题的暂态混沌神经网络，并且着重论述了其模拟退火机制及参数的设计，对其全局搜索机制做了探讨；最后还将其同传统的连续 Hopfield 神经网络做了比较。仿真分析表明，基于暂态混沌神经网络的盲检测算法不依赖于多个起点，能够实现单起点条件下的信号盲检测，在检测性能上略好于 HNN 算法，但是算法不依赖于多个起点，同时算法适用于四种经典的文献信道，具备一定的普适性。
5.2 研究展望
信号的盲检测技术作为一项新兴的技术受到了学术界和工业界的广泛关注。本论文深入研究了基于改进型 Hopfield 神经网络的盲检测技术，提出了三种有效的技术措施和解决方案。但是由于本人时间和能力的有限，对改进型连续 Hopfield 神经网络的研究还过于肤浅，对其能量函数及其稳定性的分析还存在一定的局限性。结合本文的研究内容，今后可以考虑从如下的几个方面做具体的研究。
(1)复杂星座信号的盲检测技术。随着无线通信技术的不断发展，调制方式将变得更为复杂。正交振幅调制作为一种有效的数字调制方式目前已被广泛应用于新一代移动通信系统、极高频复杂雷达通信系统中。因此深入研究复杂星座信号的盲检测技术就显得十分必要。尽管文献[56,57,58,59]已经有相关的研究报道，但是对于该方面的研究还仅仅处于起步阶段，许多问题还需做进一步的研究。另外研究如何利用迟滞 Hopfeild 神经网络和暂态混沌神经网络来实现星座信号以及复杂星座信号盲检测，目前还未有相关的文献报道。这些都是未来重要南京邮电大学硕士研究生学位论文 第五章 总结与展望52
的研究方向。
(2)新兴通信环境下的盲检测技术。随着物联网技术和无线传感网技术的不断发展，通信环境将变得日趋复杂。尽管本文所提出的算法不依赖于统计量、适用于含公零点信道。但是物联网和无线传感网信道更为复杂，研究物联网和无线传感网环境下的信号盲检测技术也是很有必要的。此外由于物联网和无线传感网中，中继协作通信技术的广泛应用[60] [61] [62] [63] [64] ，这就要求盲检测技术对系统能量的开销小、复杂度低。因此将盲检测技术与中继协作通信技术联系起来，着重研究无线传感器网络节点间的盲检测技术，就显得很有价值和意义。这也是一个重要的研究方向。
(3)多天线收发的盲检测技术。多天线收发技术又称 MIMO 技术。它能够通过多根天线的不同配置来实现信号空间资源的充分利用，从而实现通信系统容量的显著提高。在无线频谱日渐短缺的环境下，MIMO 技术显然是提高频谱利用率和数据传输速率的有效方法。因此研究 MIMO 环境下的盲检测技术也是很有必要的。文献[65,66,67,68,69]尽管做了一些相关方面的研究，但是算法均依赖统计量和均衡器，同时各个用户存在互相干扰的问题。研究 MIMO环境下盲检测技术的新问题和新理论比如用户之间干扰的抑制也是一大研究方向。构建起统一的网络能量函数，从理论上证明网络的全局最优点，重点讨论接受信号同发送信号之间的微妙关系进而探讨如何选择初始向量来实现信号的盲检测。这些都是很有意义的方向。(5)现有的盲检测技术并没有在硬件上实现，而 Hopfield 神经网络、迟滞 Hopfield 神经网络、暂态混沌神经网络在电路上都比较容易实现。因此利用大规模集成电路来验证甚至实现现有盲检测技术就显得意义重大。同时如何将盲检测技术与现在采用的通信协议联系起来也是一个需要重点考虑的方面。
南京邮电大学硕士研究生学位论文 参考文献53参考文献
[1] Giannakis G B, Mendel J M.Identification of nonminimum phase systems using higher-order statistics[J].IEEE Trans Acoustics, Speech, Signal Processing, 1989, ASSP-37:360-377.
[2] Constantinos B P, Arogyaswami J P. A Constant Modulus Algorithm for Multiuser Signal Separation in Presence of Delay Spread Using Antenna Arrays[J].IEEE Signal Processing Letters.1997:178-181. [3] Tugnait J K, Tong L, Ding Z. Single-User Channel Estimation and Equalization[J].IEEE Signal Processing Magazine, 2000, 17:17-28. [4] Sansrimahachai P,Ward D,Constantinides A G.Multiple-Input Multiple-Output Least-Squares Constant Modulus Algorithms[C].Global Telecommunications Conference, 2003, GLOBECOM '03:2084-2088,. [5] Tong L,Xu G H,Kailath T.Blind identification and equalization based on second-order statistics:a time domain approach[J]. IEEE Transactions on Information Theory.1994,40(2):340-349. [6] Moulines E, Duhamel P, Cardoso J F, Mayrargue S,Subspace methods for the blind identification of multichannel FIR filters[J]. IEEE Trans. on signal processing, 1995,43(2)516-525.
[7] Ding Z.Linear Predictive algorithms for blind multichannel identification,in Signal Processing Advances in Wireless and Mobile Communication[M].Giannakis,Hua, Tong, chapter 6,Prentice Hall, 2001. [8] 张志涌, BAI Er-wei.SIMO 含公零点信道的直接盲序列检测[J].电子学报,Vol.33, No.4, 671-675, Apr, 2005. [9] Zhang Zhiyong, Zhang Yun.Blind Detection of QPSK Signals using Hopfield Neural Network[C].Intelligent Control and Automation, 2008. WCICA 2008. 7th World Congress,China:2696-2700.[10] 张昀,张志涌.复数离散 Hopfield 网络盲检测 64QAM 信号[J].电子与信息学报,2011,33:315-320. [11] 张昀,张志涌,于舒娟.基于幅值相位型离散 Hopfield 神经网络的多进制振幅键控盲检测[J].物理学报,2012,61.[12] Igor N, Aizenberg,Naum N.Multi-Valued and Universal Binary Neurons-Theory[M].Learning and Applications. Kluwer Academic Publishers, Boston , Dordrecht , London,2000.
[13] Park D C.Complex-Bilinear Recurrent NeuralNetwork for Equalization of a Digital Satellite Channel[J]. IEEE Transactions on Neural Networks, 13(3):711-725,2002.[14] S Mo, B Shafai.Blind equalization using higher order cumulants and neural network [J].IEEE Transactions on signal processing,1994,42:3209-3217.
[15] Yang S,Lee C M.HBP:improvement in BP algorithm for an adaptive MLP decision feedback equalizer[J].IEEE Transactions on Circuits and System II: Express Briefs,2006,53(3):240-244. [16] 肖瑛,刘国枝,李振兴,董玉华.遗传优化神经网络的水声信道盲均衡[J].应用声学, 2006 25(6):340-345. [17] Santamaria I, Pantaleon C, Vielva L etal. Blind equalization of constant modulus signal using support vector machines[J].IEEE Transactions on Signal Processing,2004,52(6):1773-1782.[18] Marcelino L,Santamaría I. Blind equalization of multilevel signals using support vector machines[C].In Proc.12th European Signal Processing Conference,Vienna,Austria,2004:41-44. [19] Marcelino L,Jonathan G O.Blind equalization using the IRWLS formulation of the support vector machine[J].Signal Processing,2009,89(7):1436-1445. [20] Guo Y C, Rui D.A Support vector machines blind equalization algorithm based on immune clone algorithm[J].Intelligent Computing and Information Science,2011,134:428-433. [21] ChinTeng Lin,ChiaFeng Juang. An AdaPtive Neural Fuzzy Filter and its Applications[J]. IEEE Transactions on Systems,Man and Cybermdies,1997,27(8):635-656. [22] Ramin P,Vahid T. Channel Equalization Using Neural NetWork[J]. IEEE Trans (ICPWC’99) ,1999:240-243. 南京邮电大学硕士研究生学位论文 参考文献54
[23] Ching Hung Lee,Yu Ching Lin.An adaptive neuro-fuzzy filter design via periodic neural network[J]. Signal Processing,2005,85:401-411. [24] 张志涌,张昀.复数 Hopfield 盲恢复多用户 QPSK 信号[J].东南大学学报(自然科学版),2008,38(SII):18-22. [25] 张昀,张志涌.离散 Hopfield 实现多值信号盲检测[J] .南京邮电大学学报,2012, 30 ,2010:31-35. [26] Hopfield J J.Neural networks and physical systems with emergent collective computational abilities[J]. Proceedings of National Academic Sciences,USA,1982,79:2554-2558. [27] 于舒娟 ,张志涌. 含公零点 SIMO 信道 QPSK 序列盲检测[J].东南大学学报,2005 ,36(6) : 867- 871.
[28] Zhang Yun，Zhang Zhiyong.Blind Detection of QAM with a Complex Discrete Neural Network[C]. Proceedings of the 8th World Congress on Intelligent Control and Automation, （WCICA 2010）, July 6-9, 2010, Jinan, China:6808-6812. [29] 阮秀凯,张志涌.基于连续Hopfield型神经网络的QAM信号盲检测[J].电子与信息学报,2011,33(7): 1600- 1605.
[30] Hopfield J J. Neurons with graded response have collective computational properties like those of two-state neurons[J]. Proceedings of the National Academy of Sciences of the UnitedStates of America, 1984,81(10): 3088−3092. [31] D Sengupta, R A Iltis.Neural Solution to the Multitarget Tracking Data AssociationProblem[J].IEEE Trans on Aerospace and Electronic Systems, 1989, 25 (1):96-108.
[32] M Zaveri,SN Merchant,UdayB Desai. Robust Neural Network Based Data Association and Multiple Model - Based Tracking of Multiple Point Targets[J]. IEEE Transactions on Systems, Man and Cybernetics, Part C: Applications and Reviews, 2007, 37(3) : 337-351. [33] 敬忠良,张国伟,周宏仁. 随机神经网络在机动多目标跟踪中的应用[J].航空学报,1994,15(7):812-818.
[34] Bharitkar, Jerry M Mendel. The Hysteretic Hopfield Neural Network[J].IEEE Trans. Neural Networks, 2000, 11(4):879-888. [35] Didday R L.A model of visuomotor mechsnism in the frog optic techtum[J]. Mathmatical Biosciences, 1976, 30:169-180. [36] Segundo J P,Martinez O D. Dynamics and static hysteresis in crayfish receptors[J]. Biological Cybernetics,1985,52:291-296. [37] S V Marshall, R. E DuBroff, G G Skitek.Electromagnetic Conceptsand Applications[J]. Englewood Cliffs, NJ: Prentice-Hall, 1996. [38] A M Andronikou, G A Bekey,F Y Hadaegh.Identifiability of nonlinear systems with hysteretic elements[J].J. Dyn. Syst., Measurement, Contr, 1983,105:209-214.
[39] T Balendra. Vibration of Buildings to Wind and Earthquake Loads[M]. New York: Springer-Verlag, 1993. [40] G Biorci,A Ferro.Hysteresis losses along open transformations[J].J. Phys. Radium, 1959,20: 237-240. [41] L O Chua , S C Bass.A generalized hysteresis model[J]. IEEE Trans. Circuit Theory, 1972, CT-19:36-48. [42] Volterra V.Theory of Functionals and of Integral and Integro-Differential Equations[M]. New York: Dover, 1959.[43] Whiteman J R.A mathematical model depicting the stress-strain diagram and the hysteresis loop[J].Trans. ASME, 1959, 26:203-208.
[44] Keeler J D, Pichler E E, J Ross.Noise in neural networks: Thresholds, hysteresis and neuromodulation of signal-noise[J].Proc. Nat. Acad. Sci. USA, 1989, 86:1712–1716. [45] Yanai H , Sawada Y. Associative memory network composed of neurons with hysteretic property[J].Neural Networks, 1990, 3:223–228. [46] Takefuji Y, Lee K C.An hysteresis binary neuron: A model suppressing the oscillatory behavior of neural dynamics[J].Biol Cybern, 1991, 64: 353-356. [47] Chen L,Aihara K.Chaotic simulated annealing by a neural network model with transient chaos[J].Neural 南京邮电大学硕士研究生学位论文 参考文献55
Networks,1995,8(6) :915-930.
[48] Kirkpatrick S,Gelatt C D,Vecchi M P.Optimization by simulated annealing[J] . Science:1983,220:671-680. [49] Tokuda T,Aihara K .Global bifurcation structure of chaotic neural networks and its Application to traveling salesman problems[J] .Neural Networks,1997,10(9) : 1673-1690. [50] Chen L,Aihara K.Chaos and asymptoticalstability in discrete-time neural networs[J].Physica D,1997,104(3/4) :286-325.
[51] Chen L .Strange attractors in chaotic neural networks[J].IEEE Trans Circuits Syst.I:2000,47:1455-1468. [52] Salcedo-Sanz S,Santiago-Mozos R, Calzon C B. A hybrid hopfield network Simulated annealing approach for frequency assignment in satellite communications systems[J].IEEETrans.Syst.Man,CybelTl.B Cybern:2004,4(2):1108-1116. [53] Zhao Weirui,Lin Wei,Liu Rong song,eta1.Asymptotical stability in discrete ·time neural networks[J].IEEE Trans.Circuits Syst.I,2002,49(10):1516-1520.
[54] He Zhenya,Zhang Yifeng,Wei Chengdian,eta1.A multistage self-organizing algorithm combined transiently chaotic neural network for cellular channel assignment[J].IEEE Trans .Veh.Technol,2002,51(6):1386-1396. [55] Horio Y,Aihara K.Neuron-synapse IC chip set for large scale chaotic neural networks[J].IEEE TransNeural Networks,2003,14(5):1393-1404. [56] 阮秀凯,张志涌.一种复杂星座信号的盲均衡新方法[J].电子学报,2011,39(7):1502-1507.
[57] Ruan Xiu-kai,Zhang Zhi-yong.Blind nonlinear channel equalization using kernel processing[C].In Proc.IEEE Int.Conf.Image and Signal Processing,2009:4406-4411. [58] 阮秀凯,张志涌.一种基于支持向量回归的信号盲恢复新算法.南京理工大学学报（自然科学版）[J], 2009,33(S1):204-208.
[59] Zhang Yun, Zhang Zhi-Yong.Blind 8PSK Signals Detection Using Discrete Complex-Valued Hopfield Network[C].Proceedings of 12th IEEE International Conference on Communication Technology (ICCT2010),11-14, 2010:984-987. [60] Berger S, Unger T, Kuhn M. Recent advances in amplify and forward two-hop relaying[J]. IEEE Communication Magazine, 2009,47(7): 50-56.
[61] Jing Y, Jafarkhani H. Network beamforming using relays with perfect channel information[J]. IEEE Trans on Information Theory,2009, 55(6): 2499-2517. [62] Zhang G, Wong K K, Paulraj A.Collaborative-relay beamforming with perfect CSI: optimum and distributed implementation[J].IEEE Signal Processing Letter, 2009, 16(4): 257-260.
[63] Boyd S, Vandenberghe L. Convex Optimization[M]. Cambridge,U K: Cambridge Univ Press, 2004. [64] Larsson P. Large-scale cooperative relaying networks with optimal combining under aggregate relay power constraint[C]. Proceedings ofthe Future Telecommunication Conference. Beijing, China, 2003,166-170. [65] Bradaric I, Perropulu A P, DiamantarasI K I. On blind identifiability of FIR-MIMO systems with cyclostationary inputs using second order statistics[J]. IEEE Trans Signal Processing, 2003, 51(2):43-44. [66] Hua Y, An S, Xiang Y. Blind identification of FIR channels by decorrelating subchannels[J]. IEEE Trans Signal Processing, 2003,51(5): 1143-1155. [67] Kawamoto M, Inouye Y, Liu R. Blind deconvolution algorithms for MIMO-FIR channels driven white but fourth-order colored signals[C]. Proc 34th Asilomar Conf Signal, Systems, and Computers,2000, 1202-1206. [68] Xavier J, Barroso V, Moutut J. Closed-form correltive coding (CFC2) blind identification of MIMO channels: Isometry fittingtosecondorderstatistics [ j ].ieetranssignalprocessing，2001，49 (5) :1073-1086. [69] Bradaric I， petro pulu a diamantarask.blindmimofirchannelidentificationbasedonsecond-orderspectracorrelations [ j ].ieetransignalproctioce
附录1硕士学位期间写的论文
)冯迪，于舒娟，张誸.改进激活函数的Hopfield盲检测算法[J] .计算机技术与发展，2012，12.)冯迪，于舒娟，张誸.一种独立于统计量的盲检测算法
)3) Shu-Juan Yu，Di Feng，yunddetectionofbpsksignalsusinghystereticneuralnetwork [ j ].lecturenotesinelectrion
附录2硕士学位期间申请的专利
(1)在舒娟、冯迪、张昀中，“基于滞后全反馈神经网络的盲检测新方法”于201310059495.0，2013年1月，待批准。 南京邮电大学硕士研究生学位论文致谢58
致谢
时间过去了，三年的研究生生涯逐渐结束。 曲终人散之际，衷心感谢所有借此方寸之地，帮助过我的老师、同学、家人、朋友。
教师，所以传道、上课、解惑。 首先，我要深切感谢我的导师舒娟教授。 科研带头人兢兢业业，一丝不苟，致力于培养我的独立研究和学习能力。 生活指导者以身作则，教会了我做人的生活方式。 每次徘徊失望，都有领导的鼓励； 炎炎夏日，严寒寒冬，领导无微不至。 借此机会，我向领导表示最诚挚的谢意！ 其次，我要深深感谢张昀老师在我的学习和科研过程中给予的全方位指导和帮助。 张老师积极向上的学术眼光、实事求是的科学精神、阳光的心，让我受益匪浅。 感谢刘陈教授、沈元隆教授、赵生妹教授等任课老师。 有你们的帮助，我顺利完成了课程的学习和论文的写作。 特别感谢南京邮电大学张志涌教授在学习和科研方面的指导和启示！ 再次，感谢蔡思捷、汪金伟、刘莉老师姐姐。 感谢申继龙、石磊、庄琴清、陈明、李彦东、刘卫平、蔡晴红、孔小丽等同学在学习生活中给予的帮助和支持。 特别感谢我的好兄弟王逸潇、谢挺、吴成年、吴经纬等同学在我困惑、彷徨、失望时给予的鼓励和帮助。 此外，感谢父母和家人的教导和培养。 正是他们的鼓励和鞭策，才让我走到了今天。 最后，感谢各位专家学者在百忙之中抽出时间审阅本文并提出宝贵意见。