人工智能-神经网络 点击：560 | 回复：30
人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。
人工神经网络（Artificial Neural Networks，简记作ANN）的主要哲学基础就是它们具有通过范例进行学习的能力，或者更技术地来说，它们可以系统地改进输入数据且能反映到输出数据上。
T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”
(1)巨量并行性。
(2)信息处理和存储单元结合在一起。
(3)自组织自学习功能。
(1)第一次热潮(40-60年代未)
1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。
(2)低潮(70-80年代初):
(3)第二次热潮
1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。
神经元是构成神经网络的最基本单元（构件）。
人工神经元模型应该具有生物神经元的六个基本特性。
1）神经元及其联接；
2）神经元之间的联接强度决定信号传递的强弱；
3）神经元之间的联接强度是可以随训练改变的；
4）信号可以是起刺激作用的，也可以是起抑制作用的；
5）一个神经元接受的信号的累积效果决定该神经元的状态；
6) 每个神经元可以有一个“阈值”。
正在下载，请等待……
楼主最近还看过
本节将讨论通过训练神经网络(neural nets)的学习问题。经过本节学习后，我们能了解神经网络的有关知识。
神经网络的组成与特性
大量文献从各种不同的角度来解释生理神经网络是如何工作的。许多书藉和论文从细胞观点来解释神经元。另一些涉及神经传递器(neurotransmitters)和神经突触(synapses)上及其附近的活动细节。又有一些集中研究神经元在处理和传递信息时是如何连接和跟踪传递路径的。还有一些从现代工程观点得出不同的物体具有不同的传输路线和频率调制的思想。大多数想了解和复制神经网络功能的研究人员，在浩瀚的文献中，只能把注意力集中到神经元的少数几个特性上。
生理神经元的组成
轴突和树突共同作用，实现了神经元间的信息传递。轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其它神经元发送信息。对某些突触的刺激促使神经元触发(fire)。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。无论什么时候达到阈值电平，神经元就产生一个全强度的输出窄脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。越来越明显的证据表明，学习发生在突触附近，而且突触把经过一个神经元轴突的脉冲转化为下一个神经元的兴奋或抑制。
(2) 生理神经元的功能
脑神经生理学研究结果表明，每个人脑大约含有1011-1012个神经元，每一神经元又约有103-104个突触。神经元通过突触形成的网络，传递神经元间的兴奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维。…>
2.人工神经元的组成与分类
(1) 人工神经元的组成
人工神经网络(artificial neural nets,ANN)或模拟神经网络是由模拟神经元组成的，可把ANN看成是以处理单元PE(processing element)为节点，用加权有向弧(链)相互连接而成的有向图。其中，处理单元是对生理神经元的模拟，而有向弧则是轴突-突触-树突对的模拟。有向弧的权值表示两处理单元间相互作用的强弱。图5.31表示ANN的组成略图。图中，来自其它神经元的输入乘以权值，然后相加。把所有总和与阈值电平比较。当总和高于阈值时，其输出为1；否则，输出为0。大的正权对应于强的兴奋，小的负权对应于弱的抑制。
在简单的人工神经网模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互联作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性。
(2) ANN的数学描述
令来自其它处理单元(神经元)i的信息为Xi，它们与本处理单元的互相作用强度为Wi，i=0,1,…，n-1，处理单元的内部阈值为θ。那么本神经元的输入为
式中，xi为第i个元素的输入，wi为第i个元素与本处理单元的互联权重。f称为激发函数(activation function)或作用函数。它决定节点(神经元)的输出。该输出为1或0取决于其输入之和大于或小于内部阈值θ。
图 5.32 常用NN输入输出特性
激发函数一般具有非线性特性。常用的非线性特性如图5.32所示，分述于下：
① 阈值型
对于这种模型，神经元没有内部状态，激发函数为一阶跃函数，如图5.32(a)所示。这时，输出为：
f(xi)=U(xi)= 1,xi>0
0,xi≤0 (5.10)
② 分段线性强饱和型 见图5.32(b)。
③ Sigmoid型激发函数称为西格莫伊德(Sigmoid)函数，简称S型函数，其输入输出特性常用对数曲线或正切曲线等表示。这类曲线反映了神经元的饱和特性。S型函数是最常用的激发函数，它便于应用梯度技术进行搜索求解。
(3) 典型人工神经网络
目前，在应用和研究中采用的神经网络模型不下30种，其中较有代表性的有以下十几种，这些网络中的一部分在后面章节中将详细进行介绍，这里按字母序简述。
作为例子，下面讨论反向传播网络。
基于反向传播网络的学习
反向传播(back－propagation,BP)算法是一种计算单个权值变化引起网络性能变化值的较为简单的方法。由于BP算法过程包含从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正，所以称为"反向传播"。
1.反向传播网络的结构 鲁梅尔哈特(Rumelhart)和麦克莱兰(Meclelland)于1985年发展了BP网络学习算法，实现了明斯基的多层网络设想。BP网络不仅含有输入节点和输出节点，而且含有一层或多层隐(层)节点，如图5.33所示。输入信号先向前传递到隐节点，经过作用后，再把隐节点的输出信息传递到输出节点，最后给出输出结果。节点的激发函数一般选用S型函数。
BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐单元层逐层处理后，传至输出层。每一层神经元的状态只影响下一层神经元的状态。如果在输出层得不到期望
这个概念称为连锁法(chain rule)。
有一个待改善的权的集合和一个对应于期望输出的简单的输入集合。我们需要知道一种测量权的状况的方法和一种改善测量性能的方法。
测量性能的标准方法是取一训练(采样)输入，然后求取每个输出方差之和。对所有训练求取输出方差之和，，P为被测神经元性能，s为全部训练输入的记号，z为全部输出节点的记号，dsz为训练输入s在节点z的期望输出，Osz为训练输入s在节点z的实际输出。当然，被测性能P是权的函数。因此，如果能够计算出性能对每个权值的偏导数，那么就能够调用梯度法。然后，按与对应的偏导数成正比变化权值，就能很快地登上性能之山(爬山法)。
值得指出，由于性能是以全部训练输入之和的形式给出的，所以能够分别对每个训练输入性能的偏导数求和，计算出性能对具体权值的偏导数。这样，就可以去掉下标s以减少记号上的混乱，而每次把注意力集中于训练输入。也就是说，对每个训练输入导出的调整值求和来修正每个权值。考虑偏导数： (5.14)
式中，Wi→j为连接第i层节点和第j层节点的权值。
下一步是找出一种计算P对Wi→j偏导数的有效方法。通过计算接近输出层节点的权值来表示这个偏导数，就能找到这个方法。
权值Wi→j对性能P的作用是通过中间变量Oj，即第j个节点的输出来实现的。应用连锁法来表示P对Wi→j的导数： (5.15)
现在来考虑项。对节点j的全部输入求和，并通过一个阈值函数而求得Oj。即，其中，f为阈值函数。把这个和作为中间变量处理，
综上所述，我们求得两个关键方程，它们表示两个重要的结果。第一，性能对权值的偏导数取决于性能对下一个输出的偏导数；第二，性能对输出的偏导数取决于性能对下一层输出的偏导数。从这两个结果可得出结论：P对第i层的任何权的偏导数必须借助计算右边第j层的偏导数而得到。
不过，要最后完成上述计算，还必须决定性能对最后一层每个输出的偏导数。这种计算很容易进行，
下面讨论阈值函数f对其自变量σ的导数
反向传播学习算法
根据前面求得的两个反向传播方程，可得反向传播训练神经元的算法如下：
(1) 选取比率参数r，
(2) 进行下列过程直至性能满足要求为止:
对于每一训练(采样)输入，
计算所得输出。
按下式计算输出节点的值
按下式计算全部其它节点
按下式计算全部权值变化
对于所有训练(采样)输入，对权值变化求和，并修正各权值。
权值变化与输出误差成正比，作为训练目标输出只能逼近1和0两值，而绝不可能达到1和0值。因次，当采用1作为目标值进行训练时，所有输出实际上呈现出大于0.9的值；而当采用0作为目标值进行训练时，所有输出实际上呈现出小于0.1的值；这样的性能就被认为是满意的。反向传播算法是一种很有效的学习算法，它已解决了不少问题，成为神经网络的重要模型之一。
反向传播学习示例
反向传播特性与所求解问题的性质和所作细节选择有极为密切的关系。
由于BP算法采用梯度法时步长和系数是由经验确定的，所以效率较低。曾提出几种BP改进算法，可提高学习速度3-5倍，使BP算法获得更广泛的应用。反向传播算法已在图象识别、边缘检测、模式记忆、XOR问题、对称性判别和T_C匹配等方面得到应用。下面略举数例。
(1) 识别单个概念的学习问题
因为修正任何具体的权值所需要的最大加数和乘数处在从一个节点发出的最大链(弧线)数的数量级上，所以，从计算的观点，通过反向传播改变权值是有效的。不过，可能需要修正许多步。 考虑图5.35的网络。假设正好有两个输入为1值，而其余输入为0值。H1和H2为隐节点，具有与门作用。该网络的目标是要确定对应于输入的两个人是否相识。该网络的任务为学习上面一组3人中的任何一人是下面一组3人中任何一人的熟人。如果网络的输出大于0.9，那么就判断这两个人为相识；如果输出小于0.1，就判断为不相识；其它结果被认为是模糊不定的。图中，节点A为"熟人"。
图 5.35 关于熟人的学习问题
问题是要修正网络的权值，从某个初始值集合开始，直到所有判断都是一致的，即具有共识：每个人认识其它的人，但是Robert,Raquel和Romeo是同胞而不把他们视为熟人，因为他们的熟悉程度已超过熟人，就像Joan,James和Juliet是同胞而不是熟人一样。
(2) 识别两个概念的学习问题
让我们增加一个新的节点S，"同胞"节点，来讨论识别同胞的学习问题，见图5.36。当输入组合表明有2个是同胞时，节点S的输出为1。
假定每对不是熟人者为同胞，如表5.8所示。应用所增加的同胞信息，再次执行BP算法。不过，这次可从第1次试验产生的权值开始。只对新的节点阈值和新的连接链才需要新的权值。
当所有采样输入产生某个合适的输出值时，其权值和阈值如表5.10"第2个任务完成"列所示。
图5.37示出分段学习的结果。又经过175次权值修正之后，得到满意的性能；这时的r=0.1。产生满意结果所需步数要比识别"熟人"少些。这是因为许多用于识别"熟人"的权值也适用于识别"同胞"。
如果一开始就涉及全部(2个)输出节点，那么需要约425次权值修正以产生满意的权值集合；而对于同样的学习问题，当采用分段学习时，只需要400次权值修正，如图5.38所示。同时学习一般可能比分段学习要快或者慢。到底那种方法快，这取决于问题本身及初始权值。
基于神经网络的学习
上节我们讨论了反向传播网络的学习问题。BP网络是一类典型的前馈网络。其它前馈网络有感知器(Perceptron)、自适应线性网络和交替投影网络等。前馈网络是一种具有很强学习能力的系统，结构比较简单，且易于编程。前馈网络通过简单非线性单元的复合映射而获得较强的非线性处理能力，实现静态非线性映射。不过，前馈网络缺乏动态处理能力，因而计算能力不够强。
还有一类人工神经网络，即反馈神经网络，它是一种动态反馈系统，比前馈网络具有更强的计算能力。反向网络可用一个完备的无向图表示。本节将以霍普菲尔德(Hopfield)网络为例，研究反馈神经网络的模型算法和学习示例，以求对反馈网络有个初步的和基本的了解。
1.Hopfield网络模型
Hopfield离散随机神经网络模型是由J.J.Hopfield于1982年提出的。1984年，他又提出连续时间神经网络模型。这两种模型的许多重要特性是密切相关的。一般在进行计算机仿真时采用离散模型，而在用硬件实现时则采用连续模型。
Hopfield网络是一种具有正反相输出的带反馈人工神经元，如图5.39(a)所示。它用无源电子器件Rj和Cj的并联模拟生理神经元的输出时间常数，用跨导Tj模拟生物神经元通过突触互联传输信息时的损耗，用有源电子器件运算放大器的非线性特性模拟生物神经元的输入输出非线性关系，并补充信息传输路径上的损耗，Hopfield网络模拟电路如图5.39(b)所示。由于这种网络能够实现神经元间的相互激励与抑制，因而具有很强的能力。图5.40中的每个放大器就是一个神经元。
每个放大器(神经元)的输出可用一个非线性动态方程来描述。
2.Hopfield网络算法
Hopfield提出，如果把神经网络的各平衡点设想为存储于该网络的信息，而且网络的收敛性保证系统的动态特性随时间而达到稳定，那么这种网络就成为按内容定址的存储器(content addressable memory，CAM)，或称为联想存储器。
有一种联想存储器，它有n个节点，每节点均接受二值输入，由节点的阈值型非线性函数(见图5.32(a))得到+1或-1输出，每个节点的输出经互联Wij送至所有其它节点。Hopfield证明了当权值对称地设置(Wji=Wij)且节点输出被异步地更新时，该网络是收敛的。
Hopfield算法:
(1) 设置互联权值 Wij=
0, i=j,0≤i≤n-1 (5.36)
式中，xni为S类采样的第i个分量，可为+1或-1；采样类别数为m，节点数为n。
(2) 对未知类别的采样初始化
yi(0)=xi，0≤i≤n-1 (5.37)
式中，yi(t)为节点i在时刻t的输出；当t=0时，yi0)就是节点i的初始值，xi为输入采样的第i个分量，也可为+1或-1。
(3) 迭代运算
(5.38)
式中，函数f为阈值型。本过程一直重复到新的迭代不能再改变节点的输出止，即收敛止。这时，各节点的输出与输入采样达到最佳匹配。否则
(4)转步骤(2)。
Hopfield算法框图如图5.40所示。
设置互联权值
Wij= |  |  | |
| 0, i=j,0≤i≤n-1 | (5.36) |
式中，xni为S类采样的第i个分量，可为+1或-1；采样类别数为m，节点数为n。 |
|
(5.38)
Hopfield网络学习示例
Hopfield网络系统不仅能够实现联想记忆，而且能够执行线性和非线性规划等优化求解任务图5.41Hopfield算法框图。网络的收敛时间可在ms级以下。由于并行处理能力，其收敛时间几乎与网络的单元数目无关。因此，Hopfield网络特别适用于一些模糊推理模型、非线性辨识和自适应控制模型中的问题学习求解。下面我们将利用Hopfield网络动态过程的约束优化能力，对预测模型进行在线参数估计，并对含有参数的智能控制规则进行在线自寻优整定，以建立一类实时智能控制系统框图。
设受控对象P为具有不确定性和非线性的时变过程或对象。R(Θ，S)为根据控制理论、经验和统计资料等总结而成的控制规则集，其中，S为状态向量及其延迟向量组成的向量集，Θ为规则中可调参数向量的集合。由于要对含有不确定性和非线性时变系统进行实时控制，各参数向量θ＜Θ需进行在线自寻优整定。这相当于给控制系统引进规则修改的学习级。这里提出一个框架，它利用Hopfield网络的辨识和优化能力以及数学机的规则处理能力。图5.42给出这种控制系统的一种框架模型。
图 5.42 框架模型
图5.42中，ES为控制误差向量及其延迟向量的集合，在此仅考虑利用误差信号的控制规则；TDL为时间延迟线；D为目标输出；Y为受控输出；U为控制输入；CRS为控制规则集；HNO为Hopfield网络优化器；HNE为Hopfield网络估计器；Φ为估计器输出，是预测模型中的辨识参数向量集合。
各规则实现由误差论域到控制论域的映射：
u=f(E,θ) | (5.39) |
其中，u∈U，为与规则集中某一规则相应的控制向量；θ∈Θ，为该规则中的规则集可调参数向量；E E为包括E在内的当前误差向量集的预测向量集。记当前误差的向量集的预测向量集为εp，则E=E∪εp。依据下列预测模型对εp进行估计：
ep＝g(Φ，Θ)，ep∈εp | (5.40) |
即预测模型是以Φ为参量集，待整定规则参数集Θ为变量集的模型。其中，Φ由HNE进行估计，Θ则作为指标变量集由HNO进行在线自寻优整定，这样即确定了所有控制规则映射中的E和θ∈Θ，并由CRS产生控制动作。
有关本控制系统设计(包括基于Hopfield网络估计器和Hopfield网络优化器的单输入单输出控制系统的设计在内)问题，已超出本书讨论范围，在此从略。感兴趣的读者请参阅相关文献。
人工神经网络的类型很多，限于篇幅，本书只介绍了两种比较基本的和常用的模型。即BP网络和Hopfield网络。其它模型请见神经网络专著和教材。
- ABB机器人码垛节拍优化技巧与...
[2304] - 机器人码垛编码思路[924]
- ABB机器人系统与软件的问题[2341]
- 热电阻三线、四线制的接线方法...[1119]
- abb机器人系统启动失败怎么办...[2758]
- 涂胶机器人的主要特点[1532]
- pilz 继电器报警[924]
- ABBIRB14000YuMi机器人伺服手...[840]
- 为什么要进行转速计数器更新[5234]
- 求助KUKA外部自动怎么呼叫程...[1136]
官方公众号
智造工程师
-
客服
-
小程序
-
公众号
工控网智造工程师好文精选
