选辑神经网络是什么

⑴ 什么是神经网络

神经网络可以指向两种，一个是生物神经网络，一个是人工神经网络。
生物神经网络：一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。
人工神经网络（Artificial
Neural
Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection
Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
人工神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。

⑵ 什么是神经网络

神经网络是机器学习的一个流派。这是现今最火的一个学派。我们在第一讲中，已经知道人学习知识是通过神经元的连接，科学家通过模仿人脑机理发明了人工神经元。技术的进一步发展，多层神经元的连接，就形成了神经网络。那么神经网络是怎么搭建起来的呢？神经元是构建神经网络的最基本单位， 这张图就是一个人工神经元的原理图，非常简单，一个神经元由一个加法器和一个门限器组成。加法器有一些输入，代表从其他神经元来的信号，这些信号分别被乘上一个系数后在加法器里相加，如果相加的结果大于某个值，就“激活”这个神经元，接通到下个神经元，否则就不激活。原理就这么简单，做起来也很简单。今天所有的神经网络的基本单元都是这个。输入信号乘上的系数，我们也叫“权重”，就是网络的参数，玩神经网路就是调整权重，让它做你想让它做的事。 一个神经元只能识别一个东西，比如，当你训练给感知器会“认”数字“8”，你给它看任何一个数字，它就会告诉你，这是“8”还不是“8”。为了让机器识别更多更复杂的图像，我们就需要用更多的神经元。人的大脑由 1000 亿个神经元构成，人脑神经元组成了一个很复杂的三维立体结构。

⑶ 什么是神经网络计算机

这个其实你安静下来查查网络也挺快的，人讲的话漏洞还是蛮多的。神经网络可以想象成机器人脑。
尽量简单讲吧，神经网络的初衷是人希望计算机能模拟人的思维方式解决这些问题：
识别物体，识别数据类型——》进而做到预测物体发展，预测数据变化。比如预测股票，电影票房等等。
那人的思维方式是怎样的呢？是多维的网状的。比如，识别一个杯子只需要一瞬间，但你判断的过程是通过杯子的各种特征综合反映出来是一个杯子的。这种各种特征的综合反映就是神经网络的基本特点。
抽象一点，你输入一组能代表杯子的特征，经过神经网络的处理，它能告诉你这是一个杯子。神经网络就算成了。
其中，你输入的一组特征就是输入向量；
神经网络是由你自己设计的，包括层数和节点数，都是模拟人脑复杂程度的。解决什么样的问题，就用适当的复杂程度。
处理指的是各种函数。
最后能告诉你是个杯子，就算是输出了。

当然，神经网络并不是很准确的网络，因为这是和人自己对大脑的研究成正比的。但因为兼容性强，建模方便的特征，使神经网络的使用范围还是相当广的。希望没有误导你。

⑷ 深度学习中经常提到的神经网络是什么

介绍深度学习就必须要介绍神经网络，因为深度学习是基于神经网络算法的，其实最开始只有神经网络算法，上文也提到2006年Geoffrey Hinton老爷子提出了Deep Learning，核心还是人工神经网络算法，换了一个新的叫法，最基本的算法没有变。
通过神经元接收外界信号，达到一定阈值，触发动作电位，通过突触释放神经递质，可以是兴奋或抑制，影响突触后神经元。通过此实现大脑的计算、记忆、逻辑处理等，进行做出一系列行为等。同时不断地在不同神经元之间构建新的突触连接和对现有突触进行改造，来进行调整。有时候不得不感叹大自然的鬼斧神工，900亿神经元组成的神经网络可以让大脑实现如此复杂的计算和逻辑处理。

⑸ 神经网络具体是什么

神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。 举个手写识别的例子，给定一个未知数字，让神经网络识别是什么数字。此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义。在通过非线性激活函数进行非线性变换后，神经元被激活然后被传递到其他神经元。重复这一过程，直到最后一个输出神经元被激活。从而识别当前数字是什么字。 神经网络的每个神经元如下

基本wx + b的形式，其中 x1、x2表示输入向量 w1、w2为权重，几个输入则意味着有几个权重，即每个输入都被赋予一个权重 b为偏置bias g(z) 为激活函数 a 为输出 如果只是上面这样一说，估计以前没接触过的十有八九又必定迷糊了。事实上，上述简单模型可以追溯到20世纪50/60年代的感知器，可以把感知器理解为一个根据不同因素、以及各个因素的重要性程度而做决策的模型。 举个例子，这周末北京有一草莓音乐节，那去不去呢？决定你是否去有二个因素，这二个因素可以对应二个输入，分别用x1、x2表示。此外，这二个因素对做决策的影响程度不一样，各自的影响程度用权重w1、w2表示。一般来说，音乐节的演唱嘉宾会非常影响你去不去，唱得好的前提下 即便没人陪同都可忍受，但如果唱得不好还不如你上台唱呢。所以，我们可以如下表示： x1：是否有喜欢的演唱嘉宾。x1 = 1 你喜欢这些嘉宾，x1 = 0 你不喜欢这些嘉宾。嘉宾因素的权重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 没人陪你同去。是否有人陪同的权重w2 = 3。 这样，咱们的决策模型便建立起来了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函数，这里的b可以理解成 为更好达到目标而做调整的偏置项。 一开始为了简单，人们把激活函数定义成一个线性函数，即对于结果做一个线性变化，比如一个简单的线性激活函数是g(z) = z，输出都是输入的线性变换。后来实际应用中发现，线性激活函数太过局限，于是引入了非线性激活函数。

⑹ 什么是神经网络，举例说明神经网络的应用

我想这可能是你想要的神经网络吧！

什么是神经网络：
人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

神经网络的应用：

应用
在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人、复杂系统控制等等。
纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。

神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：
生物原型
从生理学、心理学、解剖学、脑科学、病理学等方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。
建立模型
根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。
算法
在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。
神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统方法的区别所在。

⑺ 神经网络是什么

神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

生物神经网络主要是指人脑的神经网络，它是人工神经网络的技术原型。人脑是人类思维的物质基础，思维的功能定位在大脑皮层，后者含有大约10^11个神经元，每个神经元又通过神经突触与大约103个其它神经元相连，形成一个高度复杂高度灵活的动态网络。作为一门学科，生物神经网络主要研究人脑神经网络的结构、功能及其工作机制，意在探索人脑思维和智能活动的规律。

人工神经网络是生物神经网络在某种简化意义下的技术复现，作为一门学科，它的主要任务是根据生物神经网络的原理和实际应用的需要建造实用的人工神经网络模型，设计相应的学习算法，模拟人脑的某种智能活动，然后在技术上实现出来用以解决实际问题。因此，生物神经网络主要研究智能的机理；人工神经网络主要研究智能机理的实现，两者相辅相成。

(7)选辑神经网络是什么扩展阅读：

神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：

1、生物原型

从生理学、心理学、解剖学、脑科学、病理学等方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。

2、建立模型

根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。

3、算法

在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。

神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统方法的区别所在。

⑻ 神经网络模型-27种神经网络模型们的简介

​ 

【1】Perceptron(P) 感知机

【1】感知机 

感知机是我们知道的最简单和最古老的神经元模型，它接收一些输入，然后把它们加总，通过激活函数并传递到输出层。

【2】Feed Forward(FF)前馈神经网络

 【2】前馈神经网络

前馈神经网络（FF），这也是一个很古老的方法——这种方法起源于50年代。它的工作原理通常遵循以下规则：

1.所有节点都完全连接

2.激活从输入层流向输出，无回环

3.输入和输出之间有一层（隐含层）

在大多数情况下，这种类型的网络使用反向传播方法进行训练。

【3】Radial Basis Network(RBF) RBF神经网络

 【3】RBF神经网络

RBF 神经网络实际上是 激活函数是径向基函数 而非逻辑函数的FF前馈神经网络（FF）。两者之间有什么区别呢？

逻辑函数--- 将某个任意值映射到[0 ,... 1]范围内来，回答“是或否”问题。适用于分类决策系统，但不适用于连续变量。

相反， 径向基函数--- 能显示“我们距离目标有多远”。 这完美适用于函数逼近和机器控制（例如作为PID控制器的替代）。

简而言之，RBF神经网络其实就是， 具有不同激活函数和应用方向的前馈网络 。

【4】Deep Feed Forword(DFF)深度前馈神经网络

【4】DFF深度前馈神经网络 

DFF深度前馈神经网络在90年代初期开启了深度学习的潘多拉盒子。 这些依然是前馈神经网络，但有不止一个隐含层 。那么，它到底有什么特殊性？

在训练传统的前馈神经网络时，我们只向上一层传递了少量的误差信息。由于堆叠更多的层次导致训练时间的指数增长，使得深度前馈神经网络非常不实用。 直到00年代初，我们开发了一系列有效的训练深度前馈神经网络的方法; 现在它们构成了现代机器学习系统的核心 ，能实现前馈神经网络的功能，但效果远高于此。

【5】Recurrent Neural Network(RNN) 递归神经网络

【5】RNN递归神经网络 

RNN递归神经网络引入不同类型的神经元——递归神经元。这种类型的第一个网络被称为约旦网络（Jordan Network），在网络中每个隐含神经元会收到它自己的在固定延迟（一次或多次迭代）后的输出。除此之外，它与普通的模糊神经网络非常相似。

当然，它有许多变化 — 如传递状态到输入节点，可变延迟等，但主要思想保持不变。这种类型的神经网络主要被使用在上下文很重要的时候——即过去的迭代结果和样本产生的决策会对当前产生影响。最常见的上下文的例子是文本——一个单词只能在前面的单词或句子的上下文中进行分析。

【6】Long/Short Term Memory (LSTM) 长短时记忆网络

【6】LSTM长短时记忆网络 

LSTM长短时记忆网络引入了一个存储单元，一个特殊的单元，当数据有时间间隔（或滞后）时可以处理数据。递归神经网络可以通过“记住”前十个词来处理文本，LSTM长短时记忆网络可以通过“记住”许多帧之前发生的事情处理视频帧。 LSTM网络也广泛用于写作和语音识别。

存储单元实际上由一些元素组成，称为门，它们是递归性的，并控制信息如何被记住和遗忘。

【7】Gated Recurrent Unit (GRU)

 【7】GRU是具有不同门的LSTM

GRU是具有不同门的LSTM。

听起来很简单，但缺少输出门可以更容易基于具体输入重复多次相同的输出，目前此模型在声音（音乐）和语音合成中使用得最多。

实际上的组合虽然有点不同：但是所有的LSTM门都被组合成所谓的更新门(Update Gate)，并且复位门(Reset Gate)与输入密切相关。

它们比LSTM消耗资源少，但几乎有相同的效果。

【8】Auto Encoder (AE) 自动编码器

 【8】AE自动编码器

Autoencoders自动编码器用于分类，聚类和特征压缩。

当您训练前馈(FF)神经网络进行分类时，您主要必须在Y类别中提供X个示例，并且期望Y个输出单元格中的一个被激活。 这被称为“监督学习”。

另一方面，自动编码器可以在没有监督的情况下进行训练。它们的结构 - 当隐藏单元数量小于输入单元数量（并且输出单元数量等于输入单元数）时，并且当自动编码器被训练时输出尽可能接近输入的方式，强制自动编码器泛化数据并搜索常见模式。

【9】Variational AE (VAE)  变分自编码器

 【9】VAE变分自编码器

变分自编码器，与一般自编码器相比，它压缩的是概率，而不是特征。

尽管如此简单的改变，但是一般自编码器只能回答当“我们如何归纳数据？”的问题时，变分自编码器回答了“两件事情之间的联系有多强大？我们应该在两件事情之间分配误差还是它们完全独立的？”的问题。

【10】Denoising AE (DAE) 降噪自动编码器

 【10】DAE降噪自动编码器

虽然自动编码器很酷，但它们有时找不到最鲁棒的特征，而只是适应输入数据（实际上是过拟合的一个例子）。

降噪自动编码器（DAE）在输入单元上增加了一些噪声 - 通过随机位来改变数据，随机切换输入中的位，等等。通过这样做，一个强制降噪自动编码器从一个有点嘈杂的输入重构输出，使其更加通用，强制选择更常见的特征。

【11】Sparse AE (SAE) 稀疏自编码器

【11】SAE稀疏自编码器 

稀疏自编码器（SAE）是另外一个有时候可以抽离出数据中一些隐藏分组样试的自动编码的形式。结构和AE是一样的，但隐藏单元的数量大于输入或输出单元的数量。

【12】Markov Chain (MC) 马尔科夫链

 【12】Markov Chain (MC) 马尔科夫链

马尔可夫链（Markov Chain, MC）是一个比较老的图表概念了，它的每一个端点都存在一种可能性。过去，我们用它来搭建像“在单词hello之后有0.0053％的概率会出现dear，有0.03551%的概率出现you”这样的文本结构。

这些马尔科夫链并不是典型的神经网络，它可以被用作基于概率的分类（像贝叶斯过滤），用于聚类（对某些类别而言），也被用作有限状态机。

【13】Hopfield Network (HN) 霍普菲尔网络

【13】HN霍普菲尔网络 

霍普菲尔网络（HN）对一套有限的样本进行训练，所以它们用相同的样本对已知样本作出反应。

在训练前，每一个样本都作为输入样本，在训练之中作为隐藏样本，使用过之后被用作输出样本。

在HN试着重构受训样本的时候，他们可以用于给输入值降噪和修复输入。如果给出一半图片或数列用来学习，它们可以反馈全部样本。

【14】Boltzmann Machine (BM) 波尔滋曼机

【14】 BM 波尔滋曼机 

波尔滋曼机（BM）和HN非常相像，有些单元被标记为输入同时也是隐藏单元。在隐藏单元更新其状态时，输入单元就变成了输出单元。（在训练时，BM和HN一个一个的更新单元，而非并行）。

这是第一个成功保留模拟退火方法的网络拓扑。

多层叠的波尔滋曼机可以用于所谓的深度信念网络，深度信念网络可以用作特征检测和抽取。

【15】Restricted BM (RBM) 限制型波尔滋曼机

【15】 RBM 限制型波尔滋曼机 

在结构上，限制型波尔滋曼机（RBM）和BM很相似，但由于受限RBM被允许像FF一样用反向传播来训练（唯一的不同的是在反向传播经过数据之前RBM会经过一次输入层）。

【16】Deep Belief Network (DBN) 深度信念网络

【16】DBN 深度信念网络 

像之前提到的那样，深度信念网络（DBN）实际上是许多波尔滋曼机（被VAE包围）。他们能被连在一起（在一个神经网络训练另一个的时候），并且可以用已经学习过的样式来生成数据。

【17】Deep Convolutional Network (DCN) 深度卷积网络

【17】 DCN 深度卷积网络

当今，深度卷积网络（DCN）是人工神经网络之星。它具有卷积单元（或者池化层）和内核，每一种都用以不同目的。

卷积核事实上用来处理输入的数据，池化层是用来简化它们（大多数情况是用非线性方程，比如max），来减少不必要的特征。

他们通常被用来做图像识别，它们在图片的一小部分上运行（大约20x20像素）。输入窗口一个像素一个像素的沿着图像滑动。然后数据流向卷积层，卷积层形成一个漏斗（压缩被识别的特征）。从图像识别来讲，第一层识别梯度，第二层识别线，第三层识别形状，以此类推，直到特定的物体那一级。DFF通常被接在卷积层的末端方便未来的数据处理。

【18】Deconvolutional Network (DN) 去卷积网络

 【18】 DN 去卷积网络

去卷积网络（DN）是将DCN颠倒过来。DN能在获取猫的图片之后生成像（狗：0，蜥蜴：0，马：0，猫：1）一样的向量。DNC能在得到这个向量之后，能画出一只猫。

【19】Deep Convolutional Inverse Graphics Network (DCIGN) 深度卷积反转图像网络

【19】 DCIGN 深度卷积反转图像网络

深度卷积反转图像网络（DCIGN），长得像DCN和DN粘在一起，但也不完全是这样。

事实上，它是一个自动编码器，DCN和DN并不是作为两个分开的网络，而是承载网路输入和输出的间隔区。大多数这种神经网络可以被用作图像处理，并且可以处理他们以前没有被训练过的图像。由于其抽象化的水平很高，这些网络可以用于将某个事物从一张图片中移除，重画，或者像大名鼎鼎的CycleGAN一样将一匹马换成一个斑马。

【20】Generative Adversarial Network (GAN) 生成对抗网络

 【20】 GAN 生成对抗网络

生成对抗网络（GAN）代表了有生成器和分辨器组成的双网络大家族。它们一直在相互伤害——生成器试着生成一些数据，而分辨器接收样本数据后试着分辨出哪些是样本，哪些是生成的。只要你能够保持两种神经网络训练之间的平衡，在不断的进化中，这种神经网络可以生成实际图像。

【21】Liquid State Machine (LSM) 液体状态机

 【21】 LSM 液体状态机

液体状态机（LSM）是一种稀疏的，激活函数被阈值代替了的（并不是全部相连的）神经网络。只有达到阈值的时候，单元格从连续的样本和释放出来的输出中积累价值信息，并再次将内部的副本设为零。

这种想法来自于人脑，这些神经网络被广泛的应用于计算机视觉，语音识别系统，但目前还没有重大突破。

【22】Extreme  Learning Machine (ELM) 极端学习机

【22】ELM 极端学习机 

极端学习机（ELM）是通过产生稀疏的随机连接的隐藏层来减少FF网络背后的复杂性。它们需要用到更少计算机的能量，实际的效率很大程度上取决于任务和数据。

【23】Echo State Network (ESN) 回声状态网络

【23】 ESN 回声状态网络

回声状态网络（ESN）是重复网络的细分种类。数据会经过输入端，如果被监测到进行了多次迭代（请允许重复网路的特征乱入一下），只有在隐藏层之间的权重会在此之后更新。

据我所知，除了多个理论基准之外，我不知道这种类型的有什么实际应用。。。。。。。

【24】Deep Resial Network (DRN) 深度残差网络

​【24】 DRN 深度残差网络 

深度残差网络（DRN）是有些输入值的部分会传递到下一层。这一特点可以让它可以做到很深的层级（达到300层），但事实上它们是一种没有明确延时的RNN。

【25】Kohonen Network (KN) Kohonen神经网络

​ 【25】 Kohonen神经网络

Kohonen神经网络（KN）引入了“单元格距离”的特征。大多数情况下用于分类，这种网络试着调整它们的单元格使其对某种特定的输入作出最可能的反应。当一些单元格更新了， 离他们最近的单元格也会更新。

像SVM一样，这些网络总被认为不是“真正”的神经网络。

【26】Support Vector Machine (SVM)

​【26】 SVM 支持向量机 

支持向量机（SVM）用于二元分类工作，无论这个网络处理多少维度或输入，结果都会是“是”或“否”。

SVM不是所有情况下都被叫做神经网络。

【27】Neural Turing Machine (NTM) 神经图灵机

​【27】NTM 神经图灵机 

神经网络像是黑箱——我们可以训练它们，得到结果，增强它们，但实际的决定路径大多数我们都是不可见的。

神经图灵机（NTM）就是在尝试解决这个问题——它是一个提取出记忆单元之后的FF。一些作者也说它是一个抽象版的LSTM。

记忆是被内容编址的，这个网络可以基于现状读取记忆，编写记忆，也代表了图灵完备神经网络。

⑼ 有人可以介绍一下什么是"神经网络"吗

由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络
都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的
见解。目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适
应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经
系统对真实世界物体所作出的交互反应。"

如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方
式进行比较，就可以看出人脑具有以下鲜明特征：

1. 巨量并行性。
在冯·诺依曼机中，信息处理的方式是集中、串行的，即所有的程序指
令都必须调到CPU中后再一条一条地执行。而人在识别一幅图像或作出一项
决策时，存在于脑中的多方面的知识和经验会同时并发作用以迅速作出解答。
据研究，人脑中约有多达10^(10)～10^(11)数量级的神经元，每一个神经元
具有103数量级的连接，这就提供了巨大的存储容量，在需要时能以很高的
反应速度作出判断。

2. 信息处理和存储单元结合在一起。
在冯·诺依曼机中，存储内容和存储地址是分开的，必须先找出存储器的
地址，然后才能查出所存储的内容。一旦存储器发生了硬件故障，存储器中
存储的所有信息就都将受到毁坏。而人脑神经元既有信息处理能力又有存储
功能，所以它在进行回忆时不仅不用先找存储地址再调出所存内容，而且可
以由一部分内容恢复全部内容。当发生"硬件"故障（例如头部受伤）时，并
不是所有存储的信息都失效，而是仅有被损坏得最严重的那部分信息丢失。

3. 自组织自学习功能。
冯·诺依曼机没有主动学习能力和自适应能力，它只能不折不扣地按照
人们已经编制好的程序步骤来进行相应的数值计算或逻辑计算。而人脑能够
通过内部自组织、自学习的能力，不断地适应外界环境，从而可以有效地处
理各种模拟的、模糊的或随机的问题。

神经网络研究的主要发展过程大致可分为四个阶段：

1. 第一阶段是在五十年代中期之前。

西班牙解剖学家Cajal于十九世纪末创立了神经元学说，该学说认为神经
元的形状呈两极，其细胞体和树突从其他神经元接受冲动，而轴索则将信号
向远离细胞体的方向传递。在他之后发明的各种染色技术和微电极技术不断
提供了有关神经元的主要特征及其电学性质。

1943年，美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文《神经
活动中所蕴含思想的逻辑活动》中，提出了一个非常简单的神经元模型，即
M－P模型。该模型将神经元当作一个功能逻辑器件来对待，从而开创了神经
网络模型的理论研究。

1949年，心理学家D.O. Hebb写了一本题为《行为的组织》的书，在这本
书中他提出了神经元之间连接强度变化的规则，即后来所谓的Hebb学习法则。
Hebb写道："当神经细胞A的轴突足够靠近细胞B并能使之兴奋时，如果A重
复或持续地激发B，那么这两个细胞或其中一个细胞上必然有某种生长或代
谢过程上的变化，这种变化使A激活B的效率有所增加。"简单地说，就是
如果两个神经元都处于兴奋状态，那么它们之间的突触连接强度将会得到增
强。

五十年代初，生理学家Hodykin和数学家Huxley在研究神经细胞膜等效电
路时，将膜上离子的迁移变化分别等效为可变的Na+电阻和K+电阻，从而建
立了着名的Hodykin-Huxley方程。

这些先驱者的工作激发了许多学者从事这一领域的研究，从而为神经计
算的出现打下了基础。

2. 第二阶段从五十年代中期到六十年代末。

1958年，F.Rosenblatt等人研制出了历史上第一个具有学习型神经网络
特点的模式识别装置，即代号为Mark I的感知机（Perceptron），这一重
大事件是神经网络研究进入第二阶段的标志。对于最简单的没有中间层的
感知机，Rosenblatt证明了一种学习算法的收敛性，这种学习算法通过迭代
地改变连接权来使网络执行预期的计算。

稍后于Rosenblatt，B.Widrow等人创造出了一种不同类型的会学习的神经
网络处理单元，即自适应线性元件Adaline，并且还为Adaline找出了一种有
力的学习规则，这个规则至今仍被广泛应用。Widrow还建立了第一家神经计
算机硬件公司，并在六十年代中期实际生产商用神经计算机和神经计算机软
件。

除Rosenblatt和Widrow外，在这个阶段还有许多人在神经计算的结构和
实现思想方面作出了很大的贡献。例如，K.Steinbuch研究了称为学习矩阵
的一种二进制联想网络结构及其硬件实现。N.Nilsson于1965年出版的
《机器学习》一书对这一时期的活动作了总结。

3. 第三阶段从六十年代末到八十年代初。

第三阶段开始的标志是1969年M.Minsky和S.Papert所着的《感知机》一书
的出版。该书对单层神经网络进行了深入分析，并且从数学上证明了这种网
络功能有限，甚至不能解决象"异或"这样的简单逻辑运算问题。同时，他们
还发现有许多模式是不能用单层网络训练的，而多层网络是否可行还很值得
怀疑。

由于M.Minsky在人工智能领域中的巨大威望，他在论着中作出的悲观结论
给当时神经网络沿感知机方向的研究泼了一盆冷水。在《感知机》一书出版
后，美国联邦基金有15年之久没有资助神经网络方面的研究工作，前苏联也
取消了几项有前途的研究计划。

但是，即使在这个低潮期里，仍有一些研究者继续从事神经网络的研究工
作，如美国波士顿大学的S.Grossberg、芬兰赫尔辛基技术大学的T.Kohonen
以及日本东京大学的甘利俊一等人。他们坚持不懈的工作为神经网络研究的
复兴开辟了道路。

4. 第四阶段从八十年代初至今。

1982年，美国加州理工学院的生物物理学家J.J.Hopfield采用全互连型
神经网络模型，利用所定义的计算能量函数，成功地求解了计算复杂度为
NP完全型的旅行商问题（Travelling Salesman Problem，简称TSP）。这
项突破性进展标志着神经网络方面的研究进入了第四阶段，也是蓬勃发展
的阶段。

Hopfield模型提出后，许多研究者力图扩展该模型，使之更接近人脑的
功能特性。1983年，T.Sejnowski和G.Hinton提出了"隐单元"的概念，并且
研制出了Boltzmann机。日本的福岛邦房在Rosenblatt的感知机的基础上，
增加隐层单元，构造出了可以实现联想学习的"认知机"。Kohonen应用3000
个阈器件构造神经网络实现了二维网络的联想式学习功能。1986年，
D.Rumelhart和J.McClelland出版了具有轰动性的着作《并行分布处理-认知
微结构的探索》，该书的问世宣告神经网络的研究进入了高潮。

1987年，首届国际神经网络大会在圣地亚哥召开，国际神经网络联合会
（INNS）成立。随后INNS创办了刊物《Journal Neural Networks》，其他
专业杂志如《Neural Computation》，《IEEE Transactions on Neural
Networks》，《International Journal of Neural Systems》等也纷纷
问世。世界上许多着名大学相继宣布成立神经计算研究所并制订有关教育
计划，许多国家也陆续成立了神经网络学会，并召开了多种地区性、国际性
会议，优秀论着、重大成果不断涌现。

今天，在经过多年的准备与探索之后，神经网络的研究工作已进入了决
定性的阶段。日本、美国及西欧各国均制订了有关的研究规划。

日本制订了一个"人类前沿科学计划"。这项计划为期15－20年，仅
初期投资就超过了1万亿日元。在该计划中，神经网络和脑功能的研究占有
重要地位，因为所谓"人类前沿科学"首先指的就是有关人类大脑以及通过
借鉴人脑而研制新一代计算机的科学领域。

在美国，神经网络的研究得到了军方的强有力的支持。美国国防部投资
4亿美元，由国防部高级研究计划局（DAPRA）制订了一个8年研究计划，
并成立了相应的组织和指导委员会。同时，海军研究办公室（ONR）、空军
科研办公室（AFOSR）等也纷纷投入巨额资金进行神经网络的研究。DARPA认
为神经网络"看来是解决机器智能的唯一希望"，并认为"这是一项比原子弹
工程更重要的技术"。美国国家科学基金会（NSF）、国家航空航天局（NASA）
等政府机构对神经网络的发展也都非常重视，它们以不同的形式支持了众多
的研究课题。

欧共体也制订了相应的研究计划。在其ESPRIT计划中，就有一个项目是
"神经网络在欧洲工业中的应用"，除了英、德两国的原子能机构外，还有多
个欧洲大公司卷进这个研究项目，如英国航天航空公司、德国西门子公司等。
此外，西欧一些国家还有自己的研究计划，如德国从1988年就开始进行一个
叫作"神经信息论"的研究计划。

我国从1986年开始，先后召开了多次非正式的神经网络研讨会。1990年
12月，由中国计算机学会、电子学会、人工智能学会、自动化学会、通信学
会、物理学会、生物物理学会和心理学会等八个学会联合在北京召开了"中
国神经网络首届学术会议"，从而开创了我国神经网络研究的新纪元。

⑽ 什么叫神经网络

神经网络是新技术领域中的一个时尚词汇。很多人听过这个词，但很少人真正明白它是什么。本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语、类型及其应用。
“神经网络”这个词实际是来自于生物学，而我们所指的神经网络正确的名称应该是“人工神经网络（ANNs）”。在本文，我会同时使用这两个互换的术语。
一个真正的神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作。在这里有一个难题：我们对生物学上的神经网络知道的不多！因此，不同类型之间的神经网络体系结构有很大的不同，我们所知道的只是神经元基本的结构