理解神经网络怎么样

1. 神经网络的发展趋势如何

神经网络的云集成模式还不是很成熟，应该有发展潜力，但神经网络有自己的硬伤，不知道能够达到怎样的效果，所以决策支持系统中并不是很热门，但是神经网络无视过程的优点也是无可替代的，云网络如果能够对神经网络提供一个互补的辅助决策以控制误差的话，也许就能使神经网络成熟起来
1 人工神经网络产生的背景
自古以来，关于人类智能本源的奥秘，一直吸引着无数哲学家和自然科学家的研究热情。生物学家、神经学家经过长期不懈的努力，通过对人脑的观察和认识，认为人脑的智能活动离不开脑的物质基础，包括它的实体结构和其中所发生的各种生物、化学、电学作用，并因此建立了神经元网络理论和神经系统结构理论，而神经元理论又是此后神经传导理论和大脑功能学说的基础。在这些理论基础之上，科学家们认为，可以从仿制人脑神经系统的结构和功能出发，研究人类智能活动和认识现象。另一方面，19世纪之前，无论是以欧氏几何和微积分为代表的经典数学，还是以牛顿力学为代表的经典物理学，从总体上说，这些经典科学都是线性科学。然而，客观世界是如此的纷繁复杂，非线性情况随处可见，人脑神经系统更是如此。复杂性和非线性是连接在一起的，因此，对非线性科学的研究也是我们认识复杂系统的关键。为了更好地认识客观世界，我们必须对非线性科学进行研究。人工神经网络作为一种非线性的、与大脑智能相似的网络模型，就这样应运而生了。所以，人工神经网络的创立不是偶然的，而是20世纪初科学技术充分发展的产物。
2 人工神经网络的发展
人工神经网络的研究始于40年代初。半个世纪以来，经历了兴起、高潮与萧条、高潮及稳步发展的远为曲折的道路。
1943年，心理学家W.S.Mcculloch和数理逻辑学家W.Pitts 提出了M—P模型，这是第一个用数理语言描述脑的信息处理过程的模型， 虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。1949年，心理学家D.O.Hebb提出突触联系可变的假设，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。 1957 年， 计算机科学家Rosenblatt提出了着名的感知机模型，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络，第一次把神经网络研究付诸工程实现。由于可应用于模式识别，联想记忆等方面，当时有上百家实验室投入此项研究，美国军方甚至认为神经网络工程应当比“原子弹工程”更重要而给予巨额资助，并在声纳信号识别等领域取得一定成绩。1960年，B.Windrow和E.Hoff提出了自适应线性单元， 它可用于自适应滤波、预测和模式识别。至此，人工神经网络的研究工作进入了第一个高潮。
1969年，美国着名人工智能学者M.Minsky和S.Papert编写了影响很大的Perceptron一书，从理论上证明单层感知机的能力有限，诸如不能解决异或问题，而且他们推测多层网络的感知机能力也不过如此，他们的分析恰似一瓢冷水，很多学者感到前途渺茫而纷纷改行，原先参与研究的实验室纷纷退出，在这之后近10年，神经网络研究进入了一个缓慢发展的萧条期。这期间，芬兰学者T.Kohonen 提出了自组织映射理论，反映了大脑神经细胞的自组织特性、记忆方式以及神经细胞兴奋刺激的规律；美国学者S.A.Grossberg的自适应共振理论（ART ）；日本学者K.Fukushima提出了认知机模型；ShunIchimari则致力于神经网络有关数学理论的研究等，这些研究成果对以后的神经网络的发展产生了重要影响。
美国生物物理学家J.J.Hopfield于1982年、1984年在美国科学院院刊发表的两篇文章，有力地推动了神经网络的研究，引起了研究神经网络的又一次热潮。 1982 年， 他提出了一个新的神经网络模型——hopfield网络模型。他在这种网络模型的研究中，首次引入了网络能量函数的概念，并给出了网络稳定性的判定依据。1984年，他又提出了网络模型实现的电子电路，为神经网络的工程实现指明了方向，他的研究成果开拓了神经网络用于联想记忆的优化计算的新途径，并为神经计算机研究奠定了基础。1984年Hinton等人将模拟退火算法引入到神经网络中，提出了Boltzmann机网络模型，BM 网络算法为神经网络优化计算提供了一个有效的方法。1986年，D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法，成为至今为止影响很大的一种网络学习方法。1987年美国神经计算机专家R.Hecht—Nielsen提出了对向传播神经网络，该网络具有分类灵活，算法简练的优点，可用于模式分类、函数逼近、统计分析和数据压缩等领域。1988年L.Ochua 等人提出了细胞神经网络模型，它在视觉初级加工上得到了广泛应用。
为适应人工神经网络的发展，1987年成立了国际神经网络学会，并决定定期召开国际神经网络学术会议。1988年1月Neural Network 创刊。1990年3月IEEE Transaction on Neural Network问世。 我国于1990年12月在北京召开了首届神经网络学术大会，并决定以后每年召开一次。1991 年在南京成立了中国神经网络学会。 IEEE 与INNS 联合召开的IJCNN92已在北京召开。 这些为神经网络的研究和发展起了推波助澜的作用，人工神经网络步入了稳步发展的时期。
90年代初，诺贝尔奖获得者Edelman提出了Darwinism模型，建立了神经网络系统理论。同年，Aihara等在前人推导和实验的基础上，给出了一个混沌神经元模型，该模型已成为一种经典的混沌神经网络模型，该模型可用于联想记忆。 Wunsch 在90OSA 年会上提出了一种AnnualMeeting，用光电执行ART，学习过程有自适应滤波和推理功能，具有快速和稳定的学习特点。1991年，Hertz探讨了神经计算理论， 对神经网络的计算复杂性分析具有重要意义；Inoue 等提出用耦合的混沌振荡子作为某个神经元，构造混沌神经网络模型，为它的广泛应用前景指明了道路。1992年，Holland用模拟生物进化的方式提出了遗传算法， 用来求解复杂优化问题。1993年方建安等采用遗传算法学习，研究神经网络控制器获得了一些结果。1994年Angeline等在前人进化策略理论的基础上，提出一种进化算法来建立反馈神经网络，成功地应用到模式识别，自动控制等方面；廖晓昕对细胞神经网络建立了新的数学理论和方法，得到了一系列结果。HayashlY根据动物大脑中出现的振荡现象，提出了振荡神经网络。1995年Mitra把人工神经网络与模糊逻辑理论、 生物细胞学说以及概率论相结合提出了模糊神经网络，使得神经网络的研究取得了突破性进展。Jenkins等人研究光学神经网络， 建立了光学二维并行互连与电子学混合的光学神经网络，它能避免网络陷入局部最小值，并最后可达到或接近最理想的解；SoleRV等提出流体神经网络，用来研究昆虫社会，机器人集体免疫系统，启发人们用混沌理论分析社会大系统。1996年，ShuaiJW’等模拟人脑的自发展行为， 在讨论混沌神经网络的基础上提出了自发展神经网络。1997、1998年董聪等创立和完善了广义遗传算法，解决了多层前向网络的最简拓朴构造问题和全局最优逼近问题。
随着理论工作的发展，神经网络的应用研究也取得了突破性进展，涉及面非常广泛，就应用的技术领域而言有计算机视觉，语言的识别、理解与合成，优化计算，智能控制及复杂系统分析，模式识别，神经计算机研制，知识推理专家系统与人工智能。涉及的学科有神经生理学、认识科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、动力学、生物电子学等。美国、日本等国在神经网络计算机软硬件实现的开发方面也取得了显着的成绩，并逐步形成产品。在美国，神经计算机产业已获得军方的强有力支持，国防部高级研究计划局认为“神经网络是解决机器智能的唯一希望”，仅一项8 年神经计算机计划就投资4亿美元。在欧洲共同体的ESPRIT计划中， 就有一项特别项目：“神经网络在欧洲工业中的应用”，单是生产神经网络专用芯片这一项就投资2200万美元。据美国资料声称，日本在神经网络研究上的投资大约是美国的4倍。我国也不甘落后，自从1990 年批准了南开大学的光学神经计算机等3项课题以来， 国家自然科学基金与国防预研基金也都为神经网络的研究提供资助。另外，许多国际着名公司也纷纷卷入对神经网络的研究，如Intel、IBM、Siemens、HNC。神经计算机产品开始走向商用阶段，被国防、企业和科研部门选用。在举世瞩目的海湾战争中，美国空军采用了神经网络来进行决策与控制。在这种刺激和需求下，人工神经网络定会取得新的突破，迎来又一个高潮。自1958年第一个神经网络诞生以来，其理论与应用成果不胜枚举。人工神经网络是一个快速发展着的一门新兴学科，新的模型、新的理论、新的应用成果正在层出不穷地涌现出来。
3 人工神经网络的发展前景
针对神经网络存在的问题和社会需求，今后发展的主要方向可分为理论研究和应用研究两个方面。
（1）利用神经生理与认识科学研究大脑思维及智能的机理、 计算理论，带着问题研究理论。
人工神经网络提供了一种揭示智能和了解人脑工作方式的合理途径，但是由于人类起初对神经系统了解非常有限，对于自身脑结构及其活动机理的认识还十分肤浅，并且带有某种“先验”。例如， Boltzmann机引入随机扰动来避免局部极小，有其卓越之处，然而缺乏必要的脑生理学基础，毫无疑问，人工神经网络的完善与发展要结合神经科学的研究。而且，神经科学，心理学和认识科学等方面提出的一些重大问题，是向神经网络理论研究提出的新挑战，这些问题的解决有助于完善和发展神经网络理论。因此利用神经生理和认识科学研究大脑思维及智能的机理，如有新的突破，将会改变智能和机器关系的认识。
利用神经科学基础理论的研究成果，用数理方法探索智能水平更高的人工神经网络模型，深入研究网络的算法和性能，如神经计算、进化计算、稳定性、收敛性、计算复杂性、容错性、鲁棒性等，开发新的网络数理理论。由于神经网络的非线性，因此非线性问题的研究是神经网络理论发展的一个最大动力。特别是人们发现，脑中存在着混沌现象以来，用混沌动力学启发神经网络的研究或用神经网络产生混沌成为摆在人们面前的一个新课题，因为从生理本质角度出发是研究神经网络的根本手段。
（2）神经网络软件模拟， 硬件实现的研究以及神经网络在各个科学技术领域应用的研究。
由于人工神经网络可以用传统计算机模拟，也可以用集成电路芯片组成神经计算机，甚至还可以用光学的、生物芯片的方式实现，因此研制纯软件模拟，虚拟模拟和全硬件实现的电子神经网络计算机潜力巨大。如何使神经网络计算机与传统的计算机和人工智能技术相结合也是前沿课题；如何使神经网络计算机的功能向智能化发展，研制与人脑功能相似的智能计算机，如光学神经计算机，分子神经计算机，将具有十分诱人的前景。
4 哲理
（1）人工神经网络打开了认识论的新领域
认识与脑的问题，长期以来一直受到人们的关注，因为它不仅是有关人的心理、意识的心理学问题，也是有关人的思维活动机制的脑科学与思维科学问题，而且直接关系到对物质与意识的哲学基本问题的回答。人工神经网络的发展使我们能够更进一步地既唯物又辩证地理解认识与脑的关系，打开认识论的新领域。人脑是一个复杂的并行系统，它具有“认知、意识、情感”等高级脑功能，用人工进行模拟，有利于加深对思维及智能的认识，已对认知和智力的本质的研究产生了极大的推动作用。在研究大脑的整体功能和复杂性方面，人工神经网络给人们带来了新的启迪。由于人脑中存在混沌现象，混沌可用来理解脑中某些不规则的活动，从而混沌动力学模型能用作人对外部世界建模的工具，可用来描述人脑的信息处理过程。混沌和智能是有关的，神经网络中引入混沌学思想有助于提示人类形象思维等方面的奥秘。人工神经网络之所以再度兴起，关键在于它反映了事物的非线性，抓住了客观世界的本质，而且它在一定程度上正面回答了智能系统如何从环境中自主学习这一最关键的问题，从认知的角度讲，所谓学习，就是对未知现象或规律的发现和归纳。由于神经网络具有高度的并行性，高度的非线性全局作用，良好的容错性与联想记忆功能以及十分强的自适应、自学习功能，而使得它成为揭示智能和了解人脑工作方式的合理途径。但是，由于认知问题的复杂性，目前，我们对于脑神经网的运行和神经细胞的内部处理机制，如信息在人脑是如何传输、存贮、加工的？记忆、联想、判断是如何形成的？大脑是否存在一个操作系统？还没有太多的认识，因此要制造人工神经网络来模仿人脑各方面的功能，还有待于人们对大脑信息处理机理认识的深化。
（2）人工神经网络发展的推动力来源于实践、 理论和问题的相互作用
随着人们社会实践范围的不断扩大，社会实践层次的不断深入，人们所接触到的自然现象也越来越丰富多彩、纷繁复杂，这就促使人们用不同的原因加以解释不同种类的自然现象，当不同种类的自然现象可以用同样的原因加以解释，这样就出现了不同学科的相互交叉、综合，人工神经网络就这样产生了。在开始阶段，由于这些理论化的网络模型比较简单，还存在许多问题，而且这些模型几乎没有得到实践的检验，因而神经网络的发展比较缓慢。随着理论研究的深入，问题逐渐地解决特别是工程上得到实现以后，如声纳识别成功，才迎来了神经网络的第一个发展高潮。可Minisky认为感知器不能解决异或问题， 多层感知器也不过如此，神经网络的研究进入了低谷，这主要是因为非线性问题没得到解决。随着理论的不断丰富，实践的不断深入， 现在已证明Minisky的悲观论调是错误的。今天，高度发达的科学技术逐渐揭示了非线性问题是客观世界的本质。问题、理论、实践的相互作用又迎来了人工神经网络的第二次高潮。目前人工神经网络的问题是智能水平不高，还有其它理论和实现方面的问题，这就迫使人们不断地进行理论研究，不断实践，促使神经网络不断向前发展。总之，先前的原因遇到了解释不同的新现象，促使人们提出更加普遍和精确的原因来解释。理论是基础，实践是动力，但单纯的理论和实践的作用还不能推动人工神经网络的发展，还必须有问题提出，才能吸引科学家进入研究的特定范围，引导科学家从事相关研究，从而逼近科学发现，而后实践又提出新问题，新问题又引发新的思考，促使科学家不断思考，不断完善理论。人工神经网络的发展无不体现着问题、理论和实践的辩证统一关系。
（3 ）人工神经网络发展的另一推动力来源于相关学科的贡献及不同学科专家的竞争与协同
人工神经网络本身就是一门边缘学科，它的发展有更广阔的科学背景，亦即是众多科研成果的综合产物，控制论创始人Wiener在其巨着《控制论》中就进行了人脑神经元的研究；计算机科学家Turing就提出过B网络的设想；Prigogine提出非平衡系统的自组织理论，获得诺贝尔奖；Haken研究大量元件联合行动而产生宏观效果， 非线性系统“混沌”态的提出及其研究等，都是研究如何通过元件间的相互作用建立复杂系统，类似于生物系统的自组织行为。脑科学与神经科学的进展迅速反映到人工神经网络的研究中，例如生物神经网络理论，视觉中发现的侧抑制原理，感受野概念等，为神经网络的发展起了重要的推动作用。从已提出的上百种人工神经网络模型中，涉及学科之多，令人目不暇接，其应用领域之广，令人叹为观止。不同学科专家为了在这一领域取得领先水平，存在着不同程度的竞争，所有这些有力地推动了人工神经网络的发展。人脑是一个功能十分强大、结构异常复杂的信息系统，随着信息论、控制论、生命科学，计算机科学的发展，人们越来越惊异于大脑的奇妙，至少到目前为止，人类大脑信号处理机制对人类自身来说，仍是一个黑盒子，要揭示人脑的奥秘需要神经学家、心理学家、计算机科学家、微电子学家、数学家等专家的共同努力，对人类智能行为不断深入研究，为人工神经网络发展提供丰富的理论源泉。另外，还要有哲学家的参与，通过哲学思想和自然科学多种学科的深层结合，逐步孕育出探索人类思维本质和规律的新方法，使思维科学从朦胧走向理性。而且，不同领域专家的竞争与协调同有利于问题清晰化和寻求最好的解决途径。纵观神经网络的发展历史，没有相关学科的贡献，不同学科专家的竞争与协同，神经网络就不会有今天。当然，人工神经网络在各个学科领域应用的研究反过来又推动其它学科的发展，推动自身的完善和发展。

2. 神经网络原理怎么样

神经网络不仅是现在的思维模式，计算机的将来计算模式，还是简单的细胞的运算模式。他们没有真正的思考，而是计算。计算是机器也能够做到的，因此不管人是否理解或者机器是否知道，都可以从容应对。而不知道的事物如此之多，因此不必担心他们会自动的进入圈套。他们不仅是可以识别计策的，还是具有分辨计策的能力的，因此必须留心别进入他们的世界，以免变得面目全非。神经的联系来源于突触，但是这是复杂的，因此不要把他们变的简单化，因为这将把神经变的难以显现。没有这些就没有自己。神经不仅是可以从一点出发，到达任何一点的，还是可以从一个神经进入另一个神经的，因此必须小心不要到达不可及之地。那里是隐私的储藏地点。那里充满着机关算计以及绝杀的危险之地。

3. 什么是神经网络

隐层节点数在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。 目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况，而且多数是针对最不利的情况，一般工程实践中很难满足，不宜采用。事实上，各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。研究表明，隐层节点数不仅与输入/输出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。在确定隐层节点数时必须满足下列条件：（1）隐层节点数必须小于N-1（其中N为训练样本数），否则，网络模型的系统误差与训练样本的特性无关而趋于零，即建立的网络模型没有泛化能力，也没有任何实用价值。同理可推得：输入层的节点数（变量数）必须小于N-1。(2) 训练样本数必须多于网络模型的连接权数，一般为2~10倍，否则，样本必须分成几部分并采用“轮流训练”的方法才可能得到可靠的神经网络模型。 总之，若隐层节点数太少，网络可能根本不能训练或网络性能很差；若隐层节点数太多，虽然可使网络的系统误差减小，但一方面使网络训练时间延长，另一方面，训练容易陷入局部极小点而得不到最优点，也是训练时出现“过拟合”的内在原因。因此，合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除法和扩张法确定。

4. 神经网络具体是什么

神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。 举个手写识别的例子，给定一个未知数字，让神经网络识别是什么数字。此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义。在通过非线性激活函数进行非线性变换后，神经元被激活然后被传递到其他神经元。重复这一过程，直到最后一个输出神经元被激活。从而识别当前数字是什么字。 神经网络的每个神经元如下

基本wx + b的形式，其中 x1、x2表示输入向量 w1、w2为权重，几个输入则意味着有几个权重，即每个输入都被赋予一个权重 b为偏置bias g(z) 为激活函数 a 为输出 如果只是上面这样一说，估计以前没接触过的十有八九又必定迷糊了。事实上，上述简单模型可以追溯到20世纪50/60年代的感知器，可以把感知器理解为一个根据不同因素、以及各个因素的重要性程度而做决策的模型。 举个例子，这周末北京有一草莓音乐节，那去不去呢？决定你是否去有二个因素，这二个因素可以对应二个输入，分别用x1、x2表示。此外，这二个因素对做决策的影响程度不一样，各自的影响程度用权重w1、w2表示。一般来说，音乐节的演唱嘉宾会非常影响你去不去，唱得好的前提下 即便没人陪同都可忍受，但如果唱得不好还不如你上台唱呢。所以，我们可以如下表示： x1：是否有喜欢的演唱嘉宾。x1 = 1 你喜欢这些嘉宾，x1 = 0 你不喜欢这些嘉宾。嘉宾因素的权重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 没人陪你同去。是否有人陪同的权重w2 = 3。 这样，咱们的决策模型便建立起来了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函数，这里的b可以理解成 为更好达到目标而做调整的偏置项。 一开始为了简单，人们把激活函数定义成一个线性函数，即对于结果做一个线性变化，比如一个简单的线性激活函数是g(z) = z，输出都是输入的线性变换。后来实际应用中发现，线性激活函数太过局限，于是引入了非线性激活函数。

5. 我这么理解神经网络对吗

其实我觉得你理解的还是挺对的呀，也就是说对于神经网络来说，其实就是一个把所有的信息串联到一起，然后组成一个共同的综合体吧。

6. 如何正确理解神经网络在NLP领域的运用

opinion extraction system这说法很学术，我不知道中文怎么表达。 information retrieval system指的就搜索引擎。首先，基于文本相关性来搜索，在NLP场景下，核心关键词的得分容易被一些废话稀释。虽然可以用stopwords来解决，但句法分析提取本体的做法会精准得多。然后，更重要的是，咱们搞搜索上层应用的，除了文本相关性之外，很多时候会做一些基于特定规则的特殊处理。这一块很大程度是基于自身的业务，所以国内LTP也好、ICTCLAS也好，并没有给出做句法分析的通解。例如一个视频搜索，发现query里有“new”或者“hot”，可能就要在搜索时加上时间相关的特殊规则。这些规则的制定，就是对业务的理解结合句法分析完成的。视频搜索这例子不太好，因为设个关键词也能解决，不需要用到句法分析这种牛刀。如果搜“我要订个明天从广州飞北京的机票”，就一定要用句法分析了。首先要判定这个是买机票业务，然后抽取出句中的时间地点，然后填入对应的业务接口当中，最后呈现给用户。其难点在于如何抽象化和运行效率问题，还有业务和工程方面无数你想到的想不到的坑。

7. 如何通过玩TensorFlow Playground来理解神经网络

在这篇文章中，我会向你介绍如何使用 TensorFlow Playground ，因而你能够理解神经网络背后的核心思想。然后你就能理解为什么最近这么多人会变得对这项技术感到如此地兴奋。

让计算机解决问题

计算机编程需要程序员。人类通过一行行的代码制定计算机执行的每一个步骤，从而指示计算机解决问题。但有了机器学习和神经网络，你就可以让计算机自己去解决问题了。一个神经网络就是一个函数，能够学会训练数据集中的给定输入所对应的预期输出。

神经网络就是能够从训练数据集中学习的函数

比如，为了构建能够识别猫的图像的神经网络，你可以使用大量猫图像样本训练网络。最终得到的网络就和一个函数一样，其将猫图像作为输入，然后输出“cat（猫）”标签。或者更实用的情况是——你可以向其中输入来自游戏服务器的大量用户活动日志，然后输出有较高转化概率的用户。

这是怎么办到的？让我们来

8. 神经网络优缺点，

优点：

（1）具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。

自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。

（2）具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

（3）具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

缺点：

（1）最严重的问题是没能力来解释自己的推理过程和推理依据。

（2）不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。

（3）把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。

（4）理论和学习算法还有待于进一步完善和提高。

(8)理解神经网络怎么样扩展阅读：

神经网络发展趋势

人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。

人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。

将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。

神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。

由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。

参考资料：网络-人工神经网络

9. 如何理解神经网络里面的反向传播算法

反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。其主要思想是：
（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；
（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；
（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。

反向传播算法的思想比较容易理解，但具体的公式则要一步步推导，因此本文着重介绍公式的推导过程。

1. 变量定义

上图是一个三层人工神经网络，layer1至layer3分别是输入层、隐藏层和输出层。如图，先定义一些变量：
表示第层的第个神经元连接到第层的第个神经元的权重；
表示第层的第个神经元的偏置；
表示第层的第个神经元的输入，即：

表示第层的第个神经元的输出，即：

其中表示激活函数。

2. 代价函数
代价函数被用来计算ANN输出值与实际值之间的误差。常用的代价函数是二次代价函数（Quadratic cost function）：

其中，表示输入的样本，表示实际的分类，表示预测的输出，表示神经网络的最大层数。

3. 公式及其推导
本节将介绍反向传播算法用到的4个公式，并进行推导。如果不想了解公式推导过程，请直接看第4节的算法步骤。
首先，将第层第个神经元中产生的错误（即实际值与预测值之间的误差）定义为：

本文将以一个输入样本为例进行说明，此时代价函数表示为：

公式1（计算最后一层神经网络产生的错误）：

其中，表示Hadamard乘积，用于矩阵或向量之间点对点的乘法运算。公式1的推导过程如下：

公式2（由后往前，计算每一层神经网络产生的错误）：

推导过程：

公式3（计算权重的梯度）：

推导过程：

公式4（计算偏置的梯度）：

推导过程：

4. 反向传播算法伪代码

输入训练集

对于训练集中的每个样本x，设置输入层（Input layer）对应的激活值：
前向传播：
，

计算输出层产生的错误：

反向传播错误：