‘壹’ 卷积神经网络主要做什么用的
卷积网络的特点主要是卷积核参数共享,池化操作。
参数共享的话的话是因为像图片等结构化的数据在不同的区域可能会存在相同的特征,那么就可以把卷积核作为detector,每一层detect不同的特征,但是同层的核是在图片的不同地方找相同的特征。然后把底层的特征组合传给后层,再在后层对特征整合(一般深度网络是说不清楚后面的网络层得到了什么特征的)。
而池化主要是因为在某些任务中降采样并不会影响结果。所以可以大大减少参数量,另外,池化后在之前同样大小的区域就可以包含更多的信息了。
综上,所有有这种特征的数据都可以用卷积网络来处理。有卷积做视频的,有卷积做文本处理的(当然这两者由于是序列信号,天然更适合用lstm处理)
另外,卷积网络只是个工具,看你怎么使用它,有必要的话你可以随意组合池化和卷积的顺序,可以改变网络结构来达到自己所需目的的,不必太被既定框架束缚。
‘贰’ 概率神经网络主要是用来做什么的
作用:这种网络已较广泛地应用于非线性滤波、模式分类、联想记忆和
概率密度估计当中。
概率神经网络是由Specht博士在1989年提出的,它与统计信号处理
的许多概念有着紧密的联系。当这种网络用于检测和模式分类时,可以
得到贝叶斯最优结果。它通常由4层组成。第一层为输入层,每个神经
元均为单输入单输出,其传递函数也为线性的,这一层的作用只是将输
入信号用分布的方式来表示。第二层称之为模式层,它与输入层之间通
过连接权值Wij相连接.模式层神经元的传递函数不再是通常的Sigmoid
函数,而为
g(Zi)=exp[(Zi-1)/(s*s)]
其中,Zi为该层第i个神经元的输入,s为均方差。第三层称之为累加层
,它具有线性求和的功能。这一层的神经元数目与欲分的模式数目相同
。第四层即输出层具有判决功能,它的神经元输出为离散值1和-1(或0
),分别代表着输入模式的类别。
许多研究已表明概率神经网络具有如下特性:
(1)训练容易,收敛速度快,从而非常适用于实时处理;
(2)可以完成任意的非线性变换,所形成的判决曲面与贝叶斯最优
准则下的曲面相接近;
(3)具有很强的容错性;
(4)模式层的传递函数可以选用各种用来估计概率密度的核函数,
并且,分类结果对核函数的形式不敏感;
(5)各层神经元的数目比较固定,因而易于硬件实现。
‘叁’ 神经网络究竟干了一件什么事
神经网络究竟干了一件什么事
今天我们来讨论当下最热门的神经网络,现在深度学习炒的非常火,其实本质还是把神经网络算法进行了延伸和优化!咱们这回的目标就直入主题用最简单的语言让大家清楚神经网络究竟是个什么东西。关于神经网络与人工智能的发展,以及神经网络各种生物学模型咱们就不唠了,我是觉得把神经网络比作各种类人脑模型和生物学模型没有半点助于咱们理解,反而把简单的问题复杂了,这些恩怨情仇咱们就不过多介绍了!
这张图就是我们的核心了,也是整个神经网络的架构,只要能理解这个,那就OK了!首先我们来观察整个结构,发现在神经网络中是存在多个层的,有输入层,隐层1,隐层2,输出层。那么我们想要得到一个合适的结果,就必须通过这么多层得到最终的结果,在这里咱们先来考虑一个问题,神经网络究竟做了一件什么事?
如果你想做一个猫狗识别,大家首先想到了神经网络,那它是怎么做的呢?先来想想咱们人类是怎么分辨的,是不是根据猫和狗的特征是不一样的,所以我们可以很轻松就知道什么事猫什么是狗。既然这样,神经网络要做的事跟咱们一样,它也需要知道猫的特征是什么,狗的特征是什么,这么多的层次结构其实就做了一件事,进行特征提取,我们希望网络结构能更好的识别出来我们想要的结果,那势必需要它们能提取处最合适的特征,所以神经网络的强大之处就在于它可以帮助我们更好的选择出最恰当的特征。
在第一张图中我们定义了多层的结构,在这里有一个概念叫做神经元,那么神经元真的存在吗?像大脑一样?其实就是一个权重参数矩阵,比如你有一个输入数据。它是由3个特征组成的,我们就说输入是一个batchsize*3的矩阵,(batchsieze是一次输入的数据量大小),那既然要对输入提取特征,我们就需要权重参数矩阵W了,在图中神经元的意思就是我们要把这个3个特征如何变幻才能得到更好的信息表达,比如中间的第一个隐层有4个神经元,那么我们需要的第一个权重参数矩阵W1就是3 * 4,表示通过矩阵链接后得到的是batchsize * 4的特征,也就是说我们将特征进行的变换,看起来好像是从3变到了4只增加了一个,但是我们的核心一方面是特征的个数,这个我们可以自己定义神经元的个数。另一方面我们关注的点在于,什么样的权重参数矩阵W1才能给我得到更好的特征,那么神经网络大家都说它是一个黑盒子,原因就在于权重参数矩阵W1内部是很难解释的,其实我们也不需要认识它,只要计算机能懂就OK了。那么这一步是怎么做的呢?计算机怎么得到最好的权重参数W1帮我们完成了特征的提取呢?这一点就要靠反向传播与梯度下降了,简单来说就是我们告诉神经网络我的目标就是分辨出什么是猫什么是狗,然后神经网络就会通过大量的迭代去寻找最合适的一组权重参数矩阵。(如果不清楚什么事梯度下降,先来看看我之前的文章吧!)
在神经网络中,我们刚才解释了什么是神经元,说白了就是一组权重参数。那整个网络不止这么一层呀,还有很多层次结构,这就是说我们的网络要想充分利用其价值就需要通过多种变换才能得到最终最合适的特征,一旦我们得到了最合适的特征,后续我们利用特征来进行分类或者回归任务就都随你啦。这就是神经网络的本质,其实我本质上认为神经网络就是一种特征提取器,通过这种设计可以让我们得到更有价值的信息!
‘肆’ 什么是“小波神经网络”能干什么用呀
小波神经网络(Wavelet Neural Network, WNN)是在小波分析研究获得突破的基础上提出的一种人工神经网络。它是基于小波分析理论以及小波变换所构造的一种分层的、多分辨率的新型人工神经网络模型。
即用非线性小波基取代了通常的非线性Sigmoid 函数,其信号表述是通过将所选取的小波基进行线性叠加来表现的。它避免了BP 神经网络结构设计的盲目性和局部最优等非线性优化问题,大大简化了训练,具有较强的函数学习能力和推广能力及广阔的应用前景。
“小波神经网络”的应用:
1、在影像处理方面,可以用于影像压缩、分类、识别与诊断,去污等。在医学成像方面的减少B超、CT、核磁共振成像的时间,提高分辨率等。
2、在信号分析中的应用也十分广泛。它可以用于边界的处理与滤波、时频分析、信噪分离与提取弱信号、求分形指数、信号的识别与诊断以及多尺度边缘侦测等。
3、在工程技术等方面的应用。包括电脑视觉、电脑图形学、曲线设计、湍流、远端宇宙的研究与生物医学方面。
(4)神经网络是干什么的扩展阅读:
小波神经网络这方面的早期工作大约开始于1992 年,主要研究者是Zhang Q、Harold H S 和焦李成等。其中,焦李成在其代表作《神经网络的应用与实现》中从理论上对小波神经网络进行了较为详细的论述。近年来,人们在小波神经网络的理论和应用方面都开展了不少研究工作。
小波神经网络具有以下特点:首先,小波基元及整个网络结构的确定有可靠的理论根据,可避免BP 神经网络等结构设计上的盲目性;其次,网络权系数线性分布和学习目标函数的凸性,使网络训练过程从根本上避免了局部最优等非线性优化问题;第三,有较强的函数学习能力和推广能力。
‘伍’ 干什么都神经网络,神经网络究竟怎样
我只能说很强大,和人的神经很像,通过学习可以辨别事物,预判事物,但也和人一样有确定 就是难免会认错人,人工神经网络就是模拟了人的生物神经网络
‘陆’ 神经网络是由一层一层构建的,那么每层究竟在做什么
某层的神经元个数与节点数是一个意思。
虽是3层神经网络,但是去叫做两层BP网络,因为输入层一般不算做一层。
n就该取2,s1就是隐含层节点数,选取的公式是Hornik 提出的公式,
可以算的s1取值范围,到时自己选取合适值,s2就是你输出层节点数,也就是输出维数。
‘柒’ 什么叫神经网络
枫舞给出基本的概念:
一.一些基本常识和原理
[什么叫神经网络?]
人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程;它先将信息化成概念,并用符号表示,然后,根据符号运算按串行模式进行逻辑推理;这一过程可以写成串行的指令,让计算机执行。然而,直观性的思维是将分布式存储的信息综合起来,结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。
人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统,其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单,功能有限,但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
[人工神经网络的工作原理]
人工神经网络首先要以一定的学习准则进行学习,然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明,规定当“A”输入网络时,应该输出“1”,而当输入为“B”时,输出为“0”。
所以网络学习的准则应该是:如果网络作出错误的的判决,则通过网络的学习,应使得网络减少下次犯同样错误的可能性。首先,给网络的各连接权值赋予(0,1)区间内的随机值,将“A”所对应的图象模式输入给网络,网络将输入模式加权求和、与门限比较、再进行非线性运算,得到网络的输出。在此情况下,网络输出为“1”和“0”的概率各为50%,也就是说是完全随机的。这时如果输出为“1”(结果正确),则使连接权值增大,以便使网络再次遇到“A”模式输入时,仍然能作出正确的判断。
如果输出为“0”(即结果错误),则把网络连接权值朝着减小综合输入加权值的方向调整,其目的在于使网络下次再遇到“A”模式输入时,减小犯同样错误的可能性。如此操作调整,当给网络轮番输入若干个手写字母“A”、“B”后,经过网络按以上学习方法进行若干次学习后,网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功,它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时,能够作出迅速、准确的判断和识别。一般说来,网络中所含的神经元个数越多,则它能记忆、识别的模式也就越多。
=================================================
枫舞推荐一个小程序:
关于一个神经网络模拟程序的下载
人工神经网络实验系统(BP网络) V1.0 Beta 作者:沈琦
http://emuch.net/html/200506/de24132.html
作者关于此程序的说明:
从输出结果可以看到,前3条"学习"指令,使"输出"神经元收敛到了值 0.515974。而后3条"学习"指令,其收敛到了值0.520051。再看看处理4和11的指令结果 P *Out1: 0.520051看到了吗? "大脑"识别出了4和11是属于第二类的!怎么样?很神奇吧?再打show指令看看吧!"神经网络"已经形成了!你可以自己任意的设"模式"让这个"大脑"学习分辩哦!只要样本数据量充分(可含有误差的样本),如果能够在out数据上收敛地话,那它就能分辨地很准哦!有时不是绝对精确,因为它具有"模糊处理"的特性.看Process输出的值接近哪个Learning的值就是"大脑"作出的"模糊性"判别!
=================================================
枫舞推荐神经网络研究社区:
人工神经网络论坛
http://www.youngfan.com/forum/index.php
http://www.youngfan.com/nn/index.html(旧版,枫舞推荐)
国际神经网络学会(INNS)(英文)
http://www.inns.org/
欧洲神经网络学会(ENNS)(英文)
http://www.snn.kun.nl/enns/
亚太神经网络学会(APNNA)(英文)
http://www.cse.cuhk.e.hk/~apnna
日本神经网络学会(JNNS)(日文)
http://www.jnns.org
国际电气工程师协会神经网络分会
http://www.ieee-nns.org/
研学论坛神经网络
http://bbs.matwav.com/post/page?bid=8&sty=1&age=0
人工智能研究者俱乐部
http://www.souwu.com/
2nsoft人工神经网络中文站
http://211.156.161.210:8888/2nsoft/index.jsp
=================================================
枫舞推荐部分书籍:
人工神经网络技术入门讲稿(PDF)
http://www.youngfan.com/nn/ann.pdf
神经网络FAQ(英文)
http://www.youngfan.com/nn/FAQ/FAQ.html
数字神经网络系统(电子图书)
http://www.youngfan.com/nn/nnbook/director.htm
神经网络导论(英文)
http://www.shef.ac.uk/psychology/gurney/notes/contents.html
===============================================
枫舞还找到一份很有参考价值的讲座
<前向网络的敏感性研究>
http://www.youngfan.com/nn/mgx.ppt
是Powerpoint文件,比较大,如果网速不够最好用鼠标右键下载另存.
=========================================================
枫舞添言:很久之前,枫舞梦想智能机器人从自己手中诞生,SO在学专业的时候也有往这方面发展...考研的时候亦是朝着人工智能的方向发展..但是很不幸的是枫舞考研失败...SO 只好放弃这个美好的愿望,为生活奔波.希望你能够成为一个好的智能计算机工程师..枫舞已经努力的在给你提供条件资源哦~~
‘捌’ 神经网络到底能干什么
神经网络(Artificial Neural Networks,简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model),它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。
神经网络可以用于模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。随着神经网络理论本身以及相关理论、相关技术的不断发展,神经网络的应用定将更加深入。
神经网络的研究可以分为理论研究和应用研究两大方面。
理论研究可分为以下两类:
1、利用神经生理与认知科学研究人类思维以及智能机理。
2、利用神经基础理论的研究成果,用数理方法探索功能更加完善、性能更加优越的神经网络模型,深入研究网络算法和性能,如:稳定性、收敛性、容错性、鲁棒性等;开发新的网络数理理论,如:神经网络动力学、非线性神经场等。
应用研究可分为以下两类:
1、神经网络的软件模拟和硬件实现的研究。
2、神经网络在各个领域中应用的研究。