什么是神经网络注意力

Ⅰ 目前主流的attention方法都有哪些

首先是Object Recognition。是因为模型结合了CNN，RNN 和 Reinforcement Learning，来解决问题。并且在其上对它进行很大程度了改进，并引入了weakly supervised的因素；然后是Image Caption。Xu在ICML上的 Show, Attend and Tell: Neural Image Caption Generation with Visual Attention可谓应用Attetion来解image caption的经典。再是NLP中的MachinTranslation. 前面的工作都是用时序地进行Attention来关注一幅图像的不同位置区域。类比sequence问题，也就顺理成章地用在Machine Translation上了。划重点来说attention机制听起来高达上，其实就是学出一个权重分布，再拿这个权重分布施加在原来的特征之上，就可以叫attention。当然这个加权可以是保留所有分量均做加权（即soft attention）；也可以是在分布中以某种采样策略选取部分分量（即hard attention）。

Ⅱ 意识、感知和注意力，这三者之间有怎样的关系呢

感知(perception)的出现不需要意识(consciousness)存在。简单形容是，你的眼睛"看见"了，但你"看不到"。人脑（主要是对应各个感觉的初级皮层）可以因感知到刺激物而变得活跃，但这样的感知可以是自动的、无意识的，也就是不被人所察觉的。但由于大脑皮层的活跃，无意识的感知影响人未来短时间内的相关行为。这方面的研究比较成熟，主要手段是priming,masking，知觉负载（Perceptualload）影响你能有意识感知到（consciouslyperceive）的范围。人只有在低知觉负载（low load)的情况下会意识到注意力以外的内容。在高知觉负载（high load)的情况下，也就是需要应付的任务比较难、环境复杂的条件下，人的意识仅限于注意力导向的范围。主要见Lavie的perceptualloadtheory和相关实验，注意力(attention)可以独立于意识(consciousness)存在，也同时说明单单注意力自身不足以实现意识。这方面的证据来源于在人没有产生意识的情况下，注意力仍然能够单独运作。

比如说（盲视）的病人，因为大脑初级视觉皮层（V1）受损，视觉信号无法传递，他们“看不到”任何东西（无意识），但当一个他们表示“看不到”的提示出现，将他们的注意力导到一个地点，他们能更迅速地对那个地点的目标作出反应。人“看不见”的信息可以吸引并引导注意力。Jiangetal.(2006)的实验非常好玩，总所周知，色情图片会吸引人注意力，于是他们把一堆情色裸照渲染到人看不清、意识不到图片内容是什么的程度（被试回答不出图片内容）。但就算人们看不见，当裸照在左边闪了一下时，人对接下来出现在左边的目标反应就加快了速度，表示他们的注意力事先被吸引到了左边，普通照片则没产生这个效果。更好玩的是“看不见”的裸女的照片只吸引直男的注意力，对gay男和异性恋女性无效。在异性恋者当中，只有异性的“看不见”的裸照才能吸引到注意力，产生以上描述的促进反应。

Ⅲ 意识与注意力

表面上你的问题是注意力问题，但是问题中的实质是：

由于你未能掌握如何在紧张的时候进行自我调节，所以你不得不竭力控制自己的紧张，以致于过于集中注意力去读书，从而导致你思维与生活规律发生混乱，现在根本不能看书，只要一做什么事，自己就很自然的非常集中注意力，不能自然的去思考和做事情，结果弄得自己很容易感到疲倦，记忆力和创造力都大大下降了，心灵一直都很痛苦，看医生吃所谓的健脑药物皆没有效果。

解决之道是：

永远不要控制自己的紧张。一种紧张当你越想控制时，它就越会变成一种妖魔，反而更加厉害。让自己平静下来自然地去思考和做事情的最好的办法便是利用以下六步法将紧张转化为能量。

1.微笑。
当你特别紧张时，不妨面带微笑。为此，请你放松你的下巴，抬起你的脸颊，张开你的嘴唇，向上翘起你的嘴角，用轻松欢快的节奏对你自己说：“忆些趣事”，它将使你意识到脸、心和脑之间的联系，这种联系的价值就是使你心中和脑中的快乐反映在脸上，呈现出你所预想的愉快表情：放松、清醒、警惕，看起来既舒服，又给人以有能力的感觉，仿佛你已真正放松和满足。研究证明，当人们微笑时，内脑接收的讯息通常是积极的，并且能使身体处于放松和满足状态；当人们处在焦虑和恐惧中时，微笑也能产生同样的效果。无论你是否意识到微笑对自我控制紧张感所起到的作用，这种“人为的”努力表明了内脑在毫不怀疑其真实性的情况下对外部讯息作出了积极有效的反应。
2.对自己传递积极的讯息。
然后，和微笑一起，你需要利用的一个积极的讯息。它可以是一个积极话语，例如，“这种情境不过是提醒我，我有能力将紧张转化为能量”。
3.运用想象力。
随即，运用想象力。在你的脑海中想象出一片林间空地。在空地的一边是一块绝壁，底部有一个洞穴。在你的背上有一个背包，里面放着你的那些紧张感。把背包放在洞穴的入口，进入洞穴。随着你一步步地走进，你注意到这个洞穴里面温暖舒适，并且非常明亮。在前方，你听到了流水的声音。循着水声走去，你看见了一个金色的高脚玻璃杯，里面满溢出一种像水晶一般清透的液体。这液体就是你想要带入你的生活的能量。它从这个高脚杯里留出来，倾泻在地上。你举杯喝下它。当你喝着的时候，你感到这些能量充满了你的身体。不可思议的是，你一边喝，这个高脚杯一边自动充满并且还不断溢出。杯子永远不会空。你渴望的东西是充裕的，而且这充裕将一直为你而存在。当你喝饱的时候，把杯子放回去，心里想着任何时候你都可以回来。走出洞穴，回到阳光下，慢慢地把你自己从想象状态中唤醒。
4.与身体的感觉联系起来。
与身体的感觉联系起来意味着，与鉴别出紧张点时相比，你感觉自己已经逃离紧张状态并将其转化为有生产力的能量，你感到自己已经更为放松。人们经常发现自己在这种时候会深深吸一口气。现在，你可能就想这样做。但是，不管你是否深吸一口气，都要想象自己的身体开始放松并感到相当满意和舒适，而给你造成紧张的事情正离你远去。
5.想象紧张感正在消失。
用一些时间想象自己正在远离紧张情境，直到你在内心看到它离自己已相当遥远。
6.返回目前的活动中。
最后，准备好回到当前。通过这种方式，你已经把紧张转化成能量。

Ⅳ 为什么iphone12用的第一代神经网络引擎什么意思

神经网络引擎是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

神经网络引擎通过对人脑的基本单元神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统，神经网络引擎的一个重要特性是它能够从环境中学习，并把学习的结果分布存储于网络的突触连接中，其学习是一个过程。

在所处环境的激励下，相继给网络输入一些样本模式，并按照一定的学习算法规则调整网络各层的权值矩阵，待网络各层权值都收敛到一定值，学习过程结束，然后可用生成的神经网络来对真实数据做分类。

(4)什么是神经网络注意力扩展阅读

苹果在最新发布会上，公布了十周年版iPhone X，极大地吸引了人们的注意力。在iPhone X众多特性中，使用面部识别FaceID代替原有的指纹识别TouchID进行屏幕解锁和身份认证无疑是最大的亮点之一，这有可能成为苹果对于手机交互进步的又一次推动。

FaceID使用了人工智能技术完成人脸三维建模中的特征提取，并且用这些特征配合算法来实现人脸识别。现场演示中，FaceID人脸识别用户体验非常流畅，而在流畅体验背后的功臣，则是A11 Bionic SoC上集成的人工智能加速器，苹果官方称之为“神经网络引擎(neural engine)”。

Ⅳ 如何做到注意力高度集中

高度集中会大幅度降低对周围事情的敏感度（大脑处理外部环境输入的模块受到抑制），使其更能专注在某件事上。类似计算机中CPU利用率，如果某个进程占用80%，那么其他进程就只能处理很小一部分数据。
在高度集中很容易会进入一种沉浸式的体验，想象下在高度集中下看一本小说，这时大脑中由1000亿个神经细胞组成的庞大神经网络，开始构建小说描绘的场景对话、人物性格、背景关系、花草树木，甚至你会把自我意识投入到里面。网游或网络小说一直强调的代入感，就是通过各种手段诱导大脑进入这种沉浸式体验。
在这种状态下发生的记忆，基本上很难在忘记，处理事情的效率也是平常的数倍。由于对周围的感知度下降，当你突然从这种状态跳出来的话，会感觉到有明显的不适感。因为你把意识投递在由你自构建的一个世界里，这个世界和现实世界的法则是完全不一样的。就拿时间来说，我们经常会因为一部好的小说或电视剧连续看几个小时，当突然看完后意识回到现实世界，会感觉时间像被抽走了一块似的。比如我在写代码高度集中时，大脑完全就是个数据流的世界。高度集中时，看你当时专注的是哪种类型。
如果是身体动作类的，你会感受自己的心跳、呼吸、肌肉、关节的状态、发力的点，那些里怎么通过肌肉传达到你想要的地方，身体的一些极限。除此以外，思想或者不是特别重要的身体部位都会被你忽略。这个状态的时长跟你的身体机能有关。
如果是做事时集中：忘记时间、听不到旁边人讲话、感觉就一口气憋着推着停不下来、思维特别敏锐。这个状态时长，跟你预想达到的目的是否完成有关。

Ⅵ 中科院提出图神经网络加速芯片设计，这是一种怎样的芯片呢

随着技术发展，人工智能技术也在不断的发展。现有的芯片已经难以满足一些神经网络的计算了，中科院提出了图神经网络加速芯片，这种芯片专用于图神经网络的运算。让我们一起来了解一下什么是图神经网络，这种芯片有什么重大的突破。

图神经网络的应用前景非常广泛，不仅用在日常交通预测、网约车调度、运动检测等民用领域，还可以助力科研的知识推理、化学研究以及在知识图谱、视觉推理等学科发展方向上。

Ⅶ 注意力的认知神经机制是什么

我们外部的世界看起来丰富而具体，好像放眼看去，所有景物都一览无遗。但是事实是我们经常会视而不见。比如我们每一天都会有找不到东西的经历，车钥匙明明在眼皮底下，却东张西望，怎么找也找不到。这说明，我们对于我们视野中的每一样东西，并不是一视同仁地同等看待，同等加工的。因为我们大脑处理信息的资源和速度有限，所以在每一个拥挤的视觉场景中，我们的大脑有一个过滤机制，就是注意力，注意力让我们每次优先加工眼前的一部分东西，忽略另外一部分东西。科学家做了一些有趣的小实验说明这一点。在一个实验中，让参与者观看一场篮球赛，并且数场上的传球次数。然后在参与者全神贯注数着传球次数的时候， 实验者安排一个穿着大猩猩服装的人从篮球场正中大摇大摆地走过。 结果实验结束后问参与的人有没有看到大猩猩，结果大部分人竟然都完全没有注意到有大猩猩。这个在心理学上叫做不注意盲视。同样的，当你在图书馆借书时，如果图书管理员低下身子到书柜里帮你找书，起身时换成另一个管理员， 这种明显的差别你也可能注意不到，因为你从头到尾就没有太注意这个图书管理员长什么样。

这个在心理学上叫做改变盲视。因为我们的视觉、听觉、触觉和其他感觉，都在无时无刻不在被外界的信息轰炸着，于是我们的大脑就发展出了一种机制，就是注意机制。这个机制会像筛子一样，通过放大一些信息的神经信号强度，来筛选出需要优先加工的信息，并且忽略其他的信息。注意机制的存在，使得我们不会一直被一些无关紧要的大量信息干扰。比如我们的衣服随时随地都在摩擦身体，但是我们不会意识到，因为我们一般不会注意这些触觉信号。只有当你刻意地关注某个身体部位的触觉，比如左边手肘和衣服的触感，你才会感觉到。在听觉领域也有一些类似的例子。比如在群聊的时候，我们可以同时听几个正在进行的对话，并且在某种程度上，过滤掉一些无关紧要的对话。比如让你同时听几个正在进行的对话，一些是对话主线，一些无关经验，这个时候如果一段不重要的对话中，说话的人从男生的声音变成了女生的声音，或者从中文转换成了英文，我们甚至可能都注意不到。在这个例子中， 这些不重要的听觉信息到达了大脑的听觉皮层，但是没有被送达到更高级的大脑区域，比如前额叶和顶叶区域，这些信息也就没有被完全的加工，我们也就不会意识到这些对话。我们可能经常遇到这样的状况，比如在会场中听着主讲人的报告，自己却开始神游天外，想一会要做的事，昨天遇到了那个谁，晚上去哪吃饭。这样的走神每个人一天中都会出现几次。我们在活在当下的同时，思维可能漫游到了过去或者未来，结果我们对身边正在发生着的事一无所知。而如果在学习、工作的时候经常发生这种状况，就会导致我们的学习、工作表现低下。

Ⅷ 小孩注意力不集中什么原因

小朋友注意力不集中可能与下列原因有关系：
1.小朋友生性比较顽劣，出现注意力不集中也是很正常的现象。
2.缺少微量元素锌、铁或维生素D。
3.如果小朋友长期注意力不集中，影响到正常的学习，在自身主观意识想要集中时，注意力也无法做到集中的情况，考虑多动症的可能。
4.神经系统疾病所导致，如脑肿瘤。
所以小朋友出现注意力不集中症状时，可以进行微量元素检测，经过补充微量元素后症状仍未得到明显改善，建议及时到医院就诊，明确具体原因，进行针对性治疗。

Ⅸ 为什么说Transformer的注意力机制是相对廉价的注意力机制相对更对于RNN系列及CNN系列算法有何优势

QA形式对自然语言处理中注意力机制（Attention）进行总结，并对Transformer进行深入解析。

二、Transformer（Attention Is All You Need）详解
1、Transformer的整体架构是怎样的？由哪些部分组成？
2、Transformer Encoder 与 Transformer Decoder 有哪些不同？
3、Encoder-Decoder attention 与self-attention mechanism有哪些不同？
4、multi-head self-attention mechanism具体的计算过程是怎样的？
5、Transformer在GPT和Bert等词向量预训练模型中具体是怎么应用的？有什么变化？

一、Attention机制剖析

1、为什么要引入Attention机制？

根据通用近似定理，前馈网络和循环网络都有很强的能力。但为什么还要引入注意力机制呢？

• 计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。

• 优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表达能力之间的矛盾；但是，如循环神经网络中的长距离以来问题，信息“记忆”能力并不高。

可以借助人脑处理信息过载的方式，例如Attention机制可以提高神经网络处理信息的能力。

2、Attention机制有哪些？（怎么分类？）

当用神经网络来处理大量的输入信息时，也可以借鉴人脑的注意力机制，只 选择一些关键的信息输入进行处理，来提高神经网络的效率。按照认知神经学中的注意力，可以总体上分为两类：

• 聚焦式（focus）注意力：自上而下的有意识的注意力，主动注意——是指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力；

• 显着性（saliency-based）注意力：自下而上的有意识的注意力，被动注意——基于显着性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关；可以将max-pooling和门控（gating）机制来近似地看作是自下而上的基于显着性的注意力机制。

在人工神经网络中，注意力机制一般就特指聚焦式注意力。

3、Attention机制的计算流程是怎样的？



• Attention机制的实质：寻址（addressing）

Attention机制的实质其实就是一个寻址（addressing）的过程，如上图所示：给定一个和任务相关的查询Query向量q，通过计算与Key的注意力分布并附加在Value上，从而计算Attention Value，这个过程实际上是Attention机制缓解神经网络模型复杂度的体现：不需要将所有的N个输入信息都输入到神经网络进行计算，只需要从X中选择一些和任务相关的信息输入给神经网络。

• 注意力机制可以分为三步：一是信息输入；二是计算注意力分布α；三是根据注意力分布α 来计算输入信息的加权平均。

step1-信息输入：用X= [x1, · · · , xN ]表示N 个输入信息；

step2-注意力分布计算：令Key=Value=X，则可以给出注意力分布

我们将称之为注意力分布（概率分布），为注意力打分机制，有几种打分机制：




step3-信息加权平均：注意力分布可以解释为在上下文查询q时，第i个信息受关注的程度，采用一种“软性”的信息选择机制对输入信息X进行编码为：

这种编码方式为软性注意力机制（soft Attention），软性注意力机制有两种：普通模式（Key=Value=X）和键值对模式（Key！=Value）。



• 软性注意力机制（soft Attention）

4、Attention机制的变种有哪些？

与普通的Attention机制（上图左）相比，Attention机制有哪些变种呢？

• 变种1-硬性注意力：之前提到的注意力是软性注意力，其选择的信息是所有输入信息在注意力 分布下的期望。还有一种注意力是只关注到某一个位置上的信息，叫做硬性注意力（hard attention）。硬性注意力有两种实现方式：（1）一种是选取最高概率的输入信息；（2）另一种硬性注意力可以通过在注意力分布式上随机采样的方式实现。硬性注意力模型的缺点：

• 硬性注意力的一个缺点是基于最大采样或随机采样的方式来选择信息。因此最终的损失函数与注意力分布之间的函数关系不可导，因此无法使用在反向传播算法进行训练。为了使用反向传播算法，一般使用软性注意力来代替硬性注意力。硬性注意力需要通过强化学习来进行训练。——《神经网络与深度学习》

• 变种2-键值对注意力：即上图右边的键值对模式，此时Key！=Value，注意力函数变为：




• 变种3-多头注意力：多头注意力（multi-head attention）是利用多个查询Q = [q1, · · · , qM]，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分，然后再进行拼接：




5、一种强大的Attention机制：为什么自注意力模型（self-Attention model）在长距离序列中如此强大？

（1）卷积或循环神经网络难道不能处理长距离序列吗？

当使用神经网络来处理一个变长的向量序列时，我们通常可以使用卷积网络或循环网络进行编码来得到一个相同长度的输出向量序列，如图所示：



• 基于卷积网络和循环网络的变长序列编码

从上图可以看出，无论卷积还是循环神经网络其实都是对变长序列的一种“局部编码”：卷积神经网络显然是基于N-gram的局部编码；而对于循环神经网络，由于梯度消失等问题也只能建立短距离依赖。

（2）要解决这种短距离依赖的“局部编码”问题，从而对输入序列建立长距离依赖关系，有哪些办法呢？

• 如果要建立输入序列之间的长距离依赖关系，可以使用以下两种方法：一 种方法是增加网络的层数，通过一个深层网络来获取远距离的信息交互，另一种方法是使用全连接网络。 ——《神经网络与深度学习》
• 全连接模型和自注意力模型：实线表示为可学习的权重，虚线表示动态生成的权重。

由上图可以看出，全连接网络虽然是一种非常直接的建模远距离依赖的模型， 但是无法处理变长的输入序列。不同的输入长度，其连接权重的大小也是不同的。

这时我们就可以利用注意力机制来“动态”地生成不同连接的权重，这就是自注意力模型（self-attention model）。由于自注意力模型的权重是动态生成的，因此可以处理变长的信息序列。

总体来说，为什么自注意力模型（self-Attention model）如此强大：利用注意力机制来“动态”地生成不同连接的权重，从而处理变长的信息序列。

（3）自注意力模型（self-Attention model）具体的计算流程是怎样的呢?

同样，给出信息输入：用X = [x1, · · · , xN ]表示N 个输入信息；通过线性变换得到为查询向量序列，键向量序列和值向量序列：




上面的公式可以看出，self-Attention中的Q是对自身（self）输入的变换，而在传统的Attention中，Q来自于外部。



• self-Attention计算过程剖解（来自《细讲 | Attention Is All You Need 》）

注意力计算公式为：




自注意力模型（self-Attention model）中，通常使用缩放点积来作为注意力打分函数，输出向量序列可以写为：




二、Transformer（Attention Is All You Need）详解

从Transformer这篇论文的题目可以看出，Transformer的核心就是Attention，这也就是为什么本文会在剖析玩Attention机制之后会引出Transformer，如果对上面的Attention机制特别是自注意力模型（self-Attention model）理解后，Transformer就很容易理解了。

1、Transformer的整体架构是怎样的？由哪些部分组成？



• Transformer模型架构

Transformer其实这就是一个Seq2Seq模型，左边一个encoder把输入读进去，右边一个decoder得到输出：



• Seq2Seq模型

Transformer=Transformer Encoder+Transformer Decoder

（1）Transformer Encoder（N=6层，每层包括2个sub-layers）：



• Transformer Encoder

• sub-layer-1：multi-head self-attention mechanism，用来进行self-attention。

• sub-layer-2：Position-wise Feed-forward Networks，简单的全连接网络，对每个position的向量分别进行相同的操作，包括两个线性变换和一个ReLU激活输出（输入输出层的维度都为512，中间层为2048）：



每个sub-layer都使用了残差网络：

（2）Transformer Decoder（N=6层，每层包括3个sub-layers）：



• Transformer Decoder

• sub-layer-1：Masked multi-head self-attention mechanism，用来进行self-attention，与Encoder不同：由于是序列生成过程，所以在时刻 i 的时候，大于 i 的时刻都没有结果，只有小于 i 的时刻有结果，因此需要做Mask。

• sub-layer-2：Position-wise Feed-forward Networks，同Encoder。

• sub-layer-3：Encoder-Decoder attention计算。

2、Transformer Encoder 与 Transformer Decoder 有哪些不同？

（1）multi-head self-attention mechanism不同，Encoder中不需要使用Masked，而Decoder中需要使用Masked；

（2）Decoder中多了一层Encoder-Decoder attention，这与 self-attention mechanism不同。

3、Encoder-Decoder attention 与self-attention mechanism有哪些不同？

它们都是用了 multi-head计算，不过Encoder-Decoder attention采用传统的attention机制，其中的Query是self-attention mechanism已经计算出的上一时间i处的编码值，Key和Value都是Encoder的输出，这与self-attention mechanism不同。代码中具体体现：

• ## Multihead Attention ( self-attention)


• self.dec = multihead_attention(queries=self.dec,


• keys=self.dec,


• num_units=hp.hidden_units,


• num_heads=hp.num_heads,


• dropout_rate=hp.dropout_rate,


• is_training=is_training,


• causality=True,


• scope="self_attention")



• ## Multihead Attention ( Encoder-Decoder attention)


• self.dec = multihead_attention(queries=self.dec,


• keys=self.enc,


• num_units=hp.hidden_units,


• num_heads=hp.num_heads,


• dropout_rate=hp.dropout_rate,


• is_training=is_training,


• causality=False,


• scope="vanilla_attention")



4、multi-head self-attention mechanism具体的计算过程是怎样的？



• multi-head self-attention mechanism计算过程

Transformer中的Attention机制由Scaled Dot-Proct Attention和Multi-Head Attention组成，上图给出了整体流程。下面具体介绍各个环节：

• Expand：实际上是经过线性变换，生成Q、K、V三个向量；

• Split heads: 进行分头操作，在原文中将原来每个位置512维度分成8个head，每个head维度变为64；

• Self Attention：对每个head进行Self Attention，具体过程和第一部分介绍的一致；

• Concat heads：对进行完Self Attention每个head进行拼接；

上述过程公式为：




5、Transformer在GPT和Bert等词向量预训练模型中具体是怎么应用的？有什么变化？

• GPT中训练的是单向语言模型，其实就是直接应用Transformer Decoder；

• Bert中训练的是双向语言模型，应用了Transformer Encoder部分，不过在Encoder基础上还做了Masked操作；

BERT Transformer 使用双向self-attention，而GPT Transformer 使用受限制的self-attention，其中每个token只能处理其左侧的上下文。双向 Transformer 通常被称为“Transformer encoder”，而左侧上下文被称为“Transformer decoder”，decoder是不能获要预测的信息的。