A. 什么是图神经网络
图说的是计算机拓扑里面的图
就是那个有边和节点，有向图，无向图的那个。
以这种数据结构为输入并进行处理的神经网络就是图神经网络了，结构会不太一样，但是大同小异了。
B. GNN(一) 图神经网络基本知识
图是由点和边构成的，它可以分为两种表示方法分别是： 1. 有向图 2. 无向图
图像的度分为两种：1. 有向图的度 2. 无向图的度
①度 可以理解为点之间的连接线 ②入度指向当前节点的连线， 出度当前节点连出去的连线
子图表示某张图的子集
对于一个无向图，如果任意的节点i能够通过一些边达到节点j，则称之为连通图
其中对于图中任意两点都可以 相互 到达，我们称之为强连通图，反之称为弱连通图。
可以理解为所有的连通在一起的图算一个连通分量。如上图左边连通分量是1， 右边连通分量是2。
图中的两个节点所能达到的最短路径。
图中的两两节点最短路径最大的值称之为图直径。
在图论和网络分析中，中心性（Centrality）是判断网络中节点重要性/影响力的指标。在社会网络分析中，一项基本的任务就是鉴定一群人中哪些人比其他人更有影响力，从而帮助我们理解他们在网络中扮演的角色。
公式：
重要的节点就是拥有许多连接的节点， 你的社会关系越多， 你的影响力就越强
思想就是与你连接的人越重要，你也就越重要
公式：
中间成员对路径两端的成员具有“更大的人际关系影响”。
接近中心性高的节点一般扮演的是八婆的角色（gossiper）。他们不一定是名人，但是乐于在不同的人群之间传递消息。
指出去的为hub， 被指的为authority
C. 为什么有图卷积神经网络
本质上说，世界上所有的数据都是拓扑结构，也就是网络结构，如果能够把这些网络数据真正的收集、融合起来，这确实是实现了AI智能的第一步。所以，如何利用深度学习处理这些复杂的拓扑数据，如何开创新的处理图数据以及知识图谱的智能算法是AI的一个重要方向。
深度学习在多个领域的成功主要归功于计算资源的快速发展（如 GPU）、大量训练数据的收集，还有深度学习从欧几里得数据（如图像、文本和视频）中提取潜在表征的有效性。但是，尽管深度学习已经在欧几里得数据中取得了很大的成功，但从非欧几里得域生成的数据已经取得更广泛的应用，它们需要有效分析。如在电子商务领域，一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐。在化学领域，分子被建模为图，新药研发需要测定其生物活性。在论文引用网络中，论文之间通过引用关系互相连接，需要将它们分成不同的类别。自2012年以来，深度学习在计算机视觉以及自然语言处理两个领域取得了巨大的成功。假设有一张图，要做分类，传统方法需要手动提取一些特征，比如纹理，颜色，或者一些更高级的特征。然后再把这些特征放到像随机森林等分类器，给到一个输出标签，告诉它是哪个类别。而深度学习是输入一张图，经过神经网络，直接输出一个标签。特征提取和分类一步到位，避免了手工提取特征或者人工规则，从原始数据中自动化地去提取特征，是一种端到端（end-to-end）的学习。相较于传统的方法，深度学习能够学习到更高效的特征与模式。
图数据的复杂性对现有机器学习算法提出了重大挑战，因为图数据是不规则的。每张图大小不同、节点无序，一张图中的每个节点都有不同数目的邻近节点，使得一些在图像中容易计算的重要运算（如卷积）不能再直接应用于图。此外，现有机器学习算法的核心假设是实例彼此独立。然而，图数据中的每个实例都与周围的其它实例相关，含有一些复杂的连接信息，用于捕获数据之间的依赖关系，包括引用、朋友关系和相互作用。
最近，越来越多的研究开始将深度学习方法应用到图数据领域。受到深度学习领域进展的驱动，研究人员在设计图神经网络的架构时借鉴了卷积网络、循环网络和深度自编码器的思想。为了应对图数据的复杂性，重要运算的泛化和定义在过去几年中迅速发展。
D. AlphaGo的神奇全靠它，详解人工神经网络!
Alphago在不被看好的情况下，以4比1击败了围棋世界冠军李世石，令其名震天下。随着AlphaGo知名度的不断提高，人们不禁好奇，究竟是什么使得AlphaGo得以战胜人类大脑？AlphaGo的核心依托——人工神经网络。
什么是神经网络?
人工神经网络是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。
神经网络是一种运算模型，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
例如，用于手写识别的一个神经网络是被可由一个输入图像的像素被激活的一组输入神经元所定义的。在通过函数（由网络的设计者确定）进行加权和变换之后，这些神经元被激活然后被传递到其他神经元。重复这一过程，直到最后一个输出神经元被激活。这样决定了被读取的字。
它的构筑理念是受到人或其他动物神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。
人工神经网络是一个能够学习，能够总结归纳的系统，也就是说它能够通过已知数据的实验运用来学习和归纳总结。人工神经网络通过对局部情况的对照比较（而这些比较是基于不同情况下的自动学习和要实际解决问题的复杂性所决定的），它能够推理产生一个可以自动识别的系统。与之不同的基于符号系统下的学习方法，它们也具有推理功能，只是它们是建立在逻辑算法的基础上，也就是说它们之所以能够推理，基础是需要有一个推理算法则的集合。
2AlphaGo的原理回顶部
AlphaGo的原理
首先，AlphaGo同优秀的选手进行了150000场比赛，通过人工神经网络找到这些比赛的模式。然后通过总结，它会预测选手在任何位置高概率进行的一切可能。AlphaGo的设计师通过让其反复的和早期版本的自己对战来提高神经网络，使其逐步提高获胜的机会。
从广义上讲，神经网络是一个非常复杂的数学模型，通过对其高达数百万参数的调整来改变的它的行为。神经网络学习的意思是，电脑一直持续对其参数进行微小的调整，来尝试使其不断进行微小的改进。在学习的第一阶段，神经网络提高模仿选手下棋的概率。在第二阶段，它增加自我发挥，赢得比赛的概率。反复对极其复杂的功能进行微小的调整，听起来十分疯狂，但是如果有足够长的时间，足够快的计算能力，非常好的网络实施起来并不苦难。并且这些调整都是自动进行的。
经过这两个阶段的训练，神经网络就可以同围棋业余爱好者下一盘不错的棋了。但对于职业来讲，它还有很长的路要走。在某种意义上，它并不思考每一手之后的几步棋，而是通过对未来结果的推算来决定下在哪里。为了达到职业级别，AlphaGp需要一种新的估算方法。
为了克服这一障碍，研究人员采取的办法是让它反复的和自己进行对战，以此来使其不断其对于胜利的估算能力。尽可能的提高每一步的获胜概率。（在实践中，AlphaGo对这个想法进行了稍微复杂的调整。）然后，AlphaGo再结合多线程来使用这一方法进行下棋。
我们可以看到，AlphaGo的评估系统并没有基于太多的围棋知识，通过分析现有的无数场比赛的棋谱，以及无数次的自我对战练习，AlphaGo的神经网络进行了数以十亿计的微小调整，即便每次只是一个很小的增量改进。这些调整帮助AlphaGp建立了一个估值系统，这和那些出色围棋选手的直觉相似，对于棋盘上的每一步棋都了如指掌。
此外AlphaGo也使用搜索和优化的思想，再加上神经网络的学习功能，这两者有助于找到棋盘上更好的位置。这也是目前AlphaGo能够高水平发挥的原因。
3神经网络的延伸和限制回顶部
神经网络的延伸和限制
神经网络的这种能力也可以被用在其他方面，比如让神经网络学习一种艺术风格，然后再将这种风格应用到其他图像上。这种想法很简单：首先让神经网络接触到大量的图像，然后来确认这些图像的风格，接着将新的图像带入这种风格。
这虽然不是伟大的艺术，但它仍然是一个显着的利用神经网络来捕捉直觉并且应用在其他地方的例子。
在过去的几年中，神经网络在许多领域被用来捕捉直觉和模式识别。许多项目使用神经这些网络，涉及的任务如识别艺术风格或好的视频游戏的发展战略。但也有非常不同的网络模拟的直觉惊人的例子，比如语音和自然语言。
由于这种多样性，我看到AlphaGo本身不是一个革命性的突破，而是作为一个极其重要的发展前沿：建立系统，可以捕捉的直觉和学会识别模式的能力。此前计算机科学家们已经做了几十年，没有取得长足的进展。但现在，神经网络的成功已经大大扩大，我们可以利用电脑攻击范围内的潜在问题。
事实上，目前现有的神经网络的理解能力是非常差的。神经网络很容易被愚弄。用神经网络识别图像是一个不错的手段。但是实验证明，通过对图像进行细微的改动，就可以愚弄图像。例如，下面的图像左边的图是原始图，研究人员对中间的图像进行了微小的调整后，神经网络就无法区分了，就将原图显示了出来。
另一个限制是，现有的系统往往需要许多模型来学习。例如，AlphaGo从150000场对战来学习。这是一个很庞大额度数字！很多情况下，显然无法提供如此庞大的模型案例。
E. GNN——图网络相关知识整理
Due to its performance in non-euclidean spatial data, GNN methods are graally appealing to the attention of researchers. Traditional deep neural networks take Euclidean-structured data as input, which is one of the reasons for its excellent performance in computer vision and other fields. However, in real life, there are many non-euclidean data, such as social network, retail network and biological network. In the field of brain neuroinformatics where the author focuses, one of the most commonly used methods of brain image analysis is voxel-based morphology, but different areas of the human brain are usually correlated and interacting, the brain network constructed based on which can reveal the higher-level brain activity mechanism. Similar to other topological network data, brain network is usually represented in the form of connection matrices, which cannot be directly vectorized and fed into machine learning models. However, the emergence of graph network analysis method breaks the deadlock.
得益于其在非欧几里得空间数据中的表现，图网络研究方法正逐渐吸引着研究人员的关注。传统的深度神经网络将欧几里得空间结构化数据作为输入，这也是其在计算机视觉等领域有着优异表现的原因之一。但现实生活中往往存在着各种非欧几里得结构的数据，例如社交网络数据、零售网络数据以及生物网络数据等。以笔者所处的脑神经信息学领域来说，目前常用的脑神经影像分析手段都是基于体素的形态学分析，但人脑的不同区域往往存在着相互关联和影响，以此为基础构建出的脑网络往往能反映出更深层次的大脑活动机理。而正如其他网络拓扑结构数据，脑网络通常以连接矩阵的形式表示，无法通过直观的手段将其向量化，作为机器学习模型的输入。而图网络分析方法的出现打破了这种僵局。
Simply put, a graph is an abstract and irregular data structure that can be used to describe and model complex systems. Different from Euclidean spatial data, graphs in real world usually have complex topological structure and huge data size. Using traditional graph analysis methods would be difficult to achieve the same level of performance as applications of machine learning like computer vision, while existing machine learning algorithms cannot be applied to graph data straightforward. In view of this, how to combine machine learning with graph data analysis method, capture the interactions between data nodes in graphs and mine the information therein, has become a hot trend in the field of machine learning.
简单来说，图是一种抽象而不规则的数据结构，可以用于描述和建模复杂的系统。不同于欧几里得空间数据，现实中的图往往具有复杂的拓扑结构和庞大的数据量，传统的图分析方法难以实现与计算机视觉领域相当的应用水平和模型性能，而现有的机器学习算法不能直接应用于图数据中。鉴于此，如何将机器学习与图数据分析方法结合起来，捕捉图结构中数据之间的依赖关系，挖掘其中的信息，成为了机器学习领域的一股热潮。
Generally, before data is fed into machine learning algorithm models, it needs to be processed to extract valuable features, which can not only improve the quality of input data, but also greatly improve the reliability and performance of the model. This process is called feature engineering. Since the quality of feature engineering methods directly determines the performance of models, the research of data mining focuses on the handcrafted design and extraction of valuable features for specific data. For example, neuroimaging data often contains a lot of noise and has very high resolution, which is not suitable for direct input to machine learning models. Therefore, we preprocess the data and calculate the corresponding feature vectors, which are fed into the analysis model.
通常，在将数据输入到强大的机器学习算法模型中之前，需要将其进行一定的处理，提取出有价值的特征，这样不仅可以提高数据的质量，更能大大提升模型的可靠性和性能，这一处理过程被称作特征工程。正因为特征工程方法的好坏直接决定着模型的性能，数据挖掘的研究都将重心放在了针对特定的数据人工设计有价值的特征上。举例来说，神经影像数据通常作为包含着多种噪音，并且分辨率极高，不适合直接作为机器学习模型的输入。因此笔者将数据进行一定的预处理并计算出相应的特征向量，在输入到分析模型中。
Deep learning is essentially a kind of "feature engineering", or mostly called "feature learning". This is because the general idea of deep learning is to transform the original data into higher-level features through the nonlinear transformation model of neural network, and these features are usually a vector that can be used as the input of classifiers. The graph convolutional neural network mentioned in this section is a method that can represent the nodes and edges in the graph using feature vectors to serve as the input of high-performance machine learning algorithm model. This method of embedding graph nodes into low-dimensional Euclidean space is also called graph embedding method.
深度学习本质上就是一种“特征工程”，更多地被称为“特征学习”。这是由于深度学习的思想就是将原始数据通过神经网络这一非线性变换模型转变为更高层次的特征，而这些特征通常是一个向量，可以作为分类器的输入。本节提到的图卷积神经网络就是一种能够将图中的节点和边使用特征向量表示出来，以作为高性能机器学习算法模型的输入的方法，这种将图节点嵌入到低维欧几里得空间中的方法也称作图嵌入方法。
上面给出的是图卷积算子的计算公式，设中心节点为 ， 是节点 在第 层的特征表达， 是归一化因子，如取节点度的倒数， 是节点 的邻节点，包含自身， 是节点 的类型， 表示 类型节点的变换权重参数， 表示激活函数。
According to problems in the field of neuro-informatics, the application of graph neural network in which is mainly graph classification, namely after the construction of brain function network and features are added in the corresponding nodes, using GCN to learn the high-level features of brain networks, using full connection layer to extract vectorized features or directly using global average pooling (GAP) to output the class confidence, which can be gender (e.g. Graph Saliency Maps through Spectral Convolutional Networks: Application to Sex Classification with Brain Connectivity ) or disease group. Currently open source deep learning frameworks based on graph mostly focus link classification and node classification, support for Graph Classification is relatively lacked, and pytorch_geometric is a Deep Learning framework supporting multiple GNN applications, including the support of this article, An End - to - End Deep Learning Architecture for Graph Classification , which makes it qualified to perform graph convolution operations and output feature vectors ready for learning and classification.
根据笔者所处研究领域的痛点，目前图神经网络在其中的应用主要为图分类，即在构建脑功能网络并在相应节点添加特征后，使用GCN对脑网络进行高层特征学习，使用全连接层提取向量化的特征或直接使用全局平均池化( GAP )输出类别置信度，这一类别可为性别(如: Graph Saliency Maps through Spectral Convolutional Networks: Application to Sex Classification with Brain Connectivity )，亦可为疾病。目前基于图的深度学习开源框架大多注重边分类和节点分类，对图分类的支持相对较少，而 pytorch_geometric 是一个支持多种图深度学习应用的框架，其中对 An End-to-End Deep Learning Architecture for Graph Classification 这篇文章的支持使其能够胜任图卷积操作并输出特征向量这一工作，以便之后对该特征进行学习和分类。
F. 图神经网络是什么
图神经网络是一种直接作用于图结构上的神经网络。GNN的一个典型应用是节点分类。本质上，图中的每个节点都与一个标签相关联，我们希望预测未标记节点的标签。
G. 图神经网络是怎么炼成的：GNN基本原理简介
此文算是对Google Research这篇 A Gentle Introction to Graph Neural Networks 神作的阅读笔记.
十多年来，研究人员开发了一种称之为图神经网络（Graph Neural Networks，GNNs）的技术，旨在将如今在深度学习的诸多任务中摧枯拉朽的神经网络，应用到图结构之上，从而让神经网络捕捉到更错综复杂的交叉特征，以期待在一些任务上取得更佳的效果。鉴于操作图数据结构的复杂性，尽管已经发展了十几年，它在实际应用中却刚刚起步，即时是google也才开始研究将其被应用到药品研发、物理模拟、假新闻检测、交通预测和推荐系统等领域。
尽管GNN是一个新兴的研究领域，但图结构的数据其实在我们身边无处不在。那么什么是图呢？
这个理科生应该都清楚，图有点(Vertex)和边(Edge)两部分组成，一个图就代表了各个实体节点（node）之间的关系（edge）：
每个节点或者边都可以包含它的一些属性信息，比如如果一个节点表示一个人，那么就可以包含这个人的姓名、性别、身高、体重之类的..我们研究需要的信息。
而这些信息，都可以用通用的向量的形式存入其中：
还有别忘了一点，边是可以有方向的，按此我们还能分为有向图或是无向图。边的方向代表了信息的传递方向，例如a是b的微信好友，那b也是a的微信好友，好友关系自然是没方向的，而比如a是b的爹，那显然b就不是a的爹，此时叫爹的关系就是有有方向的。
图结构的构建是非常灵活的，可以根据个人的设计构建出各种不一样的图。而作为开发者显然要结合实际解决的问题来构建合适的图。
正如前面所提到的，图无处不在。你可能已经熟悉例如知识图谱、社交网络之类的图数据。当时显然，图是一种极其强大的通用数据表示，传统神经网络中用到的欧式空间的数据，同样可以用图来表示，例如可以将图像和文本建模为图结构数据。
比如，我们可以将一张图片的每个像素作为图的节点，再将相邻的像素用边连接起来，就构造了一个该图像的图。
如上图展示了一个5*5的图片的邻接矩阵表示和图表示。
我们将每个单词作为节点，并将每个节点连接到下一个节点，就得到了一个文本的图：
当然，在实践中我们并不会这样来编码文本和图像，因为所有的图和文本都是非常规则的结构，表示成图就多此一举了。
我们再来看一些例子，这些数据的结构更加复杂，除了图之外很难用其他方式来表达。
分子是构成物质的基石，我们可以用节点来表示它的原子和电子，用边来表示共价键，这样便将一个分子表示成了一个图：
不同的图可以表示出不同的分子结构：
都说社会是一个大熔炉，身处其中的人和事物之间会发生极其复杂的关系。这种关系的表示用普通的表格数据是很难表示的，而图却能很好的展现。
下图是将莎士比亚歌剧《奥赛罗》中的任务关系表示成图：
怎么样，如果没看过歌剧能推测出那些是主角吗？
下面是将一个空手道竞标赛的对战关系构建为图：
类似的可以表示为图的数据还有很多很多，比如论文的引用之类统统都可以表示为图，下面是现实世界中不同规模的数据图表示的统计数据：
可见，各种各样规模的数据都可以轻松的用图来表示。
在上面我们列举了这么多的图，那么我们该对这些图数据执行什么任务呢？
图上的预测任务一般分为三类：
下面我们通过具体的示例来说明GNN怎么来解决上述的三个级别的预测问题。
在图级别的任务中，我们的目标是预测整个图的属性。例如我们通过分子图，来预测该分子的气味或是者它是否是与某些疾病有关的受体。
它的输入是完整的图：
输出是图的分类：
节点级任务一般就是预测每个节点的类型。
一个经典的例子就是Zach的空手道俱乐部。该数据集市一个单一的社交网络图，犹豫政治分歧，讲师Hi先生和管理员John之间不和导致空手道俱乐部分裂，其中的学员一部分效忠于Hi先生，一部分效忠于John。每个节点代表空手道联系着，边代表空手道之外这些成员的互动，预测问题就是判断这些节点是效忠于谁的。
边级任务其实就是预测每个边的属性.
在目标检测的语义分割任务中,我们也许不止要识别每个目标的类型,还需要预测各个目标之间的关系.我们可以将其描述为边级别的分类任务:给定表示图像中的对象的节点，我们希望预测哪些节点共享一条边，或者该边的值是多少。如果我们希望发现实体之间的连接，我们可以考虑图是完全连通的，并根据它们的预测值修剪边来得到一个稀疏图。
用图表示就是这样的过程:
那么我们要如何使用神经网络来处理上述各种类型的任务呢?
首先要考虑的是如何将图结构数据适配到神经网络.
回想一下啊,传统的神经网络输入的往往是矩阵形式的数据,那么要如何把图作为输入呢?
图表示有四种类型的信息:节点(nodes),边(edges),全局上下文(global-context),联通性(connectivity).对于前三种信息,有一个非常简单的方案,比如将节点排序,然后每个节点表示为一个向量,所有节点就得到了一个节点的矩阵,同理,边和上下文也可以这么搞.
但是要标识连通性就没有这么简单了,也许你会想到用临街矩阵来表示,但是这样表示会有明显的缺陷,因为节点数的规模往往是巨大的,对于一个数百万节点的图,那将耗费大量的空间,而且得到的矩阵往往也十分的稀疏,可以说空间利用率会很低.
当然,你也许会想,可以用稀疏矩阵来存储,这样就只需要存储连通的情况,空间利用率将大大提升,但是我们还要考虑到一点,就是稀疏矩阵的高性能计算一直是个艰难的,尤其是在用到GPU的情况.
并且,使用邻接矩阵还有一个问题就是各种不同的邻接矩阵可以标识相同的连通性,而这些矩阵并不能保证在神经网络中取的相同的效果.比如,同样的连通性,通过调换列的顺序,就能得到不同的邻接矩阵:
现在，我们成功的将图结构成功表示成了置换不变的矩阵格式，终于可以使用图形神经网络（GNN）来做图形预测任务了。
GNN是对保持图对称性(置换不变性)的图的所有属性(节点、边、全局上下文)的可优化变换。
我们将使用Gilmer等人提出的“消息传递神经网络”框架构建GNN,并使用Battaglia等人介绍的图网络网络架构示意图。GNNS采用“图输入，图输出”架构，这意味着这些模型类型接受图作为输入，其中包含节点，边和全局上下文的信息，并逐步地转换这些图嵌入，而不会更改输入的连接图结构。
我们使用最开始提到的那个图来构建一个最简单的GNN,输入的图是相应节点,边,全局信息的向量,我们针对每个向量使用一个MLP层来作变换,于是得到一个新的图.
针对上述构建的最简单的GNN，我们如何在上面描述的任何任务中进行预测呢?这里我们仅仅考虑二进制分类的情况，但这个框架可以很容易地扩展到多类或回归的情况。
如果是对节点分类,我们只要在最后一层接一个线性类器就可以了:
但是上面的预测过程有点过于简单了,完全没有用到图的结构信息,我们在此基础上增加一个pooling操作,以增加它的边缘信息:
具体操作是把待预测节点的邻居节点以及全局的信息进行聚合再做预测,即将这些embedding向量加到一起得到一个新的向量,再输入到最后的线性分类器.
同理,如果我们只有节点相应边的信息的话,也可以用类似的方式pooling,然后得到节点的向量表示再输入分类器:
反之,如果我们只有节点的信息,那么也可以用边所连接的两个节点来pooling出边的向量,然后将器输入到分类器预测边的类型:
显然,不管是哪种任务,整个GNN的推理过程都是一样的,可以表示为这样一个端到端的过程:
不过,显而易见的,这个简单的GNN在分类前只是对每个向量进行了一个变换,而没有用到图结构的任何信息,虽然在最后做预测的时候做了一些pooling的聚合,但也始终没有用到adjacency的信息,因此这个GNN的作用相当有限,但是它为我们提供了一个图结构层变换和堆叠的基本思路.
针对上面最简单GNN的不足,我们可以在其中根据连通性增加更加复杂的变换从而引入整个图结构的信息,我们将这个过程称之为信息传递.
信息传递包含三个步骤:
这个过程有点类似于卷积操作,每个节点汇聚了其邻居的节点,经过多个层的变换,它将涵盖全图的信息.
于是我们可以将这个节点信息传递应用到上述的图变换过程中:
然后,我们发现它并没用用上边的信息,于是可以把边信息也加上,变成这样:
既然把边的信息加上了,那怎么可以漏掉全局信息呢,于是完整的信息传递就可以表示成这样:
以上,我们梳理了最简单的GNNs是怎么完成的,你应该已经对GNN有了一个基本的了解,就像学会了传统神经网络中最简单的全连接网络类似,关于GNN还有更多不同种类的更复杂的图需要取了解和学习,但你只要掌握了以上的思想,学习起来也是十分容易的.
H. 脑皮层神经网络是什么样的 脑皮层神经网络示意图
所谓神经网络算法顾名思义是模拟生物神经网络而产生的一种算法，首先需要用一些已知的数据输入到神经网络中，使它知道什么样的数据属于哪一类（训练），然后将未知的数据输入进去，神经网络通过已知的数据对其进行判断来完成分类（分类）。可以用来进行图像识别、分类；数据预测；曲线拟合等。推荐找本机器学习，人工智能方面的书看。
I. 图神经网络是大数据时代发展的必然（原创）
大数据的核心是数据智能。数据智能的本质是在大量样本中发现、评估若干概念之间的关联性，归纳形成数学表达，再利用数学表达进行推理运算，从而完成对未知样本的判断决策。这就需要发现海量数据背后的规律，解决数据表征问题。数据智能先后经历了专家系统、传统机器学习和神经网络三个阶段，输入的知识从具体到抽象，从规则到特征再到模式，越来越宏观，智能化处理效率越来越高，对底层的感知和模型的可解释性越来越弱化。随着专家系统逐渐淡出，传统机器学习和神经网络成为数据智能的两大常见技术。实践证明，随着数据集样本的增多，传统机器学习的性能不及神经网络（见图一）。这主要归结于前者的表达能力不如后者。Goodfellow在2013年ICML（国际机器学习大会）上发表了论文《MaxoutNetworks》（最大输出网络）。在这篇论文中证明了MaxoutNetworks能够无限逼近任意连续函数。也即是说，神经网络能够拟合任意连续函数，与传统机器学习相比，神经网络具有突出的表达能力优势。
（上图）：横轴代表数据量，纵轴代表算法精度
我们看到几个趋势：行业数据量指数级增长、以GPU为代表的专业芯片算力增长、新型算法层出不穷、学术界的前沿研究、投资界的资金投入、工商业的多种场景，这些因素都促进了神经网络快速发展。神经网络的发展形态有两种方向：一是以DNN深度全连接和CNN卷积神经网络为代表的纵向发展，即层数增多的纵向迭代，典型应用是CV计算机视觉；二是以RNN循环神经网络为代表的横向发展，即神经元之间的横向迭代，典型应用是以NLP自然语言理解为代表的序列处理。神经网络技术同时呈现两种发展形态，并在多个领域有广泛应用，就说明这个技术已经进入成熟期了。下一步往哪个方向发展？很有可能是：将纵向发展和横向发展进行结合，渗透到更多的应用领域。这看似顺水推舟的事情。事实证明，这个判断是正确的，图神经网络就是二者的结合。
纵观技术圈的发展历史，可以总结出这样的事实：一个理论技术能否在更多的领域推广，关键取决于它能否真实地刻画现实世界的实体特征和关系。如果它刻画得越真实，那么它的应用场景就越多。比如马尔科夫链这个理论，就真实地刻画了现实世界中的时序对象的特征和依赖关系，因此它广泛应用在语音理解、机器翻译、国民经济、事件预测等领域；再如概率图理论，用图来表示事件概率的依存关系，也是真实刻画了现实世界中的实体关系，因此它也广泛应用在反欺诈、图像理解、事件预测等领域。从方法论看，要刻画现实世界的实体，就必须在模型中置入代表这个实体的节点，并且设计出实体之间的依赖关系转化。但无论是马尔科夫链还是概率图等方法，都弱化了嵌入表示，从而丢失了一些隐语义信息，是有缺憾的。
图神经网络（GraphNeural Networks，GNN）的问世，使事情出现了转机。在图神经网络中，存在两种网络。一种是拓扑结构网络，通常描述众多实体及其关系；另一种是特征变换神经网络，通常用于节点、边、图或子图的特征转化。前者完成信息横向传播，实现图信号的拓扑关系传递，理论依据是图论；后者完成信息纵向传播，实现原始特征向嵌入表示的转化，理论依据是深度学习。图神经网络是图论与深度学习的完美结合，它既考虑了实体关系，又考虑了实体特征。与传统图方法和传统深度学习相比，图神经网络具有明显的优势：建模来源数据更充分，更能反映现实世界中实体之间的真实关系，它既能从图结构代表的非欧式空间数据中学习到语义表示，又能让学习到的语义表示最大限度地符合图结构的实体关系。
现实世界中80%以上的数据更适合用图结构来刻画，比如交通数据、社交数据、分子结构数据、行业经济数据等。图神经网络能适应这样的数据，在分布式学习架构下，图神经网络能处理的数据规模非常庞大，非常适合处理数亿节点的产业数据。因此图神经网络的应用场景更为广泛。近三年来，各种国际顶会关于图神经网络的论文频频发布，众多互联网科技公司（如阿里、网络、字节跳动）花重金在这一领域布局，并取得重大进展，广泛应用于关联搜索、实时推荐、风险防控、异常检测、行为预测、模式识别等。这些现象无疑说明了图神经网络是未来技术发展的重要领域方向。
综上所述，在行业数据、算法理论、算力支持、市场需求、资本涌入等背景下，图神经网络的迅速崛起是大数据时代发展的必然。
J. 图神经网络读博好吗
好。图神经网络将深度学习的预测能力应用于丰富的数据结构中，这些数据结构将物体及其对应关系描述为图中用线连成的点，图神经网络读博好。在图神经网络中，被称为“节点”的数据点通过被称为“边”的线连接，各种元素均以数学形式表达，这使机器学习算法可以在节点、边或整个图的层面做出有用的预测。