贝叶斯网络的优点和不足有哪些

❶ 概率图模型

概率图模型是之前一直搁置的内容，然而躲得过初一躲不过十五，看葫芦书时发现其中有整整一章关于概率图，方才意识到概率图模型的重要性，回过头来重新补上这部分内容。

概率图模型（Probabilistic Graphical Model,PGM），简称图模型，是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型 。给研究高维空间中的概率模型带来了很大的便捷性。

对于一个 维随机向量 ，其联合概率为高维空间中的分布，一般难以直接建模。假设每个变量为离散变量并有 个取值，在不作任何独立假设条件下，则需要 个参数才能表示其概率分布（因为我们需要给出每一组可能的 的概率，共 种可能，由于概率和为1因此在此基础上减1）。不难看出，参数数量是指数级的，这在实际应用中是不可接受的。

一种有效减少参数量的方法是 独立性假设 。将 维随机向量的联合概率分解为 个条件概率的乘积：

其中 表示变量 的取值。如果某些变量之间存在条件独立，其参数量就可以大幅减少。

假设有四个二值变量 ，在不知道这几个变量依赖关系的情况下以用一个联合概率表来记录每一种取值的概率需要 个参数。假设在已知 时 和 独立，即有：

同理：

在已知 和 时 也和 独立，即有：

那么其联合概率 可以分解为：

是 个局部条件概率的乘积。如果分别用 个表格来记录这 个条件概率的话，只需要 个独立参数。

当概率模型中的变量数量比较多时，其条件依赖关系也比较复杂。我们可以使用图结构的方式将概率模型可视化，以一种直观、简单的方式描述随机变量之间的条件独立性的性质，并可以将一个复杂的联合概率模型分解为一些简单条件概率模型的组合。下图给出了上述例子中 个变量之间的条件独立性的图形化描述。

图模型有三个基本问题 ：

很多机器学习模型都可以归结为概率模型，即建模输入和输出之间的条件概率分布。因此，图模型提供了一种新的角度来解释机器学习模型，并且这种角度有很多优点，比如了解不同机器学习模型之间的联系，方便设计新模型等。

图由一组节点和节点之间的边组成。在概率图模型中，每个节点都表示一个随机变或一组随机变量，边表示这些随机变量之间的概率依赖关系 。

常见的概率图模型可以分为两类向图模型和无向图模型。有向图模型的图结构为有向非循环图，如果两个节点之间有连边，表示对于的两个变量为 因果关系 。无向图模型使用无向图来描述变量之间的关系。每条边代表两个变量之间有 概率依赖关系，但是并不一定是因果关系 。

有向图模型，也称贝叶斯网络（Bayesian Network）或信念网络（Belief Network），是指用有向图来表示概率分布的图模型。

贝叶斯网络 ： 对于一个随机向量 和一个有 个节点的有向非循环图 ， 中的每个节点都对应一个随机变量，可以是可观测的变量，隐变量或是未知参数。 中的每个连接 表示两个随机变量 和 之间具有非独立的因果关系。 表示变量 的所有父节点变量集合，每个随机变量的局部条件概率分布（local conditional probability distribution）为 。

若 的联合概率分布可以分解为每个随机变量 的局部条件概率的连乘形式，即：

那么 构成了一个 贝叶斯网络 。

条件独立性 ：在贝叶斯网络中，如果两个节点是直接连接的，它们肯定是非条件独立的直接因果关系。 父节点是“因”，子节点是“果” 。

如果两个节点不是直接连接的，但是它们之间有一条经过其它节点的路径来连接，那么这两个节点之间的条件独立性就比较复杂，例如：

(a)(b)(c)(d)分别代表 间接因果关系、间接果因关系、共因关系、共果关系 。

局部马尔可夫性质 ：对一个更一般的贝叶斯网络，其局部马尔可夫性质为： 每个随机变量在给定父节点的情况下，条件独立于它的非后代节点 。

其中 为 的非后代变量。

一种简单的参数化模型为Sigmoid信念网络。Sigmoid信念网络种变量取值为 ，对于变量 和它的父节点集合 ，条件概率分布表示为：

其中 是Logistic sigmoid函数， 是可学习的参数。假设变量 的父节点数量为 ，如果使用表格来记录条件概率需要 个参数，如果使用参数化模型只需要 个参数。如果对不同的变量的条件概率都共享使用一个参数化模型，其参数数量又可以大幅减少。

值得一提的是Sigmoid信念网络与Logistic回归模型都采用Logistic函数来计算条件概率。如果假设Sigmoid信念网络中只有一个叶子节点，其所有的父节点之间没有连接，且取值为实数，那么sigmoid信念网络的网络结构和Logistic回归模型类似，如图所示。

这两个模型区别在于Logistic回归模型中的 作为一种确定性的参数，而非变量。因此Logistic回归模型只建模条件概率 ，是一种判别模型，而Sigmoid信念网络建模 ，是一种生成模型 。

朴素贝叶斯分类器是一类简单的概率分类器，在强（朴素）独立性假设的条件下运用贝叶斯公式来计算每个类别的后验概率。

给定一个有 维特征的样本 和类别 ，类别的后验概率为：

其中 是概率分布的参数。

朴素贝叶斯分类器中，假设在给定 的情况下 之间条件独立，即 。下图给出了朴素贝叶斯分类器的图形表示。

条件概率分布 可以分解为：

其中 是 的先验概率分布的参数， 是条件概率分布 的参数。若 为连续值， 可以用高斯分布建模。若 为离散值， 可以用多项分布建模。

虽然朴素贝叶斯分类器的条件独立性假设太强，但是在实际应用中，朴素贝叶斯分类器在很多任务上也能得到很好的结果，并且模型简单，可以有效防止过拟合 。

隐马尔科夫模型是一种含有隐变量的马尔可夫过程。下图给出隐马尔可夫模型的图模型表示。

隐马尔可夫模型的联合概率可以分解为：

其中 为输出概率， 为转移概率， 分别表示两类条件概率的参数。

无向图模型，也称为马尔可夫随机场或马尔科夫网络，是一类用无向图来描述一组具有局部马尔可夫性质的随机向量 的联合概率分布的模型。

马尔可夫随机场 ：对于一个随机向量 和一个有 个节点的无向图 （可有循环）， 中节点 表示随机变量 ， 。如果 满足 局部马尔可夫性质，即一个变量 在给定它的邻居的情况下独立于所有其它变量 ：

其中 为变量 的邻居集合， 为除 外其它变量的集合，那么 就构成了一个马尔可夫随机场。

无向图的马尔可夫性 ：无向图中的马尔可夫性可以表示为：

其中 表示除 和 外的其它变量。

上图中由马尔可夫性质可以得到： 和 。

团 ： 由于无向图模型并不提供一个变量的拓扑顺序，因此无法用链式法则对 进行逐一分解 。无向图模型的联合概率一般以全连通子图为单位进行分解。无向图中的一个全连通子图，称为团（Clique），即团内的所有节点之间都连边。在所有团中，如果一个团不能被其它的团包含，这个团就是一个 最大团（Maximal Clique） 。

因子分解 ：无向图中的的联合概率可以分解为一系列定义在最大团上的非负函数的乘积形式。

Hammersley ­Clifford定理 ：如果一个分布 满足无向图 中的局部马尔可夫性质，当且仅当 可以表示为一系列定义在最大团上的非负函数的乘积，即：

上式也称为 吉布斯分布 。其中 为 中的最大团集合， 是定义在团 上的 势能函数 ， 是配分函数（Partition Function），用来将乘积归一化为概率形式。

其中 为随机向量 的取值空间。

无向图模型与有向图模型的一个重要区别是有配分函数 。配分函数的计算复杂度是指数级的，因此在推断和参数学习时都需要重点考虑。

由于势能函数必须为正的，因此我们一般定义为：

其中 为 能量函数 。这里的负号是遵从物理上的习惯，即能量越低意味着概率越高。

因此无向图上定义的概率分布可以表示为：

这种形式的分布又称为 玻尔兹曼分布（Boltzmann Distribution） 。任何一个无向图模型都可以用上式来表示其联合概率。

势能函数一般定义为：

其中函数 为定义在 上的特征向量， 为权重向量。这样联合概率 的对数形式为：

其中 代表所有势能函数中的参数 。这种形式的无向图模型也称为 对数线性模型或最大熵模型 。

如果用对数线性模型来建模条件概率 ，有：

其中 。这种对数线性模型也称为 条件最大熵模型或softmax回归模型 。

条件随机场是一种直接建模条件概率的无向图模型 。

和条件最大熵模型不同，条件随机场建模的条件概率 中， 一般为随机向量，因此需要对 进行因子分解。设条件随机场的最大团集合为 ，条件概率为：

其中 为归一化项。

一个最常用的条件随机场为图(b)中所示的链式结构，其条件概率为：

其中 为状态特征，一般和位置 相关， 为转移特征，一般可以简化为 并使用状态转移矩阵来表示。

无向图模型可以表示有向图模型无法表示的一些依赖关系，比如循环依赖；但它不能表示有向图模型能够表示的某些关系，比如因果关系。

以图(a)中的有向图为例，其联合概率分布可以分解为：

其中 和四个变量都相关。如果要转换为无向图， 需要将这四个变量都归属于一个团中。因此需要将 的三个父节点之间都加上连边，如图(b)所示。这个过程称为 道德化（Moralization） 。转换后的无向图称为 道德图（Moral Graph） 。

在道德化的过程中来有向图的一些独立性会丢失 ，比如上面 在道德图中不再成立。

在图模型中，推断（Inference）是指在观测到部分变量 时，计算其它变量的某个子集 的后验概率 。

假设一个图模型中，除了变量 外，其余变量表示为 。根据贝叶斯公式有：

因此， 图模型的推断问题可以转换为求任意一个变量子集的边际概率分布问题 。

在图模型中用的推断方法可以分为 精确推断 和 近似推断 两类。

以上图为例，假设推断问题为计算后验概率 ，需要计算两个边际概率 和 。

根据条件独立性假设，有：

假设每个变量取 个值，计算上面的边际分布需要 次加法以及 次乘法。

根据乘法的分配律，边际概率 可以写为：

这样计算量可以减少到 次加法和 次乘法。

这种方法是利用 动态规划 的思想，每次消除一个变量，来减少计算边际分布的计算复杂度，称为 变量消除法 。

信念传播（Belief Propagation,BP）算法，也称为和积（Sum-Proct）算法或消息传递（Message Passing）算法，是将变量消除法中的和积（Sum-Proct）操作看作是消息，并保存起来，这样可以节省大量的计算资源。

以上图所示的无向马尔可夫链为例，其联合概率 为：

其中 是定义在团 的势能函数。

第 个变量的边际概率 为：

假设每个变量取 个值，不考虑归一化项，计算上述边际分布需要 次加法以及 次乘法。

根据乘法的分配律际概率 可以通过下面方式进行计算：

其中 定义为变量 向变量 传递的消息， 是关于变量 的函数，可以递归计算：

为变量 向变量 传递的消息，定义为：

边际概率 的计算复杂度减少为 。如果要计算整个序列上所有变量的边际概率，不需要将消息传递的过程重复 次，因为其中每两个相邻节点上的消息是相同的。

信念传播算法也可以推广到具有树结构的图模型上。如果一个有向图满足任意两个变量只有一条路径（忽略方向），且只有一个没有父节点的节点，那么这个有向图为树结构，其中唯一没有父节点的节点称为根节点。如果一个无向图满足任意两个变量只有一条路径，那么这个无向图也为树结构。在树结构的无向图中任意一个节点都可以作为根

❷ 什么手段可以有效应对较大范围的安全事件的不良影响保证关键服务和数据的可用

网络安全评估方法按照其原理来说可以分为以下三大类：

• 基于数学模型的方法

基于数学模型的方法最早被用于态势评估。该评估方法根据影响网络态势的不同因素，构造评价函数，然后通过评价函数将多个态势因子聚集得到态势结果。基于数学模型的方法通过借鉴传统通用的多目标决策理论的一些方法来解决态势评估的问题，其优点就是可以形象直观的反映网络安全态势情况，比如传统的权重分析法，集对分析方法都属于该模型的范畴。但是针对该方法也存在着许多的不足，比如说数学模型中核心评价函数的构造、参数的选择等没有统一的评价标准和衡量体系，往往借助该领域专家的知识和经验来进行评估，因此不可避免的带有专家的主观意见。

• 基于知识推理的方法

基于知识推理的方法主要用来处理一些数学模型难以处理的情况。知识推理方法能够模拟人类的思维方式，相对于传统的数学模型而言，评价过程具有一定的智能性，在一定程度上避免了人的主观因素对态势评估客观性的影响。知识推理方法一方面借助模糊集、概率论、D-S 证据理论等处理不确定性信息；另一方面通过推理汇聚多源多属性信息。在知识推理方面研究的热点有基于故障图模型的安全态势评估方法、基于攻击树的安全态势评估方法、基于特权图的安全态势评估方法、基于攻击图模型的安全态势评估方法、基于贝叶斯网络的安全态势评估方法、基于层次化的安全态势评估方法等。

• 基于模式识别的方法

随着机器学习技术的发展，模式识别方法被引入到网络安全态势评估的研究中。该方法借鉴数据挖掘算法的理念，主要依靠从训练样本或者历史数据中挖掘态势模式来进行态势评估。该方法具有强大的学习能力，其过程主要分为建立模式和模式匹配两个阶段。在网络安全态势评估中使用该方法的代表性工作包括：支持向量机的方法、基于神经网络、灰关联度、粗集理论和基于隐马尔科夫模型的态势评估方法。

❸ 概率图模型01 简介

最近开始看《模式识别与机器学习》的时候，遇到了一些障碍，所以开始学习概率图模型，为了更好的充电以及激励自己，开始写这个博客也主要是想开始正统的学习一下，里面主要跟的是eric xing的概率图模型的课程，希望自己可以坚持翻译完里面的课堂笔记，以及完成作业。：）

在这节课当中，我们主要介绍了贝叶斯网络的概念，以及贝叶斯网络如何能够表现出随机变量之间的内在独立关系。我们同时还讨论了贝叶斯网络当中的不同的结构，并且它们如何编码不同的随即变量独立信息。最后，我们通过稳固性以及完备性，来分析贝叶斯网络与概率模型的等价关系。

该课程中使用的概念如下

概率图模型主要用来做什么?我们可以看这么一个式子：

P(X_1,X_2,...X_n)\qquad\qquad(1)
上面的是一个联合分布概率，一般情况下，我们暂时假设他们都是离散类型的变量（当然也可以是连续的）假如我们要精确的表达出上面的分布，一般情况下可以这么来做，上面的n个变量，我们假设每个变量有两个值在这样的情况下，当我们需要去表达一个具体的概率的时候，我们至少需要 2^n 来表达上面的联合分布概率但是，假如，仅仅是假如，变量之间有一定的关系呢？比如 X_1 与 X_2 是互相独立的，那么我们可以稍微省略一点东西在里面极端情况下，所有的变量都独立，
P(X_1,X_2,...X_n)=P(X_1)P(X_2)P(X_3)...P(X_n)\qquad\qquad(3)
那么我们的复杂度瞬间总原来的 2^n 下降到了 2n ，但是显然大部分情况下实际应用当中，没有这么好的事情存在，这样的模型大大的降低了复杂程度，但是在另外一个方面，表达能力大大的降低了。我们来看看另外一个极端的例子：

P(X_1,X_2,...X_n)=P(X_1)P(X_2|X_1)P(X_3|X1,X_2)...P(X_n|X_1,X_2,...X_n-1)\qquad\qquad(2)

上面的这个式子，每一个都是之前的变量都是前面的条件概率，这样的式子，可以表达任何条件独立的情况，假如我们想用(2)来表达(3)，那么也很简单，因为(2)当中如果真正条件独立，必然存在这样的情况 P(X_2|X_1)=P(X_2) 自然就的到了(3),但是这样的情况，又会让式子变得及其复杂，我们的复杂度又回到了原来的情况。一般的式子都是介于这两种极端情况之间，也就是说，里面部分变量互相独立，部分变量有关系。也有变量条件独立。

主要有三个优点

假设这么一个场景，你去赌场里面赌博，当然你的目的主要为了赢钱，每个人都要下注$1，来掷一次色子，谁最大的可以赢得$2。现在想象一下，你玩了很久，然后发现这么一个情况，赌场方面在掷色子的时候，出现6的情况总是很高，高的不同寻常，你觉得色子有问题，或者说，你觉得，在你掷色子的时候，这个色子是一个正常的色子，当赌场方面掷色子的时候这个色子被偷偷换成了作弊的色子。在这样的情况下，你会问三个问题

为了解决上面的问题，我们至少需要三个步骤来进行建模：选择模型的变量，选择模型的结构，选择相关的概率，我们来对此做一个例子：

贝叶斯网络是一种有向的不闭环的网络，（首先是有向，学过图的人应该知道有向图，然后是不闭环，就是说我们找不到一条路径，可以让一个点作为起点，也作为终点。），贝叶斯网络主要用来编码概率分布里面的条件依赖与独立。（后面会详细的说一下什么是条件独立，条件不独立，也就是依赖）。其中，节点主要代表随机变量，箭头代表的是两个随机变量之间的依赖关系。

因子化主要是根据“节点是被它们的父节点所影响”这个理念，来提供一种最直接的，普遍的联合分布概率表达方式。直观的来说，因子化提供的是一种贝叶斯网络版本的联合分布表达方式。也就是说，我们首先有一个联合分布，我们也它的图，那么我们可以根据图来直接进行因子化，我们只需要如下这么写就好了：
P(X_1,X_2,...X_n) = \prod_{i=1:n}P(X_i|Parents(X_i))

下面我们主要介绍三种局部化结构，并且它们的独立性。这样的局部结构组成了贝叶斯网络。（其实可以这么想，一个不闭环的图只能有这三种局部结构）。我们可以通过这三种结构来进行合适的表示，表示出所有的贝叶斯网络，具体详细见图2

我们现在考虑这么一个问题：给定分布P，我们如何构建一个图，使得这个图可以表示这个分布P所有的独立性？反之亦然。直观的来说，我们假设现在有一个图G，如果图G中所有的独立性声明，同时在P当中也是满足的，那么我们可以断言，图G是分布P的一个I-map。因此，G要成为P的一个I-map那就要求，我们观察到的独立性，在P中必须存在。但是，反过来说，当G是分布P的一个I-map的时候，分布P可能包含G里面不存在的独立性。

公式化的角度来定义的话，假设P是X上的一个分布。我们定义I(P)是在P当中各种独立性的声明的集合比如( X\perp Y|Z )，假设我们有一个图K，我们现在从图K中也得出了一个独立性集合I（K）,并且I（K）属于I（P），那么我们就可以说，K是P的一个I-map 。

上面的一些图G反应的是局部马尔可夫性质以及全局马尔可夫独立性。具体的来说，我们首先来看看局部马尔可夫性，局部马尔可夫性说的是，当我们观察到一个节点的所有父母节点之后，那么该节点与其他飞后继节点（也就是起点是X终点指向的节点）独立。公式化的方式来说，我们定义 P_{aX_i} 为在G中 X_i 的父节点定义 NonDescendants X_i 为除了X子节点之外的所有节点。那么，存在如下性质的独立性： X_i\perp NonDescendants X_i|P_{aX_i}:\forall i

全局马尔可夫性质和D-分离的概念有关，

❹ 贝叶斯网络的优缺点是什么怎么克服它的缺点

在日常生活中，人们往往进行常识推理，而这种推理通常是不准确的。例如，你看见一个头发潮湿的人走进来，你可能会认为外面下雨了，那你也许错了；如果你在公园里看到一男一女带着一个小孩，你可能会认为他们是一家人，你可能也犯了错误。在工程中，我们也同样需要进行科学合理的推理。但是，工程实际中的问题一般都比较复杂，而且存在着许多不确定性因素。这就给准确推理带来了很大的困难。很早以前，不确定性推理就是人工智能的一个重要研究领域。尽管许多人工智能领域的研究人员引入其它非概率原理，但是他们也认为在常识推理的基础上构建和使用概率方法也是可能的。为了提高推理的准确性，人们引入了概率理论。最早由Judea Pearl于1988年提出的贝叶斯网络实质(Bayesian Network)上就是一种基于概率的不确定性推理网络。它是用来表示变量集合连接概率的图形模型，提供了一种表示因果信息的方法。当时主要用于处理人工智能中的不确定性信息。随后它逐步成为了处理不确定性信息技术的主流，并且在计算机智能科学、工业控制、医疗诊断等领域的许多智能化系统中得到了重要的应用。

贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于医疗诊断、统计决策、专家系统等领域。这些成功的应用，充分体现了贝叶斯网络技术是一种强有力的不确定性推理方法。

有关贝叶斯网络的站点：
1、http://www.cs.berkeley.e/~murphyk/Bayes/bayes.html
2、http://www.bayesian.org/
3、http://www.bayes.com/
4、http://www.bayesinf.com/
5、http://xxx.lanl.gov/archive/bayes-an/

❺ 计算机学习的分类

分类；数据挖掘 分类是数据挖掘的重要任务之一，分类在实际应用中有广泛的应用，如医疗事业、信用等级等。近年来，分类方法得到了发展，本文对这些方法进行了归纳分析，总结了今后分类方法发展的方向。 1引言 分类是学会一个分类函数或分类模型，该模型能把数据库中的数据项映射到给定类别中的某一个。分类可用于提取描述重要数据类的模型或预测未来的数据趋势。分类可描述如下：输入数据，或称训练集是一条条记录组成的。每一条记录包含若干条属性，组成一个特征向量。训练集的每条记录还有一个特定的类标签与之对应。该类标签是系统的输入，通常是以往的一些经验数据。一个具体样本的形式可为样本向量：。在这里vi表示字段值，c表示类别。 分类作为数据挖掘的一个重要分支，在商业、医学、军事、体育等领域都有广泛的应用，在过去的十多年中引起很多来自不同领域学者的关注和研究。除了基本的统计分析方法外，数据挖掘技术主要有：神经网络、决策树、粗糙集、模糊集、贝叶斯网络、遗传算法、k近邻分类算法与支持向量机等。 不同的分类器有不同的特点，目前有三种分类器评价或比较尺度：1)预测准确度。预测准确度是用得最多的一种比较尺度，特别是对于预测型分类任务，目前公认的方法是10折分层交叉验证法；2)计算复杂度。计算复杂度依赖于具体的实现细节和硬件环境，空间和时间的复杂度问题将是非常重要的一个环节；3)模型描述的简洁度。模型描述越简洁越受欢迎，如采用规则表示的分类器结果就较容易理解，而神经网络方法产生的结果就难以理解。不同的算法有不同的特点，充分认识各算法的优点和存在的缺陷，掌握其适应的环境，方便研究者明确算法的改进和研究，本文主要对算法的研究现状进行分析和比较。2分类方法的发展 2.1决策树的分类方法 ID3算法是较早的决策树归纳算法。当前最有影响的决策树算法是Quinlan于1986年提出的ID3和1993年提出的C4.5。ID3选择增益值最大的属性划分训练样本，其目的是进行分裂时系统的熵最小，从而提高算法的运算速度和精确度。这种方法的优点是描述简单、分类速度快和产生的分类规则易于理解；但缺点是抗噪性差、训练正例和反例较难控制以及是非递增学习算法。C4.5是ID3的改进算法，不仅可以处理离散值属性，还能处理连续值属性，但是也不能进行增量学习。 SLIQ是一个能够处理连续及离散属性的决策树分类器。该算法针对C4.5分类算法产生的样本反复扫描和排序低效问题，采用了预排序和宽度优先两项技术。预排序技术消除了结点数据集排序，宽度优先为决策树中每个叶结点找到了最优分裂标准。这些技术结合使SLIQ能够处理大规模的数据集，并能对具有大量的类、属性与样本的数据集分类；并且该算法代价不高且生成紧凑精确的树。缺点是内存驻留数据会随着输入纪录数线性正比增大，限制了分类训练的数据量。 SPRINT方法完全不受内存的限制，并且处理速度很快，且可扩展。为了减少驻留于内存的数据量，该算法进一步改进了决策树算法的数据结构，去掉了SLIQ中需要驻留于内存的类别列表，将类别合并到每个属性列表中。但是对非分裂属性的属性列表进行分裂却比较困难，因此该算法的可扩展性较差。 2.2贝叶斯分类方法 贝叶斯分类是统计学分类方法，是利用Bayes定理来预测一个未知类别的样本可能属性，选择其可能性最大的类别作为样本的类别。朴素贝叶斯网络作为一种快速而高效的算法而受到人们的关注，但是其属性独立性并不符合现实世界，这样的假设降低了朴素贝叶斯网络的性能；但是如果考虑所有属性之间的依赖关系，使其表示依赖关系的能力增强，允许属性之间可以形成任意的有向图，由于其结构的任意性，这样使得贝叶斯网络的结构难以学习，然而，贝叶斯网络的学习是一个NP-Complete问题。 目前对于贝叶斯网络的改进主要包括了：1)基于属性选择的方法，保证选择的属性之间具有最大的属性独立性，其中代表算法是由Langley提出SBC；2)扩展朴素贝叶斯网络的结构，考虑属性之间的依赖关系，降低属性独立性假设，其中代表算法是由Friedman提出树扩展的贝叶斯网络TAN；3)基于实例的学习算法。 其中1)、2)的算法是根据训练集合构造一个分类器，是一种积极的学习算法，3)的方法是一种消极的学习算法。 2.3粗糙集分类方法 粗糙集理论是一种刻划不完整和不确定性数据的数学工具，不需要先验知识，能有效处理各种不完备，从中发现隐含的知识，并和各种分类技术相结合建立起能够对不完备数据进行分类的算法。粗糙集理论包含求取数据中最小不变集和最小规则集的理论，即约简算法，这也是粗糙集理论在分类中的主要应用。 2.4神经网络 神经网络是分类技术中重要方法之一，是大量的简单神经元按一定规则连接构成的网络系统。它能够模拟人类大脑的结构和功能，采用某种学习算法从训练样本中学习，并将获取的知识存储在网络各单元之间的连接权中。神经网络主要有前向神经网络、后向神经网络和自组织网络。目前神经网络分类算法研究较多集中在以BP为代表的神经网络上。文献提出了粒子群优化算法用于神经网络训练，在训练权值同时删除冗余连接，与BP结果比较表明算法的有效性。文献提出旋转曲面变换粒子群优化算法的神经网络，使待优化函数跳出局部极值点，提高训练权值的效率。 2.5K近邻分类算法 K近邻分类算法是最简单有效的分类方法之一，是在多维空间中找到与未知样本最近邻的K个点，并根据这K个点的类别判断未知样本的类别。但是有两个最大缺点：1)由于要存储所有的训练数据，所以对大规模数据集进行分类是低效的；2)分类的效果在很大程度上依赖于K值选择的好坏。文献提出一种有效的K近邻分类算法，利用向量方差和小波逼近系数得出两个不等式，根据这两个不等式，分类效率得到了提高。文献提出用粒子群优化算法对训练样本进行有指导的全局随机搜索，掠过大量不可能的K向量，该算法比KNN方法计算时间降低了70%。 2.6基于关联规则挖掘的分类方法 关联分类方法一般由两部组成：第一步用关联规则挖掘算法从训练数据集中挖掘出所有满足指定支持度和置信度的类关联规则，支持度用于衡量关联规则在整个数据集中的统计重要性，而置信度用于衡量关联规则的可信程度；第二步使用启发式方法从挖掘出的类关联规则中挑选出一组高质量的规则用于分类。 Agrawal等人于1993年提出了算法AIS和SETM，1994年又提出了Apriori和AprioriTid，后两个算法和前两个算法的不同之处在于：在对数据库的一次遍历中，那些候选数据项目被计数以及产生候选数据项目集的方法。但前两者方法的缺点是会导致许多不必要的数据项目集的生成和计数。由于目前日常生活中如附加邮递、目录设计、追加销售、仓储规划都用到了关联规则，因此首先要考虑关联规则的高效更新问题，D.w.cheung提出了增量式更新算法FUP，它的基本框架和Apriori是一致的；接着冯玉才等提出了两种高效的增量式更新算法IUA和PIUA，主要考虑当最小支持度和最小可信度发生变化时，当前交易数据库中关联规则的更新问题。 2.7支持向量机方法的发展 支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础之上的。根据有限样本、在模型的复杂性和学习能力之间寻求折衷，以期获得最好推广能力。它非常适合于处理非线性问题。分类问题是支持向量机最为成熟和应用最广的算法。但是由于SVM的训练时间会随着数据集的增大而增加，所以在处理大规模数据集时，SVM往往需要较长的训练时间。 文献提出了一种多分类问题的改进支持向量机，将GA和SVM相结合，构造了一种参数优化GA-SVM，该方法在多分类非平衡问题上，提高了分类正确率，也提高了学习时间。文献提出了一种新的支持向量机增量算法，提出了一种误分点回溯增量算法，先找出新增样本中误分的样本，然后在原样本集寻找距误分点最近的样本作为训练集的一部分，重新构建分类器，有效保留样本的分类，结果表明比传统的SVM有更高的分类精度。 2.8基于群的分类方法 这种方法可以看作是进化算法的一个新的分支，它模拟了生物界中蚁群、鱼群和鸟群在觅食或者逃避敌人时的行为，对基于群的分类方法研究，可以将这种方法分为两类：一类是蚁群算法，另一类称为微粒群算法。 文献提出了一种基于蚁群算法的分类规则挖掘算法，针对蚁群算法计算时间长的缺点，提出了一种变异算子，用公用数据作试验将其结果与C4.5和Ant-Miner比较，显示变异算子节省了计算时间。 PSO是进化计算的一个新的分支，它模拟了鸟群或鱼群的行为。在优化领域中，PSO可以与遗传算法相媲美。文献提出了基于粒子群优化算法的模式分类规则获取，算法用于Iris数据集进行分类规则的提取，与其他算法比较显示不仅提高了正确率，而且较少了计算时间。文献将PSO运用于分类规则提取，对PSO进行了改进，改进的算法与C4.5算法比较，试验结果表明，在预测精度和运行速度上都占优势。 由于PSO算法用于分类问题还处于初期，因此要将其运用到大规模的应用中还要大量的研究。3总结 分类是数据挖掘的主要研究内容之一，本文对分类算法进行了分析，从而便于对已有算法进行改进。未来的数据分类方法研究更多地集中在智能群分类领域，如蚁群算法、遗传算法、微粒群算法等分类研究上以及混合算法来进行分类。总之，分类方法将朝着更高级、更多样化和更加综合化的方向发展。参考文献： 邵峰晶，于忠清．数据挖掘原理与算法．中国水利水电出版社，2003. 陈文伟，黄金才．数据仓库与数据挖掘．人民邮电出版社，2004. L.Jiang，H.Zhang，Z.CaiandJ.Su，EvolutionalNaiveBayes，tsApplication，ISICA2005，pp.344-350，. Langley，P.，Sage，S，，，pp.339-406. Friedman，N.，Greiger，D.，Goldszmidt，M.，BayesianNetworkClassifiers，MachineLearning29103-130. T.Mitchell.MachineLearning.NewYork:McGraw-HillPress，1997. 曾黄麟．粗糙理论以及应用．重庆大学出版社，1996. 高海兵、高亮等．基于粒子群优化的神经网络训练算法研究．电子学报，2004，9. 熊勇，陈德钊，胡上序．基于旋转曲面变换PSO算法的神经网络用于胺类有机物毒性分类．分析化学研究报告，2006，3. 乔玉龙，潘正祥，孙圣和．一种改进的快速K近邻分类算法．电子学报，2005，6. 张国英，沙芸，江惠娜．基于粒子群优化的快速KNN分类算法．山东大学学报，2006，6. 黄景涛，马龙华，钱积新．一种用于多分类问题的改进支持向量机．浙江大学学报，2004，12. 毛建洋，黄道．一种新的支持向量机增量算法．华东理工大学学报，2006，8. 吴正龙，王儒敬等．基于蚁群算法的分类规则挖掘算法．计算机工程与应用，2004. 高亮，高海兵等．基于粒子群优化算法的模式分类规则获取．华中科技大学学报．2004，11. 延丽萍，曾建潮．利用多群体PSO生成分类规则．计算机工程与科学，2007，2.

❻ 无人驾驶汽车的关键技术

总的来说，无人驾驶技术是传感器、计算机、人工智能、通信、导航定位、模式识别、机器视觉、智能控制等多门前沿学科的综合体。按照无人驾驶汽车的职能模块，无人驾驶汽车的关键技术包括环境感知、导航定位、路径规划、决策控制等。

1.环境感知技术

环境感知模块相当于无人驾驶汽车的眼和耳，无人驾驶汽车通过环境感知模块来辨别自身周围的环境信息，为其行为决策提供信息支持。环境感知包括无人驾驶汽车自身位姿感知和周围环境感知两部分。单一传感器只能对被测对象的某个方面或者某个特征进行测量，无法满足测量的需要。因而，必需采用多个传感器同时对某一个被测对象的一个或者几个特征量进行测量，将所测得的数据经过数据融合处理后，提取出可信度较高的有用信号。按照环境感知系统测量对象的不同，我们采用两种方法进行检测：

无人驾驶汽车自身位姿信息主要包括车辆自身的速度、加速度、倾角、位置等信息。这类信息测量方便，主要用驱动电机、电子罗盘、倾角传感器、陀螺仪等传感器进行测量。

无人驾驶汽车周围环境感知以雷达等主动型测距传感器为主，被动型测距传感器为辅，采用信息融合的方法实现。因为激光、雷达、超声波等主动型测距传感器相结合更能满足复杂、恶劣条件下，执行任务的需要，最重要的是处理数据量小，实时性好。同时进行路径规划时可以直接利用激光返回的数据进行计算，无需知道障碍物的具体信息。

而视觉作为环境感知的一个重要手段，虽然目前在恶劣环境感知中存在一定问题，但是在目标识别、道路跟踪、地图创建等方面具有其他传感器所无法取代的重要性，而在野外环境中的植物分类、水域和泥泞检测等方面，视觉也是必不可少的手段。

2.导航定位技术

无人驾驶汽车的导航模块用于确定无人驾驶汽车其自身的地理位置，是无人驾驶汽车的路径规划和任务规划的之支撑。导航可分为自主导航和网络导航两种。

自主导航技术是指除了定位辅助之外，不需要外界其他的协助，即可独立完成导航任务。自主导航技术在本地存储地理空间数据，所有的计算在终端完成，在任何情况下均可实现定位，但是自主导航设备的计算资源有限，导致计算能力差，有时不能提供准确、实时的导航服务。现有自主导航技术可分为三类：

相对定位：主要依靠里程计、陀螺仪等内部本体感受传感器，通过测量无人车相对于初始位置的位移来确定无人车的当前位置。绝对定位：主要采用导航信标，主动或被动标识，地图匹配或全球定位系统进行定位。

组合定位：综合采用相对定位和绝对定位的方法，扬长避短，弥补单一定位方法的不足。组合定位方案一般有GPS+地图匹配、6PS+航迹推算、GPS+航迹推算+地图匹配、GPS+GLONASS+惯性导航+地图匹配等。网络导航能随时随地通过无线通信网络、交通信息中心进行信息交互。移动设备通过移动通信网与直接连接于Internet的WebGIS服务器相连，在服务器执行地图存储和复杂计算等功能，用户可以从服务器端下载地图数据。网络导航的优点在于不存在存储容量的限制、计算能力强，能够存储任意精细地图，而且地图数据始终是最新的。

3.路径规划技术

路径规划是无人驾驶汽车信息感知和智能控制的桥梁，是实现自主驾驶的基础。路径规划的任务就是在具有障碍物的环境内按照一定的评价标准，寻找一条从起始状态包括位置和姿态到达目标状态的无碰路径。

路径规划技术可分为全局路径规划和局部路径规划两种。全局路径规划是在已知地图的情况下，利用已知局部信息如障碍物位置和道路边界，确定可行和最优的路径，它把优化和反馈机制很好的结合起来。局部路径规划是在全局路径规划生成的可行驶区域指导下，依据传感器感知到的局部环境信息来决策无人平台当前前方路段所要行驶的轨迹。全局路径规划针对周围环境已知的情况，局部路径规划适用予环境未知的情况。

路径规划算法包括可视图法、栅格法、人工势场法、概率路标法、随机搜索树算法、粒子群算法等。

4.决策控制技术

决策控制模块相当于无人驾驶汽车的大脑，其主要功能是依据感知系统获取的信息来进行决策判断，进而对下一步的行为进行决策，然后对车辆进行控制。决策技术主要包括模糊推理、强化学习、神经网络和贝叶斯网络等技术。

决策控制系统的行为分为反应式、反射式和综合式三种方案：反应式控制是一个反馈控制的过程，根据车辆当前位姿与期望路径的偏差，不断地调节 方向盘 转角和车速.直到到达目的地。反射式控制是一种低级行为，用于对行进过程中的突发事件做出判断，并迅速做出反应。

综合式控制在反应层中加入机器学习模块，将部分决策层的行为转化成基于传感器的反应层行为，从而提高系统的反应速度。

❼ 贝叶斯网络，看完这篇我终于理解了(附代码)！

概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。

如果用一个词来形容概率图模型（Probabilistic Graphical Model）的话，那就是“优雅”。对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型构建了这样一幅图，用观测结点表示观测到的数据，用隐含结点表示潜在的知识，用边来描述知识与数据的相互关系， 最后基于这样的关系图获得一个概率分布 ，非常“优雅”地解决了问题。

概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中 有向边表示单向的依赖，无向边表示相互依赖关系 。

概率图模型分为 贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network） 两大类。贝叶斯网络可以用一个有向图结构表示，马尔可夫网络可以表 示成一个无向图的网络结构。更详细地说，概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等，在机器学习的诸多场景中都有着广泛的应用。

长久以来，人们对一件事情发生或不发生的概率，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。而且概率虽然未知，但最起码是一个确定的值。比如如果问那时的人们一个问题：“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率是多少？”他们会想都不用想，会立马告诉你，取出白球的概率就是1/2，要么取到白球，要么取不到白球，即θ只能有一个值，而且不论你取了多少次，取得白球的 概率θ始终都是1/2 ，即不随观察结果X 的变化而变化。

这种 频率派 的观点长期统治着人们的观念，直到后来一个名叫Thomas Bayes的人物出现。

托马斯·贝叶斯Thomas Bayes（1702-1763）在世时，并不为当时的人们所熟知，很少发表论文或出版着作，与当时学术界的人沟通交流也很少，用现在的话来说，贝叶斯就是活生生一民间学术“屌丝”，可这个“屌丝”最终发表了一篇名为“An essay towards solving a problem in the doctrine of chances”，翻译过来则是：机遇理论中一个问题的解。你可能觉得我要说：这篇论文的发表随机产生轰动效应，从而奠定贝叶斯在学术史上的地位。

这篇论文可以用上面的例子来说明，“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率θ是多少？”贝叶斯认为取得白球的概率是个不确定的值，因为其中含有机遇的成分。比如，一个朋友创业，你明明知道创业的结果就两种，即要么成功要么失败，但你依然会忍不住去估计他创业成功的几率有多大？你如果对他为人比较了解，而且有方法、思路清晰、有毅力、且能团结周围的人，你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于最开始的“非黑即白、非0即1”的思考方式，便是 贝叶斯式的思考方式。

先简单总结下频率派与贝叶斯派各自不同的思考方式：

贝叶斯派既然把看做是一个随机变量，所以要计算的分布，便得事先知道的无条件分布，即在有样本之前（或观察到X之前），有着怎样的分布呢？

比如往台球桌上扔一个球，这个球落会落在何处呢？如果是不偏不倚的把球抛出去，那么此球落在台球桌上的任一位置都有着相同的机会，即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为 先验分布，或着无条件分布 。

其中，先验信息一般来源于经验跟历史资料。比如林丹跟某选手对决，解说一般会根据林丹历次比赛的成绩对此次比赛的胜负做个大致的判断。再比如，某工厂每天都要对产品进行质检，以评估产品的不合格率θ，经过一段时间后便会积累大量的历史资料，这些历史资料便是先验知识，有了这些先验知识，便在决定对一个产品是否需要每天质检时便有了依据，如果以往的历史资料显示，某产品的不合格率只有0.01%，便可视为信得过产品或免检产品，只每月抽检一两次，从而省去大量的人力物力。

而 后验分布 π（θ|X）一般也认为是在给定样本X的情况下的θ条件分布，而使π（θ|X）达到最大的值θMD称为 最大后验估计 ，类似于经典统计学中的 极大似然估计 。

综合起来看，则好比是人类刚开始时对大自然只有少得可怜的先验知识，但随着不断观察、实验获得更多的样本、结果，使得人们对自然界的规律摸得越来越透彻。所以，贝叶斯方法既符合人们日常生活的思考方式，也符合人们认识自然的规律，经过不断的发展，最终占据统计学领域的半壁江山，与经典统计学分庭抗礼。

条件概率 （又称后验概率）就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。

比如上图，在同一个样本空间Ω中的事件或者子集A与B，如果随机从Ω中选出的一个元素属于B，那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率：

联合概率：

边缘概率(先验概率)：P(A)或者P(B)

贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。

贝叶斯网络的有向无环图中的节点表示随机变量

它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。

例如，假设节点E直接影响到节点H，即E→H，则用从E指向H的箭头建立结点E到结点H的有向弧(E,H)，权值(即连接强度)用条件概率P(H|E)来表示，如下图所示：

简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。

此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出：

1. head-to-head

依上图，所以有：P(a,b,c) = P(a) P(b) P(c|a,b)成立，即在c未知的条件下，a、b被阻断(blocked)，是独立的，称之为head-to-head条件独立。

2. tail-to-tail

考虑c未知，跟c已知这两种情况：

3. head-to-tail

还是分c未知跟c已知这两种情况：

wikipedia上是这样定义因子图的：将一个具有多变量的全局函数因子分解，得到几个局部函数的乘积，以此为基础得到的一个双向图叫做因子图（Factor Graph）。

通俗来讲，所谓因子图就是对函数进行因子分解得到的 一种概率图 。一般内含两种节点：变量节点和函数节点。我们知道，一个全局函数通过因式分解能够分解为多个局部函数的乘积，这些局部函数和对应的变量关系就体现在因子图上。

举个例子，现在有一个全局函数，其因式分解方程为：

其中fA,fB,fC,fD,fE为各函数，表示变量之间的关系，可以是条件概率也可以是其他关系。其对应的因子图为：

在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是把贝叶斯网络或马尔科夫随机场转换成因子图，然后用sum-proct算法求解。换言之，基于因子图可以用 sum-proct 算法 高效的求各个变量的边缘分布。

详细的sum-proct算法过程，请查看博文： 从贝叶斯方法谈到贝叶斯网络

朴素贝叶斯(Naive Bayesian)是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。**朴素贝叶斯可以看做是贝叶斯网络的特殊情况：即该网络中无边，各个节点都是独立的。 **

朴素贝叶斯朴素在哪里呢？ —— 两个假设 ：

贝叶斯公式如下：

下面以一个例子来解释朴素贝叶斯，给定数据如下：

现在给我们的问题是，如果一对男女朋友，男生想女生求婚，男生的四个特点分别是不帅，性格不好，身高矮，不上进，请你判断一下女生是嫁还是不嫁？

这是一个典型的分类问题，转为数学问题就是比较p(嫁|(不帅、性格不好、身高矮、不上进))与p(不嫁|(不帅、性格不好、身高矮、不上进))的概率，谁的概率大，我就能给出嫁或者不嫁的答案！这里我们联系到朴素贝叶斯公式：

我们需要求p(嫁|(不帅、性格不好、身高矮、不上进),这是我们不知道的，但是通过朴素贝叶斯公式可以转化为好求的三个量，这三个变量都能通过统计的方法求得。

等等，为什么这个成立呢？学过概率论的同学可能有感觉了，这个等式成立的条件需要特征之间相互独立吧！对的！这也就是为什么朴素贝叶斯分类有朴素一词的来源，朴素贝叶斯算法是假设各个特征之间相互独立，那么这个等式就成立了！

但是为什么需要假设特征之间相互独立呢？

根据上面俩个原因，朴素贝叶斯法对条件概率分布做了条件独立性的假设，由于这是一个较强的假设，朴素贝叶斯也由此得名！这一假设使得朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

朴素贝叶斯优点 ：

朴素贝叶斯缺点 ：

理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。

朴素贝叶斯模型(Naive Bayesian Model)的 朴素(Naive)的含义是"很简单很天真" 地假设样本特征彼此独立. 这个假设现实中基本上不存在, 但特征相关性很小的实际情况还是很多的, 所以这个模型仍然能够工作得很好。

新闻分类 GitHub： 点击进入

【 机器学习通俗易懂系列文章 】

从贝叶斯方法谈到贝叶斯网络

❽ 机械编程还能自己检测出BUG，机械编程带来了哪些好处

首先，ControlFlag是完全自我监督的机器编程系统，不需要人类对其进行训练及指导。ControlFlag的无监督模式识别方法使它可以在本质上学习适应开发者的风格。在要评估的控制工具的有限输入信息中，ControlFlag可以识别编程语言中的各种样式，不受代码使用的编程语言限制。

第二，ControlFlag检测bug的功能集成了机器学习、形式化方法、编程语言、编译器和计算机系统。据悉，ControlFlag通过一个称为异常检测的功能来进行bug检测，通过学习经验证的例子来检测正常的编程模式，并找出代码中可能导致bug的异常。该工具将学会识别和标记这些风格选择，并根据其见解进行自动的错误识别和建议解决方案，以便ControlFlag能够尽可能地避免将两个开发团队之间的风格差异视为代码错误。

图：英特尔与麻省理工学院研究人员联合发表的愿景论文提出机器编程有三大支柱，分别是意图（intention）、创造（invention）、适应（adaptation）

如前所述，异构系统非常复杂，能够切实掌握异构系统编程技术的工程师少之又少，英特尔研究院机器编程研究正在开发某种机制，让程序员或非程序员不仅能够轻松访问异构硬件，还能充分使用其他系统可用资源，以大幅降低异构编程难度。这也是英特尔机器编程的基本驱动力之一。

❾ 贝叶斯网络的优缺点是什么怎么克服它的缺点

优点很多，网络之。
最大的缺点是不支持环型网络，还有个人认为对数据量要求高，算的很慢，除非网络已经知道。