貝葉斯網路的優點和不足有哪些

❶ 概率圖模型

概率圖模型是之前一直擱置的內容，然而躲得過初一躲不過十五，看葫蘆書時發現其中有整整一章關於概率圖，方才意識到概率圖模型的重要性，回過頭來重新補上這部分內容。

概率圖模型（Probabilistic Graphical Model,PGM），簡稱圖模型，是指一種用圖結構來描述多元隨機變數之間條件獨立關系的概率模型 。給研究高維空間中的概率模型帶來了很大的便捷性。

對於一個 維隨機向量 ，其聯合概率為高維空間中的分布，一般難以直接建模。假設每個變數為離散變數並有 個取值，在不作任何獨立假設條件下，則需要 個參數才能表示其概率分布（因為我們需要給出每一組可能的 的概率，共 種可能，由於概率和為1因此在此基礎上減1）。不難看出，參數數量是指數級的，這在實際應用中是不可接受的。

一種有效減少參數量的方法是 獨立性假設 。將 維隨機向量的聯合概率分解為 個條件概率的乘積：

其中 表示變數 的取值。如果某些變數之間存在條件獨立，其參數量就可以大幅減少。

假設有四個二值變數 ，在不知道這幾個變數依賴關系的情況下以用一個聯合概率表來記錄每一種取值的概率需要 個參數。假設在已知 時 和 獨立，即有：

同理：

在已知 和 時 也和 獨立，即有：

那麼其聯合概率 可以分解為：

是 個局部條件概率的乘積。如果分別用 個表格來記錄這 個條件概率的話，只需要 個獨立參數。

當概率模型中的變數數量比較多時，其條件依賴關系也比較復雜。我們可以使用圖結構的方式將概率模型可視化，以一種直觀、簡單的方式描述隨機變數之間的條件獨立性的性質，並可以將一個復雜的聯合概率模型分解為一些簡單條件概率模型的組合。下圖給出了上述例子中 個變數之間的條件獨立性的圖形化描述。

圖模型有三個基本問題 ：

很多機器學習模型都可以歸結為概率模型，即建模輸入和輸出之間的條件概率分布。因此，圖模型提供了一種新的角度來解釋機器學習模型，並且這種角度有很多優點，比如了解不同機器學習模型之間的聯系，方便設計新模型等。

圖由一組節點和節點之間的邊組成。在概率圖模型中，每個節點都表示一個隨機變或一組隨機變數，邊表示這些隨機變數之間的概率依賴關系 。

常見的概率圖模型可以分為兩類向圖模型和無向圖模型。有向圖模型的圖結構為有向非循環圖，如果兩個節點之間有連邊，表示對於的兩個變數為 因果關系 。無向圖模型使用無向圖來描述變數之間的關系。每條邊代表兩個變數之間有 概率依賴關系，但是並不一定是因果關系 。

有向圖模型，也稱貝葉斯網路（Bayesian Network）或信念網路（Belief Network），是指用有向圖來表示概率分布的圖模型。

貝葉斯網路 ： 對於一個隨機向量 和一個有 個節點的有向非循環圖 ， 中的每個節點都對應一個隨機變數，可以是可觀測的變數，隱變數或是未知參數。 中的每個連接 表示兩個隨機變數 和 之間具有非獨立的因果關系。 表示變數 的所有父節點變數集合，每個隨機變數的局部條件概率分布（local conditional probability distribution）為 。

若 的聯合概率分布可以分解為每個隨機變數 的局部條件概率的連乘形式，即：

那麼 構成了一個 貝葉斯網路 。

條件獨立性 ：在貝葉斯網路中，如果兩個節點是直接連接的，它們肯定是非條件獨立的直接因果關系。 父節點是「因」，子節點是「果」 。

如果兩個節點不是直接連接的，但是它們之間有一條經過其它節點的路徑來連接，那麼這兩個節點之間的條件獨立性就比較復雜，例如：

(a)(b)(c)(d)分別代表 間接因果關系、間接果因關系、共因關系、共果關系 。

局部馬爾可夫性質 ：對一個更一般的貝葉斯網路，其局部馬爾可夫性質為： 每個隨機變數在給定父節點的情況下，條件獨立於它的非後代節點 。

其中 為 的非後代變數。

一種簡單的參數化模型為Sigmoid信念網路。Sigmoid信念網路種變數取值為 ，對於變數 和它的父節點集合 ，條件概率分布表示為：

其中 是Logistic sigmoid函數， 是可學習的參數。假設變數 的父節點數量為 ，如果使用表格來記錄條件概率需要 個參數，如果使用參數化模型只需要 個參數。如果對不同的變數的條件概率都共享使用一個參數化模型，其參數數量又可以大幅減少。

值得一提的是Sigmoid信念網路與Logistic回歸模型都採用Logistic函數來計算條件概率。如果假設Sigmoid信念網路中只有一個葉子節點，其所有的父節點之間沒有連接，且取值為實數，那麼sigmoid信念網路的網路結構和Logistic回歸模型類似，如圖所示。

這兩個模型區別在於Logistic回歸模型中的 作為一種確定性的參數，而非變數。因此Logistic回歸模型只建模條件概率 ，是一種判別模型，而Sigmoid信念網路建模 ，是一種生成模型 。

樸素貝葉斯分類器是一類簡單的概率分類器，在強（樸素）獨立性假設的條件下運用貝葉斯公式來計算每個類別的後驗概率。

給定一個有 維特徵的樣本 和類別 ，類別的後驗概率為：

其中 是概率分布的參數。

樸素貝葉斯分類器中，假設在給定 的情況下 之間條件獨立，即 。下圖給出了樸素貝葉斯分類器的圖形表示。

條件概率分布 可以分解為：

其中 是 的先驗概率分布的參數， 是條件概率分布 的參數。若 為連續值， 可以用高斯分布建模。若 為離散值， 可以用多項分布建模。

雖然樸素貝葉斯分類器的條件獨立性假設太強，但是在實際應用中，樸素貝葉斯分類器在很多任務上也能得到很好的結果，並且模型簡單，可以有效防止過擬合 。

隱馬爾科夫模型是一種含有隱變數的馬爾可夫過程。下圖給出隱馬爾可夫模型的圖模型表示。

隱馬爾可夫模型的聯合概率可以分解為：

其中 為輸出概率， 為轉移概率， 分別表示兩類條件概率的參數。

無向圖模型，也稱為馬爾可夫隨機場或馬爾科夫網路，是一類用無向圖來描述一組具有局部馬爾可夫性質的隨機向量 的聯合概率分布的模型。

馬爾可夫隨機場 ：對於一個隨機向量 和一個有 個節點的無向圖 （可有循環）， 中節點 表示隨機變數 ， 。如果 滿足 局部馬爾可夫性質，即一個變數 在給定它的鄰居的情況下獨立於所有其它變數 ：

其中 為變數 的鄰居集合， 為除 外其它變數的集合，那麼 就構成了一個馬爾可夫隨機場。

無向圖的馬爾可夫性 ：無向圖中的馬爾可夫性可以表示為：

其中 表示除 和 外的其它變數。

上圖中由馬爾可夫性質可以得到： 和 。

團 ： 由於無向圖模型並不提供一個變數的拓撲順序，因此無法用鏈式法則對 進行逐一分解 。無向圖模型的聯合概率一般以全連通子圖為單位進行分解。無向圖中的一個全連通子圖，稱為團（Clique），即團內的所有節點之間都連邊。在所有團中，如果一個團不能被其它的團包含，這個團就是一個 最大團（Maximal Clique） 。

因子分解 ：無向圖中的的聯合概率可以分解為一系列定義在最大團上的非負函數的乘積形式。

Hammersley ­Clifford定理 ：如果一個分布 滿足無向圖 中的局部馬爾可夫性質，當且僅當 可以表示為一系列定義在最大團上的非負函數的乘積，即：

上式也稱為 吉布斯分布 。其中 為 中的最大團集合， 是定義在團 上的 勢能函數 ， 是配分函數（Partition Function），用來將乘積歸一化為概率形式。

其中 為隨機向量 的取值空間。

無向圖模型與有向圖模型的一個重要區別是有配分函數 。配分函數的計算復雜度是指數級的，因此在推斷和參數學習時都需要重點考慮。

由於勢能函數必須為正的，因此我們一般定義為：

其中 為 能量函數 。這里的負號是遵從物理上的習慣，即能量越低意味著概率越高。

因此無向圖上定義的概率分布可以表示為：

這種形式的分布又稱為 玻爾茲曼分布（Boltzmann Distribution） 。任何一個無向圖模型都可以用上式來表示其聯合概率。

勢能函數一般定義為：

其中函數 為定義在 上的特徵向量， 為權重向量。這樣聯合概率 的對數形式為：

其中 代表所有勢能函數中的參數 。這種形式的無向圖模型也稱為 對數線性模型或最大熵模型 。

如果用對數線性模型來建模條件概率 ，有：

其中 。這種對數線性模型也稱為 條件最大熵模型或softmax回歸模型 。

條件隨機場是一種直接建模條件概率的無向圖模型 。

和條件最大熵模型不同，條件隨機場建模的條件概率 中， 一般為隨機向量，因此需要對 進行因子分解。設條件隨機場的最大團集合為 ，條件概率為：

其中 為歸一化項。

一個最常用的條件隨機場為圖(b)中所示的鏈式結構，其條件概率為：

其中 為狀態特徵，一般和位置 相關， 為轉移特徵，一般可以簡化為 並使用狀態轉移矩陣來表示。

無向圖模型可以表示有向圖模型無法表示的一些依賴關系，比如循環依賴；但它不能表示有向圖模型能夠表示的某些關系，比如因果關系。

以圖(a)中的有向圖為例，其聯合概率分布可以分解為：

其中 和四個變數都相關。如果要轉換為無向圖， 需要將這四個變數都歸屬於一個團中。因此需要將 的三個父節點之間都加上連邊，如圖(b)所示。這個過程稱為 道德化（Moralization） 。轉換後的無向圖稱為 道德圖（Moral Graph） 。

在道德化的過程中來有向圖的一些獨立性會丟失 ，比如上面 在道德圖中不再成立。

在圖模型中，推斷（Inference）是指在觀測到部分變數 時，計算其它變數的某個子集 的後驗概率 。

假設一個圖模型中，除了變數 外，其餘變數表示為 。根據貝葉斯公式有：

因此， 圖模型的推斷問題可以轉換為求任意一個變數子集的邊際概率分布問題 。

在圖模型中用的推斷方法可以分為 精確推斷 和 近似推斷 兩類。

以上圖為例，假設推斷問題為計算後驗概率 ，需要計算兩個邊際概率 和 。

根據條件獨立性假設，有：

假設每個變數取 個值，計算上面的邊際分布需要 次加法以及 次乘法。

根據乘法的分配律，邊際概率 可以寫為：

這樣計算量可以減少到 次加法和 次乘法。

這種方法是利用 動態規劃 的思想，每次消除一個變數，來減少計算邊際分布的計算復雜度，稱為 變數消除法 。

信念傳播（Belief Propagation,BP）演算法，也稱為和積（Sum-Proct）演算法或消息傳遞（Message Passing）演算法，是將變數消除法中的和積（Sum-Proct）操作看作是消息，並保存起來，這樣可以節省大量的計算資源。

以上圖所示的無向馬爾可夫鏈為例，其聯合概率 為：

其中 是定義在團 的勢能函數。

第 個變數的邊際概率 為：

假設每個變數取 個值，不考慮歸一化項，計算上述邊際分布需要 次加法以及 次乘法。

根據乘法的分配律際概率 可以通過下面方式進行計算：

其中 定義為變數 向變數 傳遞的消息， 是關於變數 的函數，可以遞歸計算：

為變數 向變數 傳遞的消息，定義為：

邊際概率 的計算復雜度減少為 。如果要計算整個序列上所有變數的邊際概率，不需要將消息傳遞的過程重復 次，因為其中每兩個相鄰節點上的消息是相同的。

信念傳播演算法也可以推廣到具有樹結構的圖模型上。如果一個有向圖滿足任意兩個變數只有一條路徑（忽略方向），且只有一個沒有父節點的節點，那麼這個有向圖為樹結構，其中唯一沒有父節點的節點稱為根節點。如果一個無向圖滿足任意兩個變數只有一條路徑，那麼這個無向圖也為樹結構。在樹結構的無向圖中任意一個節點都可以作為根

❷ 什麼手段可以有效應對較大范圍的安全事件的不良影響保證關鍵服務和數據的可用

網路安全評估方法按照其原理來說可以分為以下三大類：

• 基於數學模型的方法

基於數學模型的方法最早被用於態勢評估。該評估方法根據影響網路態勢的不同因素，構造評價函數，然後通過評價函數將多個態勢因子聚集得到態勢結果。基於數學模型的方法通過借鑒傳統通用的多目標決策理論的一些方法來解決態勢評估的問題，其優點就是可以形象直觀的反映網路安全態勢情況，比如傳統的權重分析法，集對分析方法都屬於該模型的范疇。但是針對該方法也存在著許多的不足，比如說數學模型中核心評價函數的構造、參數的選擇等沒有統一的評價標准和衡量體系，往往藉助該領域專家的知識和經驗來進行評估，因此不可避免的帶有專家的主觀意見。

• 基於知識推理的方法

基於知識推理的方法主要用來處理一些數學模型難以處理的情況。知識推理方法能夠模擬人類的思維方式，相對於傳統的數學模型而言，評價過程具有一定的智能性，在一定程度上避免了人的主觀因素對態勢評估客觀性的影響。知識推理方法一方面藉助模糊集、概率論、D-S 證據理論等處理不確定性信息；另一方面通過推理匯聚多源多屬性信息。在知識推理方面研究的熱點有基於故障圖模型的安全態勢評估方法、基於攻擊樹的安全態勢評估方法、基於特權圖的安全態勢評估方法、基於攻擊圖模型的安全態勢評估方法、基於貝葉斯網路的安全態勢評估方法、基於層次化的安全態勢評估方法等。

• 基於模式識別的方法

隨著機器學習技術的發展，模式識別方法被引入到網路安全態勢評估的研究中。該方法借鑒數據挖掘演算法的理念，主要依靠從訓練樣本或者歷史數據中挖掘態勢模式來進行態勢評估。該方法具有強大的學習能力，其過程主要分為建立模式和模式匹配兩個階段。在網路安全態勢評估中使用該方法的代表性工作包括：支持向量機的方法、基於神經網路、灰關聯度、粗集理論和基於隱馬爾科夫模型的態勢評估方法。

❸ 概率圖模型01 簡介

最近開始看《模式識別與機器學習》的時候，遇到了一些障礙，所以開始學習概率圖模型，為了更好的充電以及激勵自己，開始寫這個博客也主要是想開始正統的學習一下，裡面主要跟的是eric xing的概率圖模型的課程，希望自己可以堅持翻譯完裡面的課堂筆記，以及完成作業。：）

在這節課當中，我們主要介紹了貝葉斯網路的概念，以及貝葉斯網路如何能夠表現出隨機變數之間的內在獨立關系。我們同時還討論了貝葉斯網路當中的不同的結構，並且它們如何編碼不同的隨即變數獨立信息。最後，我們通過穩固性以及完備性，來分析貝葉斯網路與概率模型的等價關系。

該課程中使用的概念如下

概率圖模型主要用來做什麼?我們可以看這么一個式子：

P(X_1,X_2,...X_n)\qquad\qquad(1)
上面的是一個聯合分布概率，一般情況下，我們暫時假設他們都是離散類型的變數（當然也可以是連續的）假如我們要精確的表達出上面的分布，一般情況下可以這么來做，上面的n個變數，我們假設每個變數有兩個值在這樣的情況下，當我們需要去表達一個具體的概率的時候，我們至少需要 2^n 來表達上面的聯合分布概率但是，假如，僅僅是假如，變數之間有一定的關系呢？比如 X_1 與 X_2 是互相獨立的，那麼我們可以稍微省略一點東西在裡面極端情況下，所有的變數都獨立，
P(X_1,X_2,...X_n)=P(X_1)P(X_2)P(X_3)...P(X_n)\qquad\qquad(3)
那麼我們的復雜度瞬間總原來的 2^n 下降到了 2n ，但是顯然大部分情況下實際應用當中，沒有這么好的事情存在，這樣的模型大大的降低了復雜程度，但是在另外一個方面，表達能力大大的降低了。我們來看看另外一個極端的例子：

P(X_1,X_2,...X_n)=P(X_1)P(X_2|X_1)P(X_3|X1,X_2)...P(X_n|X_1,X_2,...X_n-1)\qquad\qquad(2)

上面的這個式子，每一個都是之前的變數都是前面的條件概率，這樣的式子，可以表達任何條件獨立的情況，假如我們想用(2)來表達(3)，那麼也很簡單，因為(2)當中如果真正條件獨立，必然存在這樣的情況 P(X_2|X_1)=P(X_2) 自然就的到了(3),但是這樣的情況，又會讓式子變得及其復雜，我們的復雜度又回到了原來的情況。一般的式子都是介於這兩種極端情況之間，也就是說，裡面部分變數互相獨立，部分變數有關系。也有變數條件獨立。

主要有三個優點

假設這么一個場景，你去賭場裡面賭博，當然你的目的主要為了贏錢，每個人都要下注$1，來擲一次色子，誰最大的可以贏得$2。現在想像一下，你玩了很久，然後發現這么一個情況，賭場方面在擲色子的時候，出現6的情況總是很高，高的不同尋常，你覺得色子有問題，或者說，你覺得，在你擲色子的時候，這個色子是一個正常的色子，當賭場方面擲色子的時候這個色子被偷偷換成了作弊的色子。在這樣的情況下，你會問三個問題

為了解決上面的問題，我們至少需要三個步驟來進行建模：選擇模型的變數，選擇模型的結構，選擇相關的概率，我們來對此做一個例子：

貝葉斯網路是一種有向的不閉環的網路，（首先是有向，學過圖的人應該知道有向圖，然後是不閉環，就是說我們找不到一條路徑，可以讓一個點作為起點，也作為終點。），貝葉斯網路主要用來編碼概率分布裡面的條件依賴與獨立。（後面會詳細的說一下什麼是條件獨立，條件不獨立，也就是依賴）。其中，節點主要代表隨機變數，箭頭代表的是兩個隨機變數之間的依賴關系。

因子化主要是根據「節點是被它們的父節點所影響」這個理念，來提供一種最直接的，普遍的聯合分布概率表達方式。直觀的來說，因子化提供的是一種貝葉斯網路版本的聯合分布表達方式。也就是說，我們首先有一個聯合分布，我們也它的圖，那麼我們可以根據圖來直接進行因子化，我們只需要如下這么寫就好了：
P(X_1,X_2,...X_n) = \prod_{i=1:n}P(X_i|Parents(X_i))

下面我們主要介紹三種局部化結構，並且它們的獨立性。這樣的局部結構組成了貝葉斯網路。（其實可以這么想，一個不閉環的圖只能有這三種局部結構）。我們可以通過這三種結構來進行合適的表示，表示出所有的貝葉斯網路，具體詳細見圖2

我們現在考慮這么一個問題：給定分布P，我們如何構建一個圖，使得這個圖可以表示這個分布P所有的獨立性？反之亦然。直觀的來說，我們假設現在有一個圖G，如果圖G中所有的獨立性聲明，同時在P當中也是滿足的，那麼我們可以斷言，圖G是分布P的一個I-map。因此，G要成為P的一個I-map那就要求，我們觀察到的獨立性，在P中必須存在。但是，反過來說，當G是分布P的一個I-map的時候，分布P可能包含G裡面不存在的獨立性。

公式化的角度來定義的話，假設P是X上的一個分布。我們定義I(P)是在P當中各種獨立性的聲明的集合比如( X\perp Y|Z )，假設我們有一個圖K，我們現在從圖K中也得出了一個獨立性集合I（K）,並且I（K）屬於I（P），那麼我們就可以說，K是P的一個I-map 。

上面的一些圖G反應的是局部馬爾可夫性質以及全局馬爾可夫獨立性。具體的來說，我們首先來看看局部馬爾可夫性，局部馬爾可夫性說的是，當我們觀察到一個節點的所有父母節點之後，那麼該節點與其他飛後繼節點（也就是起點是X終點指向的節點）獨立。公式化的方式來說，我們定義 P_{aX_i} 為在G中 X_i 的父節點定義 NonDescendants X_i 為除了X子節點之外的所有節點。那麼，存在如下性質的獨立性： X_i\perp NonDescendants X_i|P_{aX_i}:\forall i

全局馬爾可夫性質和D-分離的概念有關，

❹ 貝葉斯網路的優缺點是什麼怎麼克服它的缺點

在日常生活中，人們往往進行常識推理，而這種推理通常是不準確的。例如，你看見一個頭發潮濕的人走進來，你可能會認為外面下雨了，那你也許錯了；如果你在公園里看到一男一女帶著一個小孩，你可能會認為他們是一家人，你可能也犯了錯誤。在工程中，我們也同樣需要進行科學合理的推理。但是，工程實際中的問題一般都比較復雜，而且存在著許多不確定性因素。這就給准確推理帶來了很大的困難。很早以前，不確定性推理就是人工智慧的一個重要研究領域。盡管許多人工智慧領域的研究人員引入其它非概率原理，但是他們也認為在常識推理的基礎上構建和使用概率方法也是可能的。為了提高推理的准確性，人們引入了概率理論。最早由Judea Pearl於1988年提出的貝葉斯網路實質(Bayesian Network)上就是一種基於概率的不確定性推理網路。它是用來表示變數集合連接概率的圖形模型，提供了一種表示因果信息的方法。當時主要用於處理人工智慧中的不確定性信息。隨後它逐步成為了處理不確定性信息技術的主流，並且在計算機智能科學、工業控制、醫療診斷等領域的許多智能化系統中得到了重要的應用。

貝葉斯理論是處理不確定性信息的重要工具。作為一種基於概率的不確定性推理方法，貝葉斯網路在處理不確定信息的智能化系統中已得到了重要的應用，已成功地用於醫療診斷、統計決策、專家系統等領域。這些成功的應用，充分體現了貝葉斯網路技術是一種強有力的不確定性推理方法。

有關貝葉斯網路的站點：
1、http://www.cs.berkeley.e/~murphyk/Bayes/bayes.html
2、http://www.bayesian.org/
3、http://www.bayes.com/
4、http://www.bayesinf.com/
5、http://xxx.lanl.gov/archive/bayes-an/

❺ 計算機學習的分類

分類；數據挖掘 分類是數據挖掘的重要任務之一，分類在實際應用中有廣泛的應用，如醫療事業、信用等級等。近年來，分類方法得到了發展，本文對這些方法進行了歸納分析，總結了今後分類方法發展的方向。 1引言 分類是學會一個分類函數或分類模型，該模型能把資料庫中的數據項映射到給定類別中的某一個。分類可用於提取描述重要數據類的模型或預測未來的數據趨勢。分類可描述如下：輸入數據，或稱訓練集是一條條記錄組成的。每一條記錄包含若干條屬性，組成一個特徵向量。訓練集的每條記錄還有一個特定的類標簽與之對應。該類標簽是系統的輸入，通常是以往的一些經驗數據。一個具體樣本的形式可為樣本向量：。在這里vi表示欄位值，c表示類別。 分類作為數據挖掘的一個重要分支，在商業、醫學、軍事、體育等領域都有廣泛的應用，在過去的十多年中引起很多來自不同領域學者的關注和研究。除了基本的統計分析方法外，數據挖掘技術主要有：神經網路、決策樹、粗糙集、模糊集、貝葉斯網路、遺傳演算法、k近鄰分類演算法與支持向量機等。 不同的分類器有不同的特點，目前有三種分類器評價或比較尺度：1)預測准確度。預測准確度是用得最多的一種比較尺度，特別是對於預測型分類任務，目前公認的方法是10折分層交叉驗證法；2)計算復雜度。計算復雜度依賴於具體的實現細節和硬體環境，空間和時間的復雜度問題將是非常重要的一個環節；3)模型描述的簡潔度。模型描述越簡潔越受歡迎，如採用規則表示的分類器結果就較容易理解，而神經網路方法產生的結果就難以理解。不同的演算法有不同的特點，充分認識各演算法的優點和存在的缺陷，掌握其適應的環境，方便研究者明確演算法的改進和研究，本文主要對演算法的研究現狀進行分析和比較。2分類方法的發展 2.1決策樹的分類方法 ID3演算法是較早的決策樹歸納演算法。當前最有影響的決策樹演算法是Quinlan於1986年提出的ID3和1993年提出的C4.5。ID3選擇增益值最大的屬性劃分訓練樣本，其目的是進行分裂時系統的熵最小，從而提高演算法的運算速度和精確度。這種方法的優點是描述簡單、分類速度快和產生的分類規則易於理解；但缺點是抗噪性差、訓練正例和反例較難控制以及是非遞增學習演算法。C4.5是ID3的改進演算法，不僅可以處理離散值屬性，還能處理連續值屬性，但是也不能進行增量學習。 SLIQ是一個能夠處理連續及離散屬性的決策樹分類器。該演算法針對C4.5分類演算法產生的樣本反復掃描和排序低效問題，採用了預排序和寬度優先兩項技術。預排序技術消除了結點數據集排序，寬度優先為決策樹中每個葉結點找到了最優分裂標准。這些技術結合使SLIQ能夠處理大規模的數據集，並能對具有大量的類、屬性與樣本的數據集分類；並且該演算法代價不高且生成緊湊精確的樹。缺點是內存駐留數據會隨著輸入紀錄數線性正比增大，限制了分類訓練的數據量。 SPRINT方法完全不受內存的限制，並且處理速度很快，且可擴展。為了減少駐留於內存的數據量，該演算法進一步改進了決策樹演算法的數據結構，去掉了SLIQ中需要駐留於內存的類別列表，將類別合並到每個屬性列表中。但是對非分裂屬性的屬性列表進行分裂卻比較困難，因此該演算法的可擴展性較差。 2.2貝葉斯分類方法 貝葉斯分類是統計學分類方法，是利用Bayes定理來預測一個未知類別的樣本可能屬性，選擇其可能性最大的類別作為樣本的類別。樸素貝葉斯網路作為一種快速而高效的演算法而受到人們的關注，但是其屬性獨立性並不符合現實世界，這樣的假設降低了樸素貝葉斯網路的性能；但是如果考慮所有屬性之間的依賴關系，使其表示依賴關系的能力增強，允許屬性之間可以形成任意的有向圖，由於其結構的任意性，這樣使得貝葉斯網路的結構難以學習，然而，貝葉斯網路的學習是一個NP-Complete問題。 目前對於貝葉斯網路的改進主要包括了：1)基於屬性選擇的方法，保證選擇的屬性之間具有最大的屬性獨立性，其中代表演算法是由Langley提出SBC；2)擴展樸素貝葉斯網路的結構，考慮屬性之間的依賴關系，降低屬性獨立性假設，其中代表演算法是由Friedman提出樹擴展的貝葉斯網路TAN；3)基於實例的學習演算法。 其中1)、2)的演算法是根據訓練集合構造一個分類器，是一種積極的學習演算法，3)的方法是一種消極的學習演算法。 2.3粗糙集分類方法 粗糙集理論是一種刻劃不完整和不確定性數據的數學工具，不需要先驗知識，能有效處理各種不完備，從中發現隱含的知識，並和各種分類技術相結合建立起能夠對不完備數據進行分類的演算法。粗糙集理論包含求取數據中最小不變集和最小規則集的理論，即約簡演算法，這也是粗糙集理論在分類中的主要應用。 2.4神經網路 神經網路是分類技術中重要方法之一，是大量的簡單神經元按一定規則連接構成的網路系統。它能夠模擬人類大腦的結構和功能，採用某種學習演算法從訓練樣本中學習，並將獲取的知識存儲在網路各單元之間的連接權中。神經網路主要有前向神經網路、後向神經網路和自組織網路。目前神經網路分類演算法研究較多集中在以BP為代表的神經網路上。文獻提出了粒子群優化演算法用於神經網路訓練，在訓練權值同時刪除冗餘連接，與BP結果比較表明演算法的有效性。文獻提出旋轉曲面變換粒子群優化演算法的神經網路，使待優化函數跳出局部極值點，提高訓練權值的效率。 2.5K近鄰分類演算法 K近鄰分類演算法是最簡單有效的分類方法之一，是在多維空間中找到與未知樣本最近鄰的K個點，並根據這K個點的類別判斷未知樣本的類別。但是有兩個最大缺點：1)由於要存儲所有的訓練數據，所以對大規模數據集進行分類是低效的；2)分類的效果在很大程度上依賴於K值選擇的好壞。文獻提出一種有效的K近鄰分類演算法，利用向量方差和小波逼近系數得出兩個不等式，根據這兩個不等式，分類效率得到了提高。文獻提出用粒子群優化演算法對訓練樣本進行有指導的全局隨機搜索，掠過大量不可能的K向量，該演算法比KNN方法計算時間降低了70%。 2.6基於關聯規則挖掘的分類方法 關聯分類方法一般由兩部組成：第一步用關聯規則挖掘演算法從訓練數據集中挖掘出所有滿足指定支持度和置信度的類關聯規則，支持度用於衡量關聯規則在整個數據集中的統計重要性，而置信度用於衡量關聯規則的可信程度；第二步使用啟發式方法從挖掘出的類關聯規則中挑選出一組高質量的規則用於分類。 Agrawal等人於1993年提出了演算法AIS和SETM，1994年又提出了Apriori和AprioriTid，後兩個演算法和前兩個演算法的不同之處在於：在對資料庫的一次遍歷中，那些候選數據項目被計數以及產生候選數據項目集的方法。但前兩者方法的缺點是會導致許多不必要的數據項目集的生成和計數。由於目前日常生活中如附加郵遞、目錄設計、追加銷售、倉儲規劃都用到了關聯規則，因此首先要考慮關聯規則的高效更新問題，D.w.cheung提出了增量式更新演算法FUP，它的基本框架和Apriori是一致的；接著馮玉才等提出了兩種高效的增量式更新演算法IUA和PIUA，主要考慮當最小支持度和最小可信度發生變化時，當前交易資料庫中關聯規則的更新問題。 2.7支持向量機方法的發展 支持向量機方法是建立在統計學習理論的VC維理論和結構風險最小原理基礎之上的。根據有限樣本、在模型的復雜性和學習能力之間尋求折衷，以期獲得最好推廣能力。它非常適合於處理非線性問題。分類問題是支持向量機最為成熟和應用最廣的演算法。但是由於SVM的訓練時間會隨著數據集的增大而增加，所以在處理大規模數據集時，SVM往往需要較長的訓練時間。 文獻提出了一種多分類問題的改進支持向量機，將GA和SVM相結合，構造了一種參數優化GA-SVM，該方法在多分類非平衡問題上，提高了分類正確率，也提高了學習時間。文獻提出了一種新的支持向量機增量演算法，提出了一種誤分點回溯增量演算法，先找出新增樣本中誤分的樣本，然後在原樣本集尋找距誤分點最近的樣本作為訓練集的一部分，重新構建分類器，有效保留樣本的分類，結果表明比傳統的SVM有更高的分類精度。 2.8基於群的分類方法 這種方法可以看作是進化演算法的一個新的分支，它模擬了生物界中蟻群、魚群和鳥群在覓食或者逃避敵人時的行為，對基於群的分類方法研究，可以將這種方法分為兩類：一類是蟻群演算法，另一類稱為微粒群演算法。 文獻提出了一種基於蟻群演算法的分類規則挖掘演算法，針對蟻群演算法計算時間長的缺點，提出了一種變異運算元，用公用數據作試驗將其結果與C4.5和Ant-Miner比較，顯示變異運算元節省了計算時間。 PSO是進化計算的一個新的分支，它模擬了鳥群或魚群的行為。在優化領域中，PSO可以與遺傳演算法相媲美。文獻提出了基於粒子群優化演算法的模式分類規則獲取，演算法用於Iris數據集進行分類規則的提取，與其他演算法比較顯示不僅提高了正確率，而且較少了計算時間。文獻將PSO運用於分類規則提取，對PSO進行了改進，改進的演算法與C4.5演算法比較，試驗結果表明，在預測精度和運行速度上都占優勢。 由於PSO演算法用於分類問題還處於初期，因此要將其運用到大規模的應用中還要大量的研究。3總結 分類是數據挖掘的主要研究內容之一，本文對分類演算法進行了分析，從而便於對已有演算法進行改進。未來的數據分類方法研究更多地集中在智能群分類領域，如蟻群演算法、遺傳演算法、微粒群演算法等分類研究上以及混合演算法來進行分類。總之，分類方法將朝著更高級、更多樣化和更加綜合化的方向發展。參考文獻： 邵峰晶，於忠清．數據挖掘原理與演算法．中國水利水電出版社，2003. 陳文偉，黃金才．數據倉庫與數據挖掘．人民郵電出版社，2004. L.Jiang，H.Zhang，Z.CaiandJ.Su，EvolutionalNaiveBayes，tsApplication，ISICA2005，pp.344-350，. Langley，P.，Sage，S，，，pp.339-406. Friedman，N.，Greiger，D.，Goldszmidt，M.，BayesianNetworkClassifiers，MachineLearning29103-130. T.Mitchell.MachineLearning.NewYork:McGraw-HillPress，1997. 曾黃麟．粗糙理論以及應用．重慶大學出版社，1996. 高海兵、高亮等．基於粒子群優化的神經網路訓練演算法研究．電子學報，2004，9. 熊勇，陳德釗，胡上序．基於旋轉曲面變換PSO演算法的神經網路用於胺類有機物毒性分類．分析化學研究報告，2006，3. 喬玉龍，潘正祥，孫聖和．一種改進的快速K近鄰分類演算法．電子學報，2005，6. 張國英，沙芸，江惠娜．基於粒子群優化的快速KNN分類演算法．山東大學學報，2006，6. 黃景濤，馬龍華，錢積新．一種用於多分類問題的改進支持向量機．浙江大學學報，2004，12. 毛建洋，黃道．一種新的支持向量機增量演算法．華東理工大學學報，2006，8. 吳正龍，王儒敬等．基於蟻群演算法的分類規則挖掘演算法．計算機工程與應用，2004. 高亮，高海兵等．基於粒子群優化演算法的模式分類規則獲取．華中科技大學學報．2004，11. 延麗萍，曾建潮．利用多群體PSO生成分類規則．計算機工程與科學，2007，2.

❻ 無人駕駛汽車的關鍵技術

總的來說，無人駕駛技術是感測器、計算機、人工智慧、通信、導航定位、模式識別、機器視覺、智能控制等多門前沿學科的綜合體。按照無人駕駛汽車的職能模塊，無人駕駛汽車的關鍵技術包括環境感知、導航定位、路徑規劃、決策控制等。

1.環境感知技術

環境感知模塊相當於無人駕駛汽車的眼和耳，無人駕駛汽車通過環境感知模塊來辨別自身周圍的環境信息，為其行為決策提供信息支持。環境感知包括無人駕駛汽車自身位姿感知和周圍環境感知兩部分。單一感測器只能對被測對象的某個方面或者某個特徵進行測量，無法滿足測量的需要。因而，必需採用多個感測器同時對某一個被測對象的一個或者幾個特徵量進行測量，將所測得的數據經過數據融合處理後，提取出可信度較高的有用信號。按照環境感知系統測量對象的不同，我們採用兩種方法進行檢測：

無人駕駛汽車自身位姿信息主要包括車輛自身的速度、加速度、傾角、位置等信息。這類信息測量方便，主要用驅動電機、電子羅盤、傾角感測器、陀螺儀等感測器進行測量。

無人駕駛汽車周圍環境感知以雷達等主動型測距感測器為主，被動型測距感測器為輔，採用信息融合的方法實現。因為激光、雷達、超聲波等主動型測距感測器相結合更能滿足復雜、惡劣條件下，執行任務的需要，最重要的是處理數據量小，實時性好。同時進行路徑規劃時可以直接利用激光返回的數據進行計算，無需知道障礙物的具體信息。

而視覺作為環境感知的一個重要手段，雖然目前在惡劣環境感知中存在一定問題，但是在目標識別、道路跟蹤、地圖創建等方面具有其他感測器所無法取代的重要性，而在野外環境中的植物分類、水域和泥濘檢測等方面，視覺也是必不可少的手段。

2.導航定位技術

無人駕駛汽車的導航模塊用於確定無人駕駛汽車其自身的地理位置，是無人駕駛汽車的路徑規劃和任務規劃的之支撐。導航可分為自主導航和網路導航兩種。

自主導航技術是指除了定位輔助之外，不需要外界其他的協助，即可獨立完成導航任務。自主導航技術在本地存儲地理空間數據，所有的計算在終端完成，在任何情況下均可實現定位，但是自主導航設備的計算資源有限，導致計算能力差，有時不能提供准確、實時的導航服務。現有自主導航技術可分為三類：

相對定位：主要依靠里程計、陀螺儀等內部本體感受感測器，通過測量無人車相對於初始位置的位移來確定無人車的當前位置。絕對定位：主要採用導航信標，主動或被動標識，地圖匹配或全球定位系統進行定位。

組合定位：綜合採用相對定位和絕對定位的方法，揚長避短，彌補單一定位方法的不足。組合定位方案一般有GPS+地圖匹配、6PS+航跡推算、GPS+航跡推算+地圖匹配、GPS+GLONASS+慣性導航+地圖匹配等。網路導航能隨時隨地通過無線通信網路、交通信息中心進行信息交互。移動設備通過移動通信網與直接連接於Internet的WebGIS伺服器相連，在伺服器執行地圖存儲和復雜計算等功能，用戶可以從伺服器端下載地圖數據。網路導航的優點在於不存在存儲容量的限制、計算能力強，能夠存儲任意精細地圖，而且地圖數據始終是最新的。

3.路徑規劃技術

路徑規劃是無人駕駛汽車信息感知和智能控制的橋梁，是實現自主駕駛的基礎。路徑規劃的任務就是在具有障礙物的環境內按照一定的評價標准，尋找一條從起始狀態包括位置和姿態到達目標狀態的無碰路徑。

路徑規劃技術可分為全局路徑規劃和局部路徑規劃兩種。全局路徑規劃是在已知地圖的情況下，利用已知局部信息如障礙物位置和道路邊界，確定可行和最優的路徑，它把優化和反饋機制很好的結合起來。局部路徑規劃是在全局路徑規劃生成的可行駛區域指導下，依據感測器感知到的局部環境信息來決策無人平台當前前方路段所要行駛的軌跡。全局路徑規劃針對周圍環境已知的情況，局部路徑規劃適用予環境未知的情況。

路徑規劃演算法包括可視圖法、柵格法、人工勢場法、概率路標法、隨機搜索樹演算法、粒子群演算法等。

4.決策控制技術

決策控制模塊相當於無人駕駛汽車的大腦，其主要功能是依據感知系統獲取的信息來進行決策判斷，進而對下一步的行為進行決策，然後對車輛進行控制。決策技術主要包括模糊推理、強化學習、神經網路和貝葉斯網路等技術。

決策控制系統的行為分為反應式、反射式和綜合式三種方案：反應式控制是一個反饋控制的過程，根據車輛當前位姿與期望路徑的偏差，不斷地調節 方向盤 轉角和車速.直到到達目的地。反射式控制是一種低級行為，用於對行進過程中的突發事件做出判斷，並迅速做出反應。

綜合式控制在反應層中加入機器學習模塊，將部分決策層的行為轉化成基於感測器的反應層行為，從而提高系統的反應速度。

❼ 貝葉斯網路，看完這篇我終於理解了(附代碼)！

概率圖模型是用圖來表示變數概率依賴關系的理論，結合概率論與圖論的知識，利用圖來表示與模型有關的變數的聯合概率分布。由圖靈獎獲得者Pearl開發出來。

如果用一個詞來形容概率圖模型（Probabilistic Graphical Model）的話，那就是「優雅」。對於一個實際問題，我們希望能夠挖掘隱含在數據中的知識。概率圖模型構建了這樣一幅圖，用觀測結點表示觀測到的數據，用隱含結點表示潛在的知識，用邊來描述知識與數據的相互關系， 最後基於這樣的關系圖獲得一個概率分布 ，非常「優雅」地解決了問題。

概率圖中的節點分為隱含節點和觀測節點，邊分為有向邊和無向邊。從概率論的角度，節點對應於隨機變數，邊對應於隨機變數的依賴或相關關系，其中 有向邊表示單向的依賴，無向邊表示相互依賴關系 。

概率圖模型分為 貝葉斯網路（Bayesian Network）和馬爾可夫網路（Markov Network） 兩大類。貝葉斯網路可以用一個有向圖結構表示，馬爾可夫網路可以表 示成一個無向圖的網路結構。更詳細地說，概率圖模型包括了樸素貝葉斯模型、最大熵模型、隱馬爾可夫模型、條件隨機場、主題模型等，在機器學習的諸多場景中都有著廣泛的應用。

長久以來，人們對一件事情發生或不發生的概率，只有固定的0和1，即要麼發生，要麼不發生，從來不會去考慮某件事情發生的概率有多大，不發生的概率又是多大。而且概率雖然未知，但最起碼是一個確定的值。比如如果問那時的人們一個問題：「有一個袋子，裡面裝著若干個白球和黑球，請問從袋子中取得白球的概率是多少？」他們會想都不用想，會立馬告訴你，取出白球的概率就是1/2，要麼取到白球，要麼取不到白球，即θ只能有一個值，而且不論你取了多少次，取得白球的 概率θ始終都是1/2 ，即不隨觀察結果X 的變化而變化。

這種 頻率派 的觀點長期統治著人們的觀念，直到後來一個名叫Thomas Bayes的人物出現。

托馬斯·貝葉斯Thomas Bayes（1702-1763）在世時，並不為當時的人們所熟知，很少發表論文或出版著作，與當時學術界的人溝通交流也很少，用現在的話來說，貝葉斯就是活生生一民間學術「屌絲」，可這個「屌絲」最終發表了一篇名為「An essay towards solving a problem in the doctrine of chances」，翻譯過來則是：機遇理論中一個問題的解。你可能覺得我要說：這篇論文的發表隨機產生轟動效應，從而奠定貝葉斯在學術史上的地位。

這篇論文可以用上面的例子來說明，「有一個袋子，裡面裝著若干個白球和黑球，請問從袋子中取得白球的概率θ是多少？」貝葉斯認為取得白球的概率是個不確定的值，因為其中含有機遇的成分。比如，一個朋友創業，你明明知道創業的結果就兩種，即要麼成功要麼失敗，但你依然會忍不住去估計他創業成功的幾率有多大？你如果對他為人比較了解，而且有方法、思路清晰、有毅力、且能團結周圍的人，你會不由自主的估計他創業成功的幾率可能在80%以上。這種不同於最開始的「非黑即白、非0即1」的思考方式，便是 貝葉斯式的思考方式。

先簡單總結下頻率派與貝葉斯派各自不同的思考方式：

貝葉斯派既然把看做是一個隨機變數，所以要計算的分布，便得事先知道的無條件分布，即在有樣本之前（或觀察到X之前），有著怎樣的分布呢？

比如往檯球桌上扔一個球，這個球落會落在何處呢？如果是不偏不倚的把球拋出去，那麼此球落在檯球桌上的任一位置都有著相同的機會，即球落在檯球桌上某一位置的概率服從均勻分布。這種在實驗之前定下的屬於基本前提性質的分布稱為 先驗分布，或著無條件分布 。

其中，先驗信息一般來源於經驗跟歷史資料。比如林丹跟某選手對決，解說一般會根據林丹歷次比賽的成績對此次比賽的勝負做個大致的判斷。再比如，某工廠每天都要對產品進行質檢，以評估產品的不合格率θ，經過一段時間後便會積累大量的歷史資料，這些歷史資料便是先驗知識，有了這些先驗知識，便在決定對一個產品是否需要每天質檢時便有了依據，如果以往的歷史資料顯示，某產品的不合格率只有0.01%，便可視為信得過產品或免檢產品，只每月抽檢一兩次，從而省去大量的人力物力。

而 後驗分布 π（θ|X）一般也認為是在給定樣本X的情況下的θ條件分布，而使π（θ|X）達到最大的值θMD稱為 最大後驗估計 ，類似於經典統計學中的 極大似然估計 。

綜合起來看，則好比是人類剛開始時對大自然只有少得可憐的先驗知識，但隨著不斷觀察、實驗獲得更多的樣本、結果，使得人們對自然界的規律摸得越來越透徹。所以，貝葉斯方法既符合人們日常生活的思考方式，也符合人們認識自然的規律，經過不斷的發展，最終占據統計學領域的半壁江山，與經典統計學分庭抗禮。

條件概率 （又稱後驗概率）就是事件A在另外一個事件B已經發生條件下的發生概率。條件概率表示為P(A|B)，讀作「在B條件下A的概率」。

比如上圖，在同一個樣本空間Ω中的事件或者子集A與B，如果隨機從Ω中選出的一個元素屬於B，那麼這個隨機選擇的元素還屬於A的概率就定義為在B的前提下A的條件概率：

聯合概率：

邊緣概率(先驗概率)：P(A)或者P(B)

貝葉斯網路(Bayesian network)，又稱信念網路(Belief Network)，或有向無環圖模型(directed acyclic graphical model)，是一種概率圖模型，於1985年由Judea Pearl首先提出。它是一種模擬人類推理過程中因果關系的不確定性處理模型，其網路拓樸結構是一個有向無環圖(DAG)。

貝葉斯網路的有向無環圖中的節點表示隨機變數

它們可以是可觀察到的變數，或隱變數、未知參數等。認為有因果關系（或非條件獨立）的變數或命題則用箭頭來連接。若兩個節點間以一個單箭頭連接在一起，表示其中一個節點是「因(parents)」，另一個是「果(children)」，兩節點就會產生一個條件概率值。

例如，假設節點E直接影響到節點H，即E→H，則用從E指向H的箭頭建立結點E到結點H的有向弧(E,H)，權值(即連接強度)用條件概率P(H|E)來表示，如下圖所示：

簡言之，把某個研究系統中涉及的隨機變數，根據是否條件獨立繪制在一個有向圖中，就形成了貝葉斯網路。其主要用來描述隨機變數之間的條件依賴，用圈表示隨機變數(random variables)，用箭頭表示條件依賴(conditional dependencies)。

此外，對於任意的隨機變數，其聯合概率可由各自的局部條件概率分布相乘而得出：

1. head-to-head

依上圖，所以有：P(a,b,c) = P(a) P(b) P(c|a,b)成立，即在c未知的條件下，a、b被阻斷(blocked)，是獨立的，稱之為head-to-head條件獨立。

2. tail-to-tail

考慮c未知，跟c已知這兩種情況：

3. head-to-tail

還是分c未知跟c已知這兩種情況：

wikipedia上是這樣定義因子圖的：將一個具有多變數的全局函數因子分解，得到幾個局部函數的乘積，以此為基礎得到的一個雙向圖叫做因子圖（Factor Graph）。

通俗來講，所謂因子圖就是對函數進行因子分解得到的 一種概率圖 。一般內含兩種節點：變數節點和函數節點。我們知道，一個全局函數通過因式分解能夠分解為多個局部函數的乘積，這些局部函數和對應的變數關系就體現在因子圖上。

舉個例子，現在有一個全局函數，其因式分解方程為：

其中fA,fB,fC,fD,fE為各函數，表示變數之間的關系，可以是條件概率也可以是其他關系。其對應的因子圖為：

在概率圖中，求某個變數的邊緣分布是常見的問題。這問題有很多求解方法，其中之一就是把貝葉斯網路或馬爾科夫隨機場轉換成因子圖，然後用sum-proct演算法求解。換言之，基於因子圖可以用 sum-proct 演算法 高效的求各個變數的邊緣分布。

詳細的sum-proct演算法過程，請查看博文： 從貝葉斯方法談到貝葉斯網路

樸素貝葉斯(Naive Bayesian)是經典的機器學習演算法之一，也是為數不多的基於概率論的分類演算法。樸素貝葉斯原理簡單，也很容易實現，多用於文本分類，比如垃圾郵件過濾。**樸素貝葉斯可以看做是貝葉斯網路的特殊情況：即該網路中無邊，各個節點都是獨立的。 **

樸素貝葉斯樸素在哪裡呢？ —— 兩個假設 ：

貝葉斯公式如下：

下面以一個例子來解釋樸素貝葉斯，給定數據如下：

現在給我們的問題是，如果一對男女朋友，男生想女生求婚，男生的四個特點分別是不帥，性格不好，身高矮，不上進，請你判斷一下女生是嫁還是不嫁？

這是一個典型的分類問題，轉為數學問題就是比較p(嫁|(不帥、性格不好、身高矮、不上進))與p(不嫁|(不帥、性格不好、身高矮、不上進))的概率，誰的概率大，我就能給出嫁或者不嫁的答案！這里我們聯繫到樸素貝葉斯公式：

我們需要求p(嫁|(不帥、性格不好、身高矮、不上進),這是我們不知道的，但是通過樸素貝葉斯公式可以轉化為好求的三個量，這三個變數都能通過統計的方法求得。

等等，為什麼這個成立呢？學過概率論的同學可能有感覺了，這個等式成立的條件需要特徵之間相互獨立吧！對的！這也就是為什麼樸素貝葉斯分類有樸素一詞的來源，樸素貝葉斯演算法是假設各個特徵之間相互獨立，那麼這個等式就成立了！

但是為什麼需要假設特徵之間相互獨立呢？

根據上面倆個原因，樸素貝葉斯法對條件概率分布做了條件獨立性的假設，由於這是一個較強的假設，樸素貝葉斯也由此得名！這一假設使得樸素貝葉斯法變得簡單，但有時會犧牲一定的分類准確率。

樸素貝葉斯優點 ：

樸素貝葉斯缺點 ：

理論上，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為樸素貝葉斯模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，在屬性個數比較多或者屬性之間相關性較大時，分類效果不好。

樸素貝葉斯模型(Naive Bayesian Model)的 樸素(Naive)的含義是"很簡單很天真" 地假設樣本特徵彼此獨立. 這個假設現實中基本上不存在, 但特徵相關性很小的實際情況還是很多的, 所以這個模型仍然能夠工作得很好。

新聞分類 GitHub： 點擊進入

【 機器學習通俗易懂系列文章 】

從貝葉斯方法談到貝葉斯網路

❽ 機械編程還能自己檢測出BUG，機械編程帶來了哪些好處

首先，ControlFlag是完全自我監督的機器編程系統，不需要人類對其進行訓練及指導。ControlFlag的無監督模式識別方法使它可以在本質上學習適應開發者的風格。在要評估的控制工具的有限輸入信息中，ControlFlag可以識別編程語言中的各種樣式，不受代碼使用的編程語言限制。

第二，ControlFlag檢測bug的功能集成了機器學習、形式化方法、編程語言、編譯器和計算機系統。據悉，ControlFlag通過一個稱為異常檢測的功能來進行bug檢測，通過學習經驗證的例子來檢測正常的編程模式，並找出代碼中可能導致bug的異常。該工具將學會識別和標記這些風格選擇，並根據其見解進行自動的錯誤識別和建議解決方案，以便ControlFlag能夠盡可能地避免將兩個開發團隊之間的風格差異視為代碼錯誤。

圖：英特爾與麻省理工學院研究人員聯合發表的願景論文提出機器編程有三大支柱，分別是意圖（intention）、創造（invention）、適應（adaptation）

如前所述，異構系統非常復雜，能夠切實掌握異構系統編程技術的工程師少之又少，英特爾研究院機器編程研究正在開發某種機制，讓程序員或非程序員不僅能夠輕松訪問異構硬體，還能充分使用其他系統可用資源，以大幅降低異構編程難度。這也是英特爾機器編程的基本驅動力之一。

❾ 貝葉斯網路的優缺點是什麼怎麼克服它的缺點

優點很多，網路之。
最大的缺點是不支持環型網路，還有個人認為對數據量要求高，算的很慢，除非網路已經知道。