訂閱
糾錯(cuò)
加入自媒體

人工智能之樸素貝葉斯(NB)

前沿:學(xué)習(xí)過概率的人一定知道貝葉斯定理,在信息領(lǐng)域內(nèi)有著無與倫比的地位。貝葉斯算法是基于貝葉斯定理的一類算法,主要用來解決分類和回歸問題。

人工智能之機(jī)器學(xué)習(xí)中最為廣泛的兩種分類模型是1)決策樹模型(Decision Tree Model)和2) 樸素貝葉斯模型(Naive Bayesian Model)。決策樹DT已經(jīng)講過,請(qǐng)參見之前有關(guān)文章。

今天我們重點(diǎn)探討一下樸素貝葉斯NB,注意這里NB不是牛X, 而是Naive Bayesian。 ^_^

人工智能之樸素貝葉斯(NB)

樸素貝葉斯是經(jīng)典的機(jī)器學(xué)習(xí)算法之一,也是為數(shù)不多的基于概率論的分類算法。樸素貝葉斯原理簡(jiǎn)單,也很容易實(shí)現(xiàn),多用于文本分類、垃圾郵件過濾、情感分析等。

英國(guó)數(shù)學(xué)家托馬斯·貝葉斯(Thomas Bayes)在1763年發(fā)表的一篇論文中,首先提出了貝葉斯定理。

人工智能之樸素貝葉斯(NB)

貝葉斯定理的應(yīng)用需要大量的計(jì)算,因此歷史上很長(zhǎng)一段時(shí)間,無法得到廣泛應(yīng)用。只有計(jì)算機(jī)誕生以后,它才獲得真正的重視。人們發(fā)現(xiàn),許多統(tǒng)計(jì)量是無法事先進(jìn)行客觀判斷的,而互聯(lián)網(wǎng)時(shí)代出現(xiàn)的大型數(shù)據(jù)集,再加上高速運(yùn)算能力,為驗(yàn)證這些統(tǒng)計(jì)量提供了方便,也為應(yīng)用貝葉斯定理創(chuàng)造了條件,它的威力正在日益顯現(xiàn)。

概念和定義:

樸素貝葉斯法是基于貝葉斯定理特征條件獨(dú)立假設(shè)的分類方法。樸素貝葉斯分類器NBC (NaiveBayes Classifier)發(fā)源于古典數(shù)學(xué)理論,有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ),以及穩(wěn)定的分類效率。樸素貝葉斯分類器(NBC)模型所需估計(jì)的參數(shù)很少,對(duì)缺失數(shù)據(jù)不太敏感,算法也比較簡(jiǎn)單。理論上,NBC模型與其他分類方法相比具有最小的誤差率。但是實(shí)際上并非總是如此,這是因?yàn)镹BC模型假設(shè)屬性之間相互獨(dú)立,這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的,這給NBC模型的正確分類帶來了一定影響。

貝葉斯分類是一系列分類算法總稱,這類算法均以貝葉斯定理為基礎(chǔ),故統(tǒng)稱為貝葉斯分類。而樸素貝葉斯分類是貝葉斯分類中最簡(jiǎn)單,也是常見的一種分類方法。

理論基礎(chǔ):

樸素貝葉斯最核心的部分是貝葉斯法則,而貝葉斯法則的基石是條件概率。貝葉斯法則如下:

人工智能之樸素貝葉斯(NB)

這里的C表示類別,輸入待判斷數(shù)據(jù),式子給出要求解的某一類的概率。

樸素貝葉斯分類器基于一個(gè)簡(jiǎn)單的假定:給定目標(biāo)值時(shí)屬性之間相互條件獨(dú)立

人工智能之樸素貝葉斯(NB)

樸素貝葉斯分類器模型:

Vmap=arg maxP( Vj | a1,a2...a(chǎn)n) Vj屬于V集合,其中Vmap是給定一個(gè)example,得到的最可能的目標(biāo)值。其中a1...a(chǎn)n是這個(gè)example里面的屬性。Vmap目標(biāo)值,就是后面計(jì)算得出的概率最大的一個(gè)。所以用max來表示。

貝葉斯公式應(yīng)用到 P( Vj | a1,a2...a(chǎn)n)中?傻玫 Vmap= arg max P(a1,a2...a(chǎn)n | Vj ) P( Vj ) / P(a1,a2...a(chǎn)n)。又因?yàn)闃闼刎惾~斯分類器默認(rèn)a1...a(chǎn)n互相獨(dú)立。所以P(a1,a2...a(chǎn)n)對(duì)于結(jié)果沒有用處?傻玫絍map= arg max P(a1,a2...a(chǎn)n | Vj ) P( Vj )。

人工智能之樸素貝葉斯(NB)

"樸素貝葉斯分類器基于一個(gè)簡(jiǎn)單的假定:給定目標(biāo)值時(shí)屬性之間相互條件獨(dú)立。換言之。該假定說明給定實(shí)例的目標(biāo)值情況下。觀察到聯(lián)合的a1,a2...a(chǎn)n的概率正好是對(duì)每個(gè)單獨(dú)屬性的概率乘積:P(a1,a2...a(chǎn)n | Vj ) =Πi P(ai| Vj )

因此,樸素貝葉斯分類器模型Vnb=arg max P( Vj ) Π iP ( ai | Vj )

人工智能之樸素貝葉斯(NB)

1  2  下一頁>  
聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)