概述

贝叶斯分类算法是统计学的一种概率分类方法，朴素贝叶斯分类是贝叶斯分类中最简单的一种。其分类原理就是利 用贝叶斯公式根据某特征的先验概率计算出其后验概率，然后选择具有最大后验概率的类作为该特征所属的类。之 所以称之为”朴素”，是因为贝叶斯分类只做最原始、最简单的假设:所有的特征之间是统计独立的。 

1.条件概率公式

条件概率(Condittional probability)，就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。

根据文氏图可知:在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)。

同理可得:

所以

全概率公式:如果事件 构成一个完备事件且都有正概率，那么对于任意一个事件B则 有:

2.贝叶斯推断

根据条件概率和全概率公式，可以得到贝叶斯公式如下 :

P(A)称为”先验概率”(Prior probability)，即在B事件发生之前，我们对A事件概率的一个判断。
P(A| B)称为”后验概率” (Posterior probability)，即在B事件发生之后，我们对A事件概率的重新评估。
P(B |A)/P(B)称为”可能性函数”(Likely hood)， 这是一个调整因子，使得预估概率更接近真实概率。
所以条件概率可以理解为:后验概率=先验概率*调整因子
如果”可能性函数”>1,意味着”先验概率”被增强，事件A的发生的可能性变大;
如果”可能性函数”=1,意味着B事件无助于判断事件A的可能性;
如果”可能性函数”<1,意味着”先验概率”被削弱，事件A的可能性变小。

3.案例分析（帅，高，上进，性格好，嫁不嫁问题？。。。）

假如：不帅，性格不好，个子矮，不上进的男生，女生选择嫁的概率是多少？

即求出:

P(嫁|不帅， 性格不好，不高，不上进)
根据贝叶斯定理，拆成了三个概率的问题
1.P1=P(不帅，性格不好，不高，不上进|嫁)=P(嫁)*P(不帅|嫁)*P(性格不好|嫁)*P(不高|
嫁)*P(不上进|嫁)
2.P(嫁)
3.P2=P (不帅，性格不好，不高，不上进) =P(不帅)*P(性格不好)*P(矮)*P(不上进)
结果: P(嫁|不帅， 性格不好，不高，不上进)=P1*P(嫁)/P2

5.案例代码实现

生成样本（两个方法：随机生成，静态手动插入，选其一即可）

 1 # 方法1，随机生成样本
 2 import random
 3 def create_Data1():
 4     looks=['帅','不帅']
 5     characters=['好','不好'] #性格
 6     heights=['高','矮']
 7     progress=['上进','不上进']
 8     marriages=['嫁','不嫁']
 9     datasets=[]
10     for i in range(0,20):
11         dataset = []#创建样本
12         dataset.append(random.choice(looks)) #每个样本随机选择长相
13         dataset.append(random.choice(characters))#每个样本随机选择性格
14         dataset.append(random.choice(heights)) #每个样本随机选择高矮
15         dataset.append(random.choice(progress))#每个样本随机选择上不上进
16         dataset.append(random.choice(marriages))#每个样本随机选择嫁不嫁
17         print(dataset)
18         datasets.append(dataset)#将每一组样本加入到样本集中
19     print(datasets)
20     return datasets

 1 # 方法2 指定数据样本
 2 import random
 3 def create_Data():
 4     datasets=[
 5               ['帅','不好','矮','不上进','不嫁'],
 6               ['不帅','好','矮','上进','不嫁'],
 7               ['帅','好','矮','上进','嫁'],
 8               ['不帅','好','高','上进','嫁'],
 9               ['帅','不好','矮','上进','不嫁'],
10               ['不帅','不好','矮','不上进','不嫁'],
11               ['帅','好','高','不上进','嫁'],
12               ['不帅','好','高','上进','嫁'],
13               ['帅','好','高','上进','嫁'],
14               ['不帅','不好','高','上进','嫁'],
15               ['帅','好','矮','不上进','不嫁'],
16               ['帅','好','矮','不上进','不嫁']
17              ]
18     return datasets

 1 # 计算函数
 2 def compute_threeProb(datasets,c1,c2,c3,c4,c5):# 传入训练数据集，需要判断的数据（帅不帅，性格好不好，高还是矮，上不上进，嫁不嫁）
 3     C5_count=0 #满足c5条件的数据条数
 4     Result_count=0 #满足c5条件下且满足需要判断的四个特征的个数
 5     p3_count=0 #计算样本中符合要判断的四个特征的个数
 6     Allcount=len(datasets) #数据样本条数
 7     for dataset in datasets:
 8         #满足c5条件的数据条数
 9         if dataset[4]==c5:
10             C5_count+=1
11             #该类别下满足需要判断的四个特征的个数
12             if dataset[0]==c1 and dataset[1]== c2 and dataset[2]==c3 and dataset[3]==c4:
13                 Result_count+=1
14         #计算样本中符合要判断的四个特征的个数
15         if dataset[0] == c1 and dataset[1] == c2 and dataset[2] == c3 and dataset[3] == c4:
16             p3_count+=1
17 
18     p1=(C5_count/Allcount)*(Result_count/C5_count) #类似 P(不帅，性格不好，不高，不上进|嫁) 
19     p2=C5_count/Allcount  #类似 P(嫁)
20     p3=p3_count/Allcount #类似 P(不帅，性格不好，不高，不上进）
21     if p3!=0:
22         prob_marriage=p1*p2/p3
23         print(prob_marriage)
24         return prob_marriage
25     else:
26         print("不存在！")
27         return 0

1 # 调用
2 datasets=create_Data()
3 rel=compute_threeProb(datasets,c1='帅',c2='好',c3='矮',c4='上进',c5='嫁')
4 print(f'此情况嫁的概率为：{rel}')

运行结果：

6.优缺点：

优点:
(1) 算法逻辑简单,易于实现(算法思路很简单，只要使用贝叶斯公式转化即可!)
(2)分类过程中时空开销小(假设特征相互独立，只会涉及到二维存储)
缺点:
(1)理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率，但是实际上并非总是如此，
这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在
属性个数比较多或者属性之间相关性较大时，分类效果不好。
(2)在属性相关性较小时，朴素贝叶斯性能最为良好，对于这一点，有半朴素贝叶斯之类的算法
通过考虑部分关联性适度改进。