机器学习-朴素贝叶斯

朴素贝叶斯原理

youryion数据挖掘指导

朴素贝叶斯法属于一种分类方法,基于特征条件独立假设学习输入输出的联合概率分布,以此为模型,对于给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。

简单有效,是一种常用的机器学习方法.

  • 设输入空间 $X \subseteq R^n$为n维向量的集合
  • 输出空间为类标记集合 $Y=c_1, c_2,\cdots,c_k$
  • X是定义在输入空间上的随机变量
  • Y是定义在输出空间上的随机变量
  • P(X,Y)是X和Y的联合概率分布
  • $T = (x_1, y_1), (x_2, y_2), \cdots, (x_N, y_N)$是由P(X,Y)独立同分布产生的训练集

贝叶斯法则

条件概率

条件概率表示为P(A|B),读作“在B条件下A的概率”。

若只有两个事件A,B,那么 $$P(A|B) = \frac{P(AB)}{P(B)}$$

贝叶斯法则

引入独立性假设

得到朴素贝叶斯分类器

拉普拉斯平滑

打赏