贝叶斯法则的相关原理

贝叶斯法则的定义

贝叶斯法则（Bayes'theorem/Bayes theorem/Bayesian law） 贝叶斯的统计学中有一个基本的工具叫“贝叶斯

法则”， 尽管它是一个数学公式，但其原理毋需数字也可明了。如果看到一个人总是做一些好事，则那个人多半会

是一个好人。这就是说，当不能准确知悉一个事物的本质时，可以依靠与事物特定本质相关的事件出现的多少去判

断其本质属性的概率。 用数学语言表达就是：支持某项属性的事件发生得愈多，则该属性成立的可能性就愈大。

贝叶斯法则的相关原理

1.先验概率和后验概率

用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识如果没有这一先验知识，可以简单地将每一候选假设赋予相同的先验概率。类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h成立时D的概率。机器学习中，我们关心的是P(h|D)，即给定D时h的成立的概率，称为h的后验概率。

2.极大后验假设

学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP）确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下:

h_map=argmaxP(h|D)=argmax (P(D|h)P(h))/P(D)=argmax P(D|h)p(h) (h属于集合H) 最后一步，去掉了P(D)，因为它是不依赖于h的常量。

3.极大似然假设

在某些情况下，可假定H中每个假设有相同的先验概率，这样式子可以进一步简化，只需考虑P(D|h)来寻找极大可能假设。

h_ml =argmaxp(D|h) h属于集合H P(D|h)常被称为给定h时数据D的似然度，而使P(D|h)最大的假设被称为极大似然假设。