统计

发表信息: by Creative Commons Licence

目录:

正文:

一、似然函数

首先回顾这篇(附上链接)涉及的一些概念。

条件概率:$$p(A B) = \frac{P(AB)}{P(B)}$$
贝叶斯概率:$$P(B A) = \frac{P(A B)P(B)}{P(A)}$$

概率:在已知一些参数的情况下,预测接下来的观测所得到结果。

也就是根据已知参数,做出概率判断。

而,似然:在已知某些观测结果时,对有关事物的性质参数进行估计。

已知有事件A发生,运用似然函数**L(B A)**,估计参数B的可能性。
\[b \mapsto P(A|B=b)\] \[L(b|A) = \alpha P(A|B=b)\]

最大似然估计:

利用已知的样本结果,反推最有可能导致这个结果的参数值。

二、贝叶斯

2.1 贝叶斯公式

先验概率分布:(prior probability distribution)

是模型参数的概率分布。刻画了在看到数据之前,我们认为合理模型是什么样的。

先验的强弱取决于先验中概率密度的集中程度。

弱先验具有较高的熵值,例如方差很大的高斯分布,

允许数据对参数的改变具有更多的自由性。

强先验具有较低的熵值,例如方差很小的高斯分布。

对参数最终取值影响更大。

无限强的先验,对参数的概率置零,并完全禁止对参数赋值。