统计
目录:
正文:
一、似然函数
首先回顾这篇(附上链接)涉及的一些概念。
| 条件概率:$$p(A | B) = \frac{P(AB)}{P(B)}$$ |
| 贝叶斯概率:$$P(B | A) = \frac{P(A | B)P(B)}{P(A)}$$ |
概率:在已知一些参数的情况下,预测接下来的观测所得到结果。
也就是根据已知参数,做出概率判断。
而,似然:在已知某些观测结果时,对有关事物的性质参数进行估计。
| 已知有事件A发生,运用似然函数**L(B | A)**,估计参数B的可能性。 |

最大似然估计:
利用已知的样本结果,反推最有可能导致这个结果的参数值。
二、贝叶斯
2.1 贝叶斯公式

先验概率分布:(prior probability distribution)
是模型参数的概率分布。刻画了在看到数据之前,我们认为合理模型是什么样的。
先验的强弱取决于先验中概率密度的集中程度。
弱先验具有较高的熵值,例如方差很大的高斯分布,
允许数据对参数的改变具有更多的自由性。
强先验具有较低的熵值,例如方差很小的高斯分布。
对参数最终取值影响更大。
无限强的先验,对参数的概率置零,并完全禁止对参数赋值。