博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
拉普拉斯平滑
阅读量:4925 次
发布时间:2019-06-11

本文共 1284 字,大约阅读时间需要 4 分钟。

 

  假设我们在做一个抛硬币的实验,硬币出现正面的概率是\(\theta\)。在已知前\(n\)次结果的情况下,如何推断抛下一次硬币出现正面的概率呢?

  当\(n\)很大的时候,我们可以直接统计正面出现的次数,假设为\(n_1\),然后可以做出推断\(\theta=\frac{n_1}{n}\)。
  但是,如果\(n\)很小,上述公式就不合适了。注意“硬币出现正面的概率是\(\theta\)”这句话的意思是说在实验次数趋近无穷的时候,正面出现的次数除以总抛掷次数近似等于\(\theta\)。而在实验次数很少的情况下这个比值可能偏离\(\theta\)很远。比如只做三次试验,而且全都是反面,如果利用上面的公式来进行计算将得到\(\theta=0\)。这时,我们可以利用贝叶斯定理来做一个更为合理的推断,结果就是Laplace’s rule of succession。
  假设先验概率\(P(\theta)\)是\([0,1]\)上的均匀分布。似然 (likelihood)\(P(D|\theta)=\theta^{n_1}(1-\theta)^{n-n_1}\),其中\(D\)代表已知的实验结果(即出现\(n_1\)次正面)。这样,利用贝叶斯定理我们可以得到后验概率的计算公式为:

\(P(\theta|D)=\frac{P(D|\theta)P(\theta)}{\int_0^1 P(D|t)P(t)dt}\)

  根据假设,先验概率\(P(\theta)\)是\([0,1]\)上的均匀分布,所以可以将其从积分中提出来并消去,得到:

\(P(\theta|D)=\frac{P(D|\theta)}{\int_0^1 P(D|t)t}\)

  再利用公式(Beta函数的性质):

\(\int_0^1P(D|\theta)d\theta=\int_0^1\theta^{n_1}(1-\theta)^{n-n_1}d\theta=\frac{n_1!(n-n_1)!}{(n+1)!}\)

  可以得到后验概率\(P(\theta|D)\)的表达式:

\(P(\theta|D)=\frac{(n+1)!}{n_1!(n-n_1)!}\theta^{n_1}(1-\theta)^{n-n_1}\)

可见其刚好是Beta分布\(B(n_1+1,n-n_1+1)\),其期望值为\(\frac{n_1+1}{n+2}\)。

  求出了后验概率\(P(\theta|D)\)的期望值,便可以用它来作为下次出现正面的概率了。可以发现后验概率相当于把出现正面的次数加上了1,然后把总抛掷次数加2。该方法也可以自然地推广到抛掷具有多个面的筛子的情况。

  注意这里的核心思想是利用参数的期望值来做估计以达到平滑的效果,即贝叶斯方法,而不是参数的MAP或MLE估计。

 

posted on
2016-08-18 23:09 阅读(
...) 评论(
...)

转载于:https://www.cnblogs.com/simplex/p/5785874.html

你可能感兴趣的文章
Xpath
查看>>
LoadRunner 参数化之 连接数据库进行参数化
查看>>
bugku秋名山老司机+写博客的第一天
查看>>
小程序,用js获取当前系统时间并显示
查看>>
数据库sql的主要关键字的执行顺序
查看>>
Linux之Libcurl库的介绍与应用20170509
查看>>
通过sqlserver日志恢复误删除的数据
查看>>
adb连接手机的两种方式
查看>>
知识点
查看>>
CentOS7 安装Redis 3.2.3
查看>>
识别chrome浏览器
查看>>
ci之 core下CodeIgniter源码分析(1)
查看>>
《Computer age statistical inference》学习笔记-Part I
查看>>
Repeater分页
查看>>
qlikview 地图插件制作教程
查看>>
JavaWeb学习记录(二十六)——在线人数统计HttpSessionListener监听实现
查看>>
Fibonacci数列 与 杨辉三角
查看>>
音频视频播放(jquery中将jquery方法转化成js方法)
查看>>
Linux设备驱动开发基础--阻塞型设备驱动
查看>>
Hadoop综合大作业
查看>>