【小白学机器学习24】 用例子来比较：无偏估计和有偏估计

目录

1 关于无偏估计

1.1 无偏估计的定义

2 原始数据

2.1 假设我们是上帝，我们能创造一个总体/母体 population

2.2 按尽量随机取样的原则去取1个随机样本 sample1

3 一个关于无偏估计的理解

3.1 接着上面的总体和样本 sample1

3.2 左边的计算，期望是有偏的

3.3 右边的计算，期望是无偏的

3.4 差别和原因：

3.5 反思

4 思考：应该有其他办法保证 样本的均值无偏

4.1最大似然估计法：

4.2 样本方差 与无偏估计

---

1 关于无偏估计

1.1 无偏估计的定义

• 估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性

无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。无偏估计常被应用于测验分数统计中。

下面是我自己搞的一个简单推理过程

2 原始数据

2.1 假设我们是上帝，我们能创造一个总体/母体 population

设计一个总体：在min~ max 产生一堆随机值

具体落地：

• 设计一个只包含int的整体。
• 在excel用公式RANDBETWEEN(E$1,E$2)， min=10,max=20 生成了2000个数，作为总体
• 其中 mean=14.8805
• 注意EXCEL的随机公式每次保存都重算，所以先粘贴一列随机数保持不变。

2.2 按尽量随机取样的原则去取1个随机样本 sample1

随机取样，需要每个元素有平等的机会，而不是随便取样！

随机取样方法

• 样本的取法1：从总体里按等距的方法，取10个序号，拿出对应的数字，INDEX(B:B,MATCH(N4,A:A,0))
• 样本的取法2：从总体里取10个出来，random(1,2000) 序号应该也可以
• 样本的取法3： 写一个min max随机的单独的函数， 好像也可以吧，不过像是从更理想的总体，10-20均匀分布的总体里取得，我这个2000个数据得总体，每个整数必然不是完全等概率分布得        

错误方法

• 随便取前10个数，这样的。。。。

          
3 一个关于无偏估计的理解

3.1 接着上面的总体和样本 sample1

• 取所有可能的数值（基本事件）
• 要计算期望/平均值，就需要知道概率
• 概率的计算有2种方式

1. 方式1：一般我们不知道整体，只能假设整体是平均分布的，按等概率算
2. 方式2：假设我们知道总体情况， 按我设计的2000个总体里不同数字出现的真实频度，作为真实的概率

3.2 左边的计算，期望是有偏的

• 计算期望
• 取每个基本事件：每个可能出现的数字int
• 一般我们不知道整体，只能假设整体是平均分布的，按等概率算，得到样本期望15
• 但是总体期望14.8805，两者有差异

3.3 右边的计算，期望是无偏的

• 计算期望
• 取每个基本事件：每个可能出现的数字int
• 假设我们知道总体情况， 按我设计的2000个总体里不同数字出现的真实频度，作为真实的概率，得到样本期望14.8805
• 但是总体期望14.8805，两者一样，无偏

3.4 差别和原因：

• 这样看来，无偏估计是很难的，需要知道真实的整体。
• 但是我这里的例子特殊，因为，样本是我这个假装的上帝设计的。并不是真正的现实中，那种不可完全认识的总体！
• 所以无偏估计，就要求，能完全模拟整体，越像整体，估计越是无偏的！

3.5 反思

• 但是一般情况下，我们假设真实的整体符合概率规律，如等概率更科学，比例子里的2000整体更科学。因为现实里我们永远不知道真实的总体到底多大，具体的概率分布细节。只可能知道样本的情况。这个有点上帝视角了。
• 如果知道了总体（即使是人为，人造的命题，比如本例），就用总体的概率, 分布去计算，样本的误差才会无偏

4 思考：应该有其他办法保证 样本的均值无偏

4.1最大似然估计法：

• 最大似然估计法是基于似然函数的性质来求解无偏估计量的。
• 似然函数是指在给定样本的情况下，总体参数取某个特定值时的概率密度函数。
• 最大似然估计法的基本思想是：在所有可能的总体参数值中，选择使得似然函数值最大的那个值作为总体参数的估计值
   

网上搜了下没看懂

4.2 样本方差 与无偏估计

样本方差要 /(n-1) 而不是/n ，就是为了获得无偏估计

• 主要取决于我们是否知道总体均数
• 如果知道总体均数，那么就除以n；
• 如果不知道总体均数，而只能用样本均数代替，那么就除以n-1。

Pearson相关系数

• Pearson相关系数是用来衡量两个变量之间线性相关程度的统计量。
• X和Y是两个变量，ρ是相关系数，cov是协方差，σ是标准差：