设为首页收藏本站

EPS数据狗论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 2200|回复: 0

Stata软件对截断和删失数据处理方法介绍

[复制链接]

36

主题

337

金钱

521

积分

初级用户

发表于 2019-8-22 15:22:00 | 显示全部楼层 |阅读模式

截断和删失是完全不同的现象,都会导致我们的样本不完整。这些现象出现在医疗科学、工程、社会科学和其他研究领域。如果忽略截断和删失,当我们分析数据时,我们的人口参数估计就会不一致。

截断和删失会出现在处理样本的过程中,那我们就从定义左截断和左删失开始:

当低于阈值的个体在样本中不存在时,我们的数据就属于左截断。比如,我们想研究某些鱼的大小,以捕鱼网为样本,鱼小于鱼网,所以在我们的样本中是不存在的。

我们的数据从K开始左删失,如果每个个体值在样本中存在并低于K,但实际值未知。例如,我们有一个测量仪器,不能检测到一定水平以下的值时,就会发生这种情况。

我们主要讨论左截断和左删失,但是我们讨论的概念可以应用到所有的截断和删失中去:右截断、右删失和区间。

当执行截断或删失数据的估计时,我们需要使用一些工具来说明这些不完整的数据。对于截断线性回归,我们可以使用truncreg命令;对于删失线性回归,我们可以使用intreg和tobit命令。

这篇文章,我们将要分析截断数据和删失数据的特征,并讨论用truncreg命令和tobit命令来说明不完整的数据。

截断数据

案例:皇家海军陆战队

Fogel et al.(1978)发布了皇家海军陆战队人员的身高的数据集,此数据可以扩展到2个世纪。它可以用来确定不同时期,英国男性的平均身高。Trussell and Bloom (1979)指出样本被截断,由于新兵最低身高的限制。数据被截断了(而不是删失),因为身高低于最低限制的个人都没有出现在样本中。考虑到这一事实,他们拟合了1800年到1809年期间皇家海军陆战队身高的截断分布。

由于Trussell和Bloom提到的问题,我们使用了人工数据集。我们假设人口数据服从正态分布μ=65和σ=3.5,并且都是左截断到64.

我们使用一个直方图来总结我们的数据:
1.png
可以看到截断点,没有小于64的数据。

如果我们忽略截断,会发生什么呢?

如果我们忽略截断,将不完整的数据视为完整的,样本均值与总体均值就会不一致,因为截断点以下的所有观测值都是缺失的。在我们的实例中,真实的均值95%都在置信区间预测平均值外。
2.png
我们可以将样本直方图与忽略截断后得出的正态分布进行比较,并且把这些值看成是人口均值和标准差的估计。
3.png
4.png
使用truncreg考虑截断
我们可以使用truncreg来估计潜在非截断分布的参数。考虑左截断64,可以使用选项ll(64)。
5.png
现在估计的值接近我们的实际模拟值μ=65,σ=3.5。
让我们将截断密度重叠到数据直方图中去。
6.png
7.png
截断分布适合我们的样本,我们分析人口分布均值等于65,标准偏差等于3.5.

删失数据

现在我们看一下删失数据的案例,看看他们和截断数据之间的区别。

案例:家庭表面尼古丁的含量情况

Matt et al.在2004年进行了一项研究,对烟草烟雾污染吸烟者家庭的整个表面进行了评估。非常有趣的一项测量是家具表面的尼古丁含量情况。每个家庭中的擦拭样本来自每件家具。然而,尼古丁污染低于一定限度的,测量仪检测不到。

数据被删失了,而不是被截断了。当尼古丁污染低于检测极限值时,样本中仍然包含了尼古丁的检测值,这个检测值就等于最低极限值。被这项研究中的这个问题启发,我随意创建了一个人工数据集。尼古丁污染水平的日志被假定为正常。在这里,lognlevel包含尼古丁含量。用于模拟日志尼古丁含量的参数,删失数据是μ=ln(5),σ=2.5,左删失数据为0.1。我们开始绘制直方图。
8.png
9.png
直方图左侧有一个尖峰,因为在检测极限以下的值被记录为等于极限值。计算样本的原始均值和标准偏差,将不会为潜在的未经审查的高斯分布提供适当的估计。
10.png
均值和标准偏差分别估计为1.68和2.4,而实际参数为ln(5) =1.61 和2.5。

使用Tobit账户审核

我们估计均值和标准偏差分布,并使用ll选项的tobit来考虑左删失值(如果审核极限值随观测值而变化,那么可以用intreg来代替)。
11.png
潜在的未经审核的分布估计的均值为1.62,标准差2.49. 我们把未经审核的分布叠加到直方图中:
12.png
13.png
潜在的未经审核的分布匹配直方图的一部分,左边尾部补偿审查点的尖峰。

总结

在抽样数据中,删失和截断是不同的两种现象。截断高斯抽样中潜在的人口参数可以用truncreg来估计。删失高斯抽样中潜在的人口参数要用intreg或tobit来估计。

结语

我们已经讨论了删失和截断的概念,也举例说明了这两个概念的意思。与本次讨论有关的要点如下:

本次讨论是基于高斯模型之上的,但是主要的概念可以扩展到任意的分布中。以上的例子在没有协变量的情况下拟合回归模型,因此,我们可以更好地可视化删失和截断分布的形状。然而,这些概念很容易扩展到协变量的回归框架中,并且特定观测值的期望值是协变量函数。

我们已经讨论过使用truncreg和tobit来处理删失和截断数据。但是这些命令也可以应用到非删失和非截断数据中,只要这些数据是特定分布中的人口抽样。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

客服中心
关闭
在线时间:
周一~周五
8:30-17:30
QQ群:
653541906
联系电话:
010-85786021-8017
在线咨询
客服中心

意见反馈|网站地图|手机版|小黑屋|EPS数据狗论坛 ( 京ICP备09019565号-3 )   

Powered by BFIT! X3.4

© 2008-2028 BFIT Inc.

快速回复 返回顶部 返回列表