一致性评定方法的原理及应用

wangming

研究领域中, 常需评价两种或多种仪器、方法和测量者测量结果的一致性。如临床上更趋向于应用更方便、快捷、经济、安全的仪器来代替传统的测量仪器或方法, 但欲使用新仪器( 方法) 取代旧仪器( 方法) , 必须保证新旧两仪器( 方法) 测量结果的一致性。
在评定一致性时，数据类型不一样采用的评定方法也有所不同，分类资料须采用卡方检验,Kappa分析等，均在spss菜单descriptive ST的crosstabs的统计选项中；定量数据一致性评定的方法则主要有以下几种常见方法。
1、配对t 检验：配对t 检验主要检验的是两测量仪器的系统误差是否有差别, 即对两测量结果的系统误差敏感, 但不能兼顾随机误差。配对t 检验只能检验有没有差别，但不能说明配对数据在多大程度上一致，而且t检验受自由度影响比较大，用t检验来代替一致性检验是不妥当的。
2、Pearson相关：相关系数对系统误差是不敏感的；只能说明两种情况趋势一致，对之间存在的误差不敏感。
3、组内相关系数( Intra- class Correlation Coefficients, ICC)：ICC 的假设检验, 即检验ICC 是否为零的假设检验, 实际上与方差分析检验结果一致。这是一种比较好的选择方法，经常用于评估多组评定者或方法之间的一致性，下面将详细介绍。
4、Bland-Altman法：Bland- Altman 法是定量分析与定性分析的有机结合。在评价一致性的时候既考虑了随机误差同时也考虑了系统误差对一致性的影响, 同时可结合专业意义进行判断。
小结：配对t 检验与简单相关分析具有明显的片面性, 不能同时兼顾随机误差与系统误差,用它们评价一致性所得的结论有可能会被误导。ICC是一种比较好的评价一致性的方法，在考虑了随机误差的同时，也考虑了系统误差的影响。Bland-Altman法在评价一致性的时候既考虑了随机误差同时也考虑了系统误差对一致性的影响, 同时可结合专业意义进行判断,具有独特的优势。
以下介绍几种重要的评价一致性的方法：肯德尔和谐系数、Kappa检验，ICC，Bland-Altman法。（注 ^表示幂，其后表示幂的次数；如^2即指平方）
一、用SPSS检验肯德尔和谐系数的操作
肯德尔和谐系数一般用于多个评定者对多个作品进行等级评定的情况。假如有3个评委对8件作品打分，要对评委的打分情况进行肯德尔和谐系数的检验，可以在SPSS下进行如下操作：
数据必须按照以下格式输入：
　　　　作品１　　作品２　　作品３　　作品４　　作品５
评委１
评委２
评委３
评委４
将数据导入到SPSS中，选择菜单：analyse--nonparametrics tests--K related samples
把所有变量选中（所有作品的列）再选中Kendall's W , Ok
结果主要看最下面一个表的数据，一个是Kendall's Wa，应在0.7以上，另一个是Asymp ,这个数字应该小于0.05，如果结果不是符合这两个规则的话，评定的一致性不能接受。
自己手工的计算，可以查看相关统计书，下面只列一个简单的公式：W=12S/(K^2(N^3-N))；存在相同等级时，W=12S/（(K^2(N^3-N))-12K*sigma(T)） T=(N^3-N)/12
二、Kappa检验：在spss菜单descriptive ST的crosstabs的统计选项中，选上Kappa即可，其数据格式与做卡方检验的数据格式一致，用原始数据或列联表格式均可，列为case，行为评价方法或评定者。这里将不作涉及，主要介绍一下其适用条件和统计原理。
以下为列联表数据：用两种方法逐个对N个观察对象进行判断，分别属于哪种分类。
方法2                  方法1
　　　　分类１　　分类２　　分类３　　分类４
分类１
分类２
分类３
分类４
这里涉及到以下概念：
Po观察一致率：即对角线之和除以总观测数N，也即两种方法评定的一致性除以总数N，即一致率之和；
Pe机遇一致率：sigma(aibi)即随机模型中所有横轴频率与纵轴频率乘积之和。实际上即是理论模型中，对角线的频率之和。
Kappa=(Po-Pe)/(1-Pe)
其假设检验原理与一般假设检验类似，即检验K是否来自于“0”的总体（即随机事件）。
U=K/Se(K) Se(K)=sqrt(Po*(1-Po)/(N*(1-Pe)^2)) u即Z分数
Kappa本身的值根据经验推断，也有其含义。0.0～0.2～0.4～0.6～0.8～1.0是从微弱，弱，中度，高度，极强的一个强度逐渐变强的几个阶段。
Kappa一致性检验不仅可用于有序或者无序分类资料的一致性检验，而且还能给出一个具体的值，这是其他检验所做不到的。
三、组内相关系数（ICC）：ICC实际上是Kappa检验应用的一种延伸，因为Kappa只能用于分类或等级变量，运用到连续变量时，则需采用更精确的计算方法，在此基础上引用了ICC，其基本原理与Kappa类似。最先由Bartko于1966年用于测量和评价信度的大小，ICC等于个体间的变异度除以总的变异度，故其值介于0～1之间。其数据结构与单因素重复测量数据结构类似。在spss菜单analysis下Scale中的reliability analysis，将statistisc中的选项intraclass correlation coefficient 选上即可。下面具体介绍ICC的基本原理：
这里先了解Fisher(1958)计算ICC的方法。假设只有两个评定者。个体变异即为(xi1-xm)(xi2-xm)两次变异数的乘积之和，也即协变异之和。总体变异为ns^2。ICC=sigma(xi1-xm)(xi2-xm)/(ns^2)。这与方差分析的基本思想相同，只不过这里考察的是个体间的随机变异相对于总变异的大小，而不是考察的处理间，ICC越大，说明随机变异在测量总误差中的作用越大，因而测量间的一致性越大。存在多组评定时，计算方式一样：ICC=sigma[(xi1-xm)(xi2-xm)+ (xi2-xm)(xi3-xm)+ (xi3-xm)(xi4-xm)+…]/(ns^2)。
若从方差分解来看，个体差异即组内的被试间变异，理论随机变异即组间变异，与Kappa类似，分子即为个体变异减掉误差变异（随机的理论变异），分母即为总体变异减去误差变异。这与Kappa=(Po-Pe)/(1-Pe)原理是一致的，但有作者写的公式不一样，不知道是不是我理解错了。
ICC的局限性在于，被评定者差异比较大时，多个评定者的一致性计算会比较准确，但当被评定者间差异不大时，这种计算就不那么准确了，甚至会出现错误。从ICC定义可知，ICC是被测者间变异方差占总变异的比例，如若被测者测量值范围比较局限，即变异较小时，这时，即使两测量值非常近似，ICC值也不大。ICC的应用受到测量值范围的局限，有时也会做出错误的判断。
具体用法详见：http://www.spsschina.com/redirec ... amp;goto=nextnewset
四、Bland-Altman法：此种方法为定量与定性方法的结合，其原理是对于两种评定间的差异进行随机效应分析，来解释说明一致性问题。Bland与Altman认为，测量误差不会影响变量间的相关，但会影响一致性；Bland-Altman的方法实际上是对两种评定之间差异的一种观察，横轴为每个被观察对象评定得到的均值，纵轴为两种评定间的差异值，考察评定者间均数及差异的关系。Bland-Altman图法主要是观察两种测量之间差异的分布。在纵轴上以差异的均值和理论0值（以比率为纵轴的以理论1值）为均值参考线，另外再添加md±1.96SD即差异均值的95%的置信区间的参考线，也称为95%的可接受的一致性界限。报告结果需结合图形做合理解释，一般情况下，报告在一致性界限外的点的百分比，与理论值相差的最大值，结合临床，进行合理解释，决定对新方法的取舍。
具体操作是调用SPSS菜单命令graphs中interactive的scatterplot以均数为横轴，以差值为纵轴做散点图，在spss输出窗口中再对散点图进行编辑，双击图形进入编辑状态，点击右键选择axis中的纵轴，点击reference lines界面，添加四条参考线，一条是理论值线，差值应为0（纵轴为比率值时则为1），另外加上差值的均值线与95%置信区间两条线，关闭编辑窗口即完成Bland-Altman plot的制作。制作此图也可参照spss语法，但spss语法一向不够直观，比较难懂，可以利用现成的语法模板修改成自己可用的，也不失一种可以尝试的方法。
*spss Bland-Altman plot syntax*.
compute d=xm-xn.
compute a=(xm+xn)/2.
execute.
regression
/missing listwise
/statistics coeff outs r anova
/criteria=pin(.05)pout(0.10)
/noorign
/dependent d
/method=enter a
igraph/viewname='scatterplot&39;
/x1=Var(a) type=scale
/y=var(d) type=scale
/coordinate=vertical
/fitline method=regression linear line=total spike=off
/x1 length=3.0 /ylength=3.0 /x2length=3.0 /chartlook='None'
/scatter coincident =none.
exe.
也可采用sas来进行画图，不太好看，建议采用r做（这个还不会～～）。
*sas Bland-Altman plot procedures.
data temp;
input x y@@;
cards;
775.5    51
1550.5    61
865    50
617.5    35
1045    -10
;
proc gplot;
plot y*x='0'/vref=0 a b;/*a和b用置信区间上下界代替*/
run;
具体事例及用法可参考以下资料：
http://www-users.york.ac.uk/~mb55/meas/ba.htm
Bland JM, Altman DG. Measuring agreement in method comparison studies.Statistical Methods in Medical Research 1999; 8: 135-160
两种测量方法定量测量结果的一致性评价：http://blog.sina.com.cn/s/blog_4 ... el=rela_prevarticle
转载自百草园博客，原文链接：http://hi.baidu.com/baicaoy/blog ... 4e4b1f6d22ebaa.html