南方医科大学学报 ›› 2021, Vol. 41 ›› Issue (9): 1374-1380.doi: 10.12122/j.issn.1673-4254.2021.09.12
梁绮红,陈昭宇,张 峥,黄 爽,安胜利
LIANG Qihong, CHEN Zhaoyu, ZHANG Zheng, HUANG Shuang, AN Shengli
摘要: 目的 基于AC1系数的构建思想,建立一致性评价系数(CEA)在两评价者无序多分类结局的评价方法,并可避免Kappa系数的缺陷。方法 通过随机抽样生成诊断试验类型数据,使用Monte Carlo模拟,在样本量、指定事件在总体的占比、偶然评价率、类别数等不同参数组合下进行重抽样,比较Kappa系数、AC1系数和CEA系数的均方误、方差和方差的期望。通过从总体中随机抽样1000次得到CEA系数的分布描述。结果 偶然评价率的不一致会导致CEA系数的均方误波动较大。与Kappa系数相比,AC1系数和CEA系数在指定事件的占比为极端值的情况更为稳定。在小样本、偶然评价率不一致的情况下,Kappa系数的方差和方差的期望变大,CEA系数变化较小。大样本条件下,CEA系数近似服从正态分布。结论 Kappa系数、AC1系数、CEA系数均受偶然评价率的影响最大,样本量次之。针对无序多分类结局,CEA系数在不同的样本量、偶然评价率下具有更稳健的性质。