---------------------------------------------------------------------------------------------- corpora: BNC, verb: yield, number of patterns: 11, sample size: 50, annotators(4): AV EK JT SC ---------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 3 3.a 4 6 6.a 7 8 8.a 9 9.s 10 10.a 10.s 11 12 x | # prob ------+--------------------------------------------------------------------------------------+------------ 1 | 12 - - - - - - - - - - 2 - - - - - | 14 0.28 3 | 1 1 - - - - - - - - - - - - - - - | 2 0.04 3.a | - 1 - - - - - - - - - - - - - - - | 1 0.02 4 | - 3 - 14 - - - - - - - - - - - - - | 17 0.34 6 | - - - 1 1 - - - - - - 1 - - - - - | 3 0.06 6.a | - 1 - - - - - - - - - - - - - - - | 1 0.02 7 | - - - - - - 5 - - - - - - - - - - | 5 0.10 8 | - - - - - - - 1 - - - - - - - - - | 1 0.02 8.a | - - - - - - - 1 - - - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - - - - - | 0 0.00 9.s | - - - - - - - - - 1 - - - - - - - | 1 0.02 10 | - - - - - - - - - - - - - - - - - | 0 0.00 10.a | - - - - - - - - - - - - - - - - - | 0 0.00 10.s | - - - - - - - - - - - - 1 - - - - | 1 0.02 11 | - - - 1 - - - - - - - - - - - - - | 1 0.02 12 | - - - - - - - - - - - - - - - 1 - | 1 0.02 x | 1 - - - - - - - - - - - - - - - - | 1 0.02 ------+--------------------------------------------------------------------------------------+------------ # | 14 6 0 16 1 0 5 2 0 1 0 3 1 0 0 1 0 | 50 prob | 0.28 0.12 0.00 0.32 0.02 0.00 0.10 0.04 0.00 0.02 0.00 0.06 0.02 0.00 0.00 0.02 0.00 | 1.00 sample size: 50 number of agreements: 35 ( 0.70) number of disagreements: 15 ( 0.30) Cohen's kappa = 0.623 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.a 1.s 3 3.a 4 6 6.a 7 7.a 8 8.a 9 9.s 10.s 11 12 u x | # prob ------+------------------------------------------------------------------------------------------------+------------ 1 | 13 1 - - - - - - - - - - - - - - - - - | 14 0.28 1.a | - - - - - - - - - - - - - - - - - - - | 0 0.00 1.s | - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - 2 - - - - - - - - - - - - - - - | 2 0.04 3.a | - - - 1 - - - - - - - - - - - - - - - | 1 0.02 4 | - - - 1 - 14 - - - - - - - - - 1 - 1 - | 17 0.34 6 | - - - - - - 3 - - - - - - - - - - - - | 3 0.06 6.a | - - - - - 1 - - - - - - - - - - - - - | 1 0.02 7 | - - - - - - - - 5 - - - - - - - - - - | 5 0.10 7.a | - - - - - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - - 1 - - - - - - - - | 1 0.02 8.a | - - - - - - - - - 1 - - - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - - - - - - - | 0 0.00 9.s | - - - - - - - - - - - - 1 - - - - - - | 1 0.02 10.s | - - 1 - - - - - - - - - - - - - - - - | 1 0.02 11 | - - - - - 1 - - - - - - - - - - - - - | 1 0.02 12 | - - - - - - - - - - - - - - - - 1 - - | 1 0.02 u | - - - - - - - - - - - - - - - - - - - | 0 0.00 x | 1 - - - - - - - - - - - - - - - - - - | 1 0.02 ------+------------------------------------------------------------------------------------------------+------------ # | 14 1 1 4 0 16 3 0 5 1 1 0 1 0 0 1 1 1 0 | 50 prob | 0.28 0.02 0.02 0.08 0.00 0.32 0.06 0.00 0.10 0.02 0.02 0.00 0.02 0.00 0.00 0.02 0.02 0.02 0.00 | 1.00 sample size: 50 number of agreements: 39 ( 0.78) number of disagreements: 11 ( 0.22) Cohen's kappa = 0.723 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 3 3.a 4 6 6.a 7 7.a 8 8.a 9 9.s 9.f 10 10.s 11 12 x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 12 - - - - - - - - - - - - 2 - - - - | 14 0.28 3 | - 2 - - - - - - - - - - - - - - - - | 2 0.04 3.a | - - 1 - - - - - - - - - - - - - - - | 1 0.02 4 | - - - 17 - - - - - - - - - - - - - - | 17 0.34 6 | - - - 1 1 - - - - - - - - 1 - - - - | 3 0.06 6.a | - - - 1 - - - - - - - - - - - - - - | 1 0.02 7 | - - - - - - 5 - - - - - - - - - - - | 5 0.10 7.a | - - - - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - 1 - - - - - - - - - | 1 0.02 8.a | - - - - - - - 1 - - - - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - - - - - - | 0 0.00 9.s | - - - - - - - - - - 1 - - - - - - - | 1 0.02 9.f | - - - - - - - - - - - - - - - - - - | 0 0.00 10 | - - - - - - - - - - - - - - - - - - | 0 0.00 10.s | - - - - - - - - - - - - 1 - - - - - | 1 0.02 11 | - - - 1 - - - - - - - - - - - - - - | 1 0.02 12 | - - - - - - - - - - - - - - - - 1 - | 1 0.02 x | 1 - - - - - - - - - - - - - - - - - | 1 0.02 ------+-------------------------------------------------------------------------------------------+------------ # | 13 2 1 20 1 0 5 1 1 0 1 0 1 3 0 0 1 0 | 50 prob | 0.26 0.04 0.02 0.40 0.02 0.00 0.10 0.02 0.02 0.00 0.02 0.00 0.02 0.06 0.00 0.00 0.02 0.00 | 1.00 sample size: 50 number of agreements: 40 ( 0.80) number of disagreements: 10 ( 0.20) Cohen's kappa = 0.743 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.a 1.s 3 4 6 7 7.a 8 9 10 10.a 11 12 u | # prob ------+----------------------------------------------------------------------------+------------ 1 | 13 - - 1 - - - - - - - - - - - | 14 0.28 1.a | - - - - - - - - - - - - - - - | 0 0.00 1.s | - - - - - - - - - - - - - - - | 0 0.00 3 | - - - 2 4 - - - - - - - - - - | 6 0.12 4 | - - - 1 12 1 - - - - - - 1 - 1 | 16 0.32 6 | - - - - - 1 - - - - - - - - - | 1 0.02 7 | - - - - - - 5 - - - - - - - - | 5 0.10 7.a | - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - 1 1 - - - - - - | 2 0.04 9 | - - - - - - - - - 1 - - - - - | 1 0.02 10 | 1 1 - - - 1 - - - - - - - - - | 3 0.06 10.a | - - 1 - - - - - - - - - - - - | 1 0.02 11 | - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - - - - - - 1 - | 1 0.02 u | - - - - - - - - - - - - - - - | 0 0.00 ------+----------------------------------------------------------------------------+------------ # | 14 1 1 4 16 3 5 1 1 1 0 0 1 1 1 | 50 prob | 0.28 0.02 0.02 0.08 0.32 0.06 0.10 0.02 0.02 0.02 0.00 0.00 0.02 0.02 0.02 | 1.00 sample size: 50 number of agreements: 36 ( 0.72) number of disagreements: 14 ( 0.28) Cohen's kappa = 0.649 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 3 3.a 4 6 7 7.a 8 9 9.f 10 10.a 12 | # prob ------+------------------------------------------------------------------+------------ 1 | 13 1 - - - - - - - - - - - | 14 0.28 3 | - 1 1 4 - - - - - - - - - | 6 0.12 3.a | - - - - - - - - - - - - - | 0 0.00 4 | - - - 16 - - - - - - - - - | 16 0.32 6 | - - - - 1 - - - - - - - - | 1 0.02 7 | - - - - - 5 - - - - - - - | 5 0.10 7.a | - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - 1 1 - - - - - | 2 0.04 9 | - - - - - - - - 1 - - - - | 1 0.02 9.f | - - - - - - - - - - - - - | 0 0.00 10 | - - - - - - - - - - 3 - - | 3 0.06 10.a | - - - - - - - - - 1 - - - | 1 0.02 12 | - - - - - - - - - - - - 1 | 1 0.02 ------+------------------------------------------------------------------+------------ # | 13 2 1 20 1 5 1 1 1 1 3 0 1 | 50 prob | 0.26 0.04 0.02 0.40 0.02 0.10 0.02 0.02 0.02 0.02 0.06 0.00 0.02 | 1.00 sample size: 50 number of agreements: 42 ( 0.84) number of disagreements: 8 ( 0.16) Cohen's kappa = 0.795 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.a 1.s 3 3.a 4 6 7 7.a 8 9 9.f 10 11 12 u | # prob ------+---------------------------------------------------------------------------------+------------ 1 | 13 - - - - - - - - - - - 1 - - - | 14 0.28 1.a | - - - - - - - - - - - - 1 - - - | 1 0.02 1.s | - - - - - - - - - - - 1 - - - - | 1 0.02 3 | - - - 2 1 1 - - - - - - - - - - | 4 0.08 3.a | - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - - 16 - - - - - - - - - - | 16 0.32 6 | - - - - - 1 1 - - - - - 1 - - - | 3 0.06 7 | - - - - - - - 5 - - - - - - - - | 5 0.10 7.a | - - - - - - - - 1 - - - - - - - | 1 0.02 8 | - - - - - - - - - 1 - - - - - - | 1 0.02 9 | - - - - - - - - - - 1 - - - - - | 1 0.02 9.f | - - - - - - - - - - - - - - - - | 0 0.00 10 | - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - 1 - - - - - - - - - - | 1 0.02 12 | - - - - - - - - - - - - - - 1 - | 1 0.02 u | - - - - - 1 - - - - - - - - - - | 1 0.02 ------+---------------------------------------------------------------------------------+------------ # | 13 0 0 2 1 20 1 5 1 1 1 1 3 0 1 0 | 50 prob | 0.26 0.00 0.00 0.04 0.02 0.40 0.02 0.10 0.02 0.02 0.02 0.02 0.06 0.00 0.02 0.00 | 1.00 sample size: 50 number of agreements: 41 ( 0.82) number of disagreements: 9 ( 0.18) Cohen's kappa = 0.770 ---------------------------------------------------------------------------------------------- Fleiss' kappa = 0.716 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK yield 50 11 4 0.623 35 0.700 AV_JT yield 50 11 4 0.723 39 0.780 AV_SC yield 50 11 4 0.743 40 0.800 EK_JT yield 50 11 4 0.649 36 0.720 EK_SC yield 50 11 4 0.795 42 0.840 JT_SC yield 50 11 4 0.770 41 0.820 ----------------------------------------------------------- yield AV EK JT SC AV - 0.623 0.723 0.743 EK - - 0.649 0.795 JT - - - 0.770 SC - - - -