---------------------------------------------------------------------------------------------- corpora: BNC, verb: smash, number of patterns: 10, sample size: 50, annotators(4): AV EK JT SC ---------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 1.a 1.c 1.s 1.f 2 3 4 4.a 4.c 4.s 6 6.a 8 9.a 9.f u x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 19 - - - - - - - - - - - - - - - - - | 19 0.38 1.a | - - - - - - - - - - - - - - - - - - | 0 0.00 1.c | 3 1 - - - - - - - - - - - - - - 1 - | 5 0.10 1.s | - - - - - - - - - - - - - - - - - - | 0 0.00 1.f | - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - - 1 - 3 - - - - - - - - - - - - | 4 0.08 3 | - - - - - - 3 - - - - - - - - - - - | 3 0.06 4 | - - - - - - - 5 - - - - - - - - - - | 5 0.10 4.a | - - - - 1 - - 2 - - - - - - - - - - | 3 0.06 4.c | - - - - - - - 1 - - - - - - - - - - | 1 0.02 4.s | - - - - - - - - - - - - 1 - - - - - | 1 0.02 6 | - - - - - - - - - - - 2 - - - - - - | 2 0.04 6.a | - - - - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - - - - - 1 - - - - | 1 0.02 9.a | - - - - - - - - - - - - - - - - - - | 0 0.00 9.f | - - - - - - - - - - - - - - 1 - - - | 1 0.02 u | - - - - - 1 - - - - - - 1 - - - 1 - | 3 0.06 x | 1 - - - - - - - - - - - - - - - - 1 | 2 0.04 ------+-------------------------------------------------------------------------------------------+------------ # | 23 1 0 1 1 4 3 8 0 0 0 2 2 1 1 0 2 1 | 50 prob | 0.46 0.02 0.00 0.02 0.02 0.08 0.06 0.16 0.00 0.00 0.00 0.04 0.04 0.02 0.02 0.00 0.04 0.02 | 1.00 sample size: 50 number of agreements: 35 ( 0.70) number of disagreements: 15 ( 0.30) Cohen's kappa = 0.622 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.c 1.f 2 2.a 2.s 2.f 3 4 4.a 4.c 4.s 6 6.a 8 8.a 9.f u x | # prob ------+------------------------------------------------------------------------------------------------+------------ 1 | 19 - - - - - - - - - - - - - - - - - - | 19 0.38 1.c | 1 - 3 - - - - - 1 - - - - - - - - - - | 5 0.10 1.f | - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - - 3 - 1 - - - - - - - - - - - - - | 4 0.08 2.a | - - - - - - - - - - - - - - - - - - - | 0 0.00 2.s | - - - - - - - - - - - - - - - - - - - | 0 0.00 2.f | - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - 1 - - - 2 - - - - - - - - - - - | 3 0.06 4 | - - - - - - - - 5 - - - - - - - - - - | 5 0.10 4.a | - - - - - - - - 2 1 - - - - - - - - - | 3 0.06 4.c | - - - - - - - - 1 - - - - - - - - - - | 1 0.02 4.s | - - - - - - - - - - - - - 1 - - - - - | 1 0.02 6 | - - - - - - - - - - - - 2 - - - - - - | 2 0.04 6.a | - - - - - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - - - - - - 1 - - - - | 1 0.02 8.a | - - - - - - - - - - - - - - - - - - - | 0 0.00 9.f | - - - - - - 1 - - - - - - - - - - - - | 1 0.02 u | - - - - 1 - - - - - - - - 1 - 1 - - - | 3 0.06 x | - - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+------------------------------------------------------------------------------------------------+------------ # | 20 0 3 4 1 1 1 2 9 1 0 0 2 2 1 1 0 0 2 | 50 prob | 0.40 0.00 0.06 0.08 0.02 0.02 0.02 0.04 0.18 0.02 0.00 0.00 0.04 0.04 0.02 0.02 0.00 0.00 0.04 | 1 sample size: 50 number of agreements: 35 ( 0.70) number of disagreements: 15 ( 0.30) Cohen's kappa = 0.633 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 1.a 1.c 2 3 4 4.a 4.c 4.s 6 8 9.f u x | # prob ------+-----------------------------------------------------------------------+------------ 1 | 18 1 - - - - - - - - - - - - | 19 0.38 1.a | - - - - - - - - - - - - - - | 0 0.00 1.c | 2 2 - - - - - - - - - - 1 - | 5 0.10 2 | 1 - - 2 - - - - - - - - 1 - | 4 0.08 3 | - - - - 3 - - - - - - - - - | 3 0.06 4 | - - - - - 5 - - - - - - - - | 5 0.10 4.a | - - - - - 1 2 - - - - - - - | 3 0.06 4.c | - - - - - - 1 - - - - - - - | 1 0.02 4.s | - - - - - - - - 1 - - - - - | 1 0.02 6 | - - - - - - - - - 2 - - - - | 2 0.04 8 | - - - - - - - - - - 1 - - - | 1 0.02 9.f | - - - - - - - - - - - 1 - - | 1 0.02 u | - - - 1 - - - - 1 - - - 1 - | 3 0.06 x | 1 - - - - - - - - - - - - 1 | 2 0.04 ------+-----------------------------------------------------------------------+------------ # | 22 3 0 3 3 6 3 0 2 2 1 1 3 1 | 50 prob | 0.44 0.06 0.00 0.06 0.06 0.12 0.06 0.00 0.04 0.04 0.02 0.02 0.06 0.02 | 1 sample size: 50 number of agreements: 37 ( 0.74) number of disagreements: 13 ( 0.26) Cohen's kappa = 0.675 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.a 1.s 1.f 2 2.a 2.s 2.f 3 4 4.a 6 6.a 8 8.a 9.a u x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 20 - - 2 - - - - - - - - - - - - - 1 | 23 0.46 1.a | - - - - - - - - - 1 - - - - - - - - | 1 0.02 1.s | - - - - - - 1 - - - - - - - - - - - | 1 0.02 1.f | - - - - - - - - - - 1 - - - - - - - | 1 0.02 2 | - - - - 3 1 - - - - - - - - - - - - | 4 0.08 2.a | - - - - - - - - - - - - - - - - - - | 0 0.00 2.s | - - - - - - - - - - - - - - - - - - | 0 0.00 2.f | - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - 1 - - - 2 - - - - - - - - - | 3 0.06 4 | - - - - - - - - - 8 - - - - - - - - | 8 0.16 4.a | - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - - - 2 - - - - - - | 2 0.04 6.a | - - - - - - - - - - - - 2 - - - - - | 2 0.04 8 | - - - - - - - - - - - - - 1 - - - - | 1 0.02 8.a | - - - - - - - - - - - - - - - - - - | 0 0.00 9.a | - - - - - - - 1 - - - - - - - - - - | 1 0.02 u | - - - 1 - - - - - - - - - - 1 - - - | 2 0.04 x | - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+-------------------------------------------------------------------------------------------+------------ # | 20 0 0 3 4 1 1 1 2 9 1 2 2 1 1 0 0 2 | 50 prob | 0.40 0.00 0.00 0.06 0.08 0.02 0.02 0.02 0.04 0.18 0.02 0.04 0.04 0.02 0.02 0.00 0.00 0.04 | 1 sample size: 50 number of agreements: 39 ( 0.78) number of disagreements: 11 ( 0.22) Cohen's kappa = 0.715 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 1.a 1.s 1.f 2 3 4 4.a 4.s 6 6.a 8 9.a 9.f u x | # prob ------+---------------------------------------------------------------------------------+------------ 1 | 21 2 - - - - - - - - - - - - - - | 23 0.46 1.a | - 1 - - - - - - - - - - - - - - | 1 0.02 1.s | - - - - - - - - - - - - - - 1 - | 1 0.02 1.f | - - - - - - - 1 - - - - - - - - | 1 0.02 2 | 1 - - - 3 - - - - - - - - - - - | 4 0.08 3 | - - - - - 3 - - - - - - - - - - | 3 0.06 4 | - - - - - - 6 2 - - - - - - - - | 8 0.16 4.a | - - - - - - - - - - - - - - - - | 0 0.00 4.s | - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - 2 - - - - - - | 2 0.04 6.a | - - - - - - - - 2 - - - - - - - | 2 0.04 8 | - - - - - - - - - - - 1 - - - - | 1 0.02 9.a | - - - - - - - - - - - - - 1 - - | 1 0.02 9.f | - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - - - - - - - - - 2 - | 2 0.04 x | - - - - - - - - - - - - - - - 1 | 1 0.02 ------+---------------------------------------------------------------------------------+------------ # | 22 3 0 0 3 3 6 3 2 2 0 1 0 1 3 1 | 50 prob | 0.44 0.06 0.00 0.00 0.06 0.06 0.12 0.06 0.04 0.04 0.00 0.02 0.00 0.02 0.06 0.02 | 1 sample size: 50 number of agreements: 40 ( 0.80) number of disagreements: 10 ( 0.20) Cohen's kappa = 0.738 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.a 1.f 2 2.a 2.s 2.f 3 4 4.a 4.s 6 6.a 8 8.a 9.f u x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 18 2 - - - - - - - - - - - - - - - - | 20 0.40 1.a | - - - - - - - - - - - - - - - - - - | 0 0.00 1.f | 2 - - - - - - - - - - - - - - - 1 - | 3 0.06 2 | 1 - - 2 - - - 1 - - - - - - - - - - | 4 0.08 2.a | - - - 1 - - - - - - - - - - - - - - | 1 0.02 2.s | - - - - - - - - - - - - - - - - 1 - | 1 0.02 2.f | - - - - - - - - - - - - - - - 1 - - | 1 0.02 3 | - - - - - - - 2 - - - - - - - - - - | 2 0.04 4 | - 1 - - - - - - 6 2 - - - - - - - - | 9 0.18 4.a | - - - - - - - - - 1 - - - - - - - - | 1 0.02 4.s | - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - - - 2 - - - - - - | 2 0.04 6.a | - - - - - - - - - - 2 - - - - - - - | 2 0.04 8 | - - - - - - - - - - - - - 1 - - - - | 1 0.02 8.a | - - - - - - - - - - - - - - - - 1 - | 1 0.02 9.f | - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - - - - - - - - - - - - - | 0 0.00 x | 1 - - - - - - - - - - - - - - - - 1 | 2 0.04 ------+-------------------------------------------------------------------------------------------+------------ # | 22 3 0 3 0 0 0 3 6 3 2 2 0 1 0 1 3 1 | 50 prob | 0.44 0.06 0.00 0.06 0.00 0.00 0.00 0.06 0.12 0.06 0.04 0.04 0.00 0.02 0.00 0.02 0.06 0.02 | 1.00 sample size: 50 number of agreements: 33 ( 0.66) number of disagreements: 17 ( 0.34) Cohen's kappa = 0.570 ---------------------------------------------------------------------------------------------- Fleiss' kappa = 0.657 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK smash 50 10 4 0.622 35 0.700 AV_JT smash 50 10 4 0.633 35 0.700 AV_SC smash 50 10 4 0.675 37 0.740 EK_JT smash 50 10 4 0.715 39 0.780 EK_SC smash 50 10 4 0.738 40 0.800 JT_SC smash 50 10 4 0.570 33 0.660 ----------------------------------------------------------- smash AV EK JT SC AV - 0.622 0.633 0.675 EK - - 0.715 0.738 JT - - - 0.570 SC - - - -