---------------------------------------------------------------------------------------------- corpora: BNC, verb: crush, number of patterns: 19, sample size: 50, annotators(4): AV EK JT SC ---------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 1.a 1.f 2 2.a 2.f 3 4 4.s 5 5.a 6 7 9 11 11.s 12 16 17 20.f u x | # prob ------+---------------------------------------------------------------------------------------------------------------+------------ 1 | 4 - 1 1 - - - - - - - - - - - - - - - - - - | 6 0.12 1.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 1.f | - - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 2 | - - - 4 - - - - - - - - - - - - - - - - - - | 4 0.08 2.a | - - - - 3 - - - - - - - - - - - - - - - - - | 3 0.06 2.f | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - - - 14 - - - - - - - - - - - - - - - | 14 0.28 4 | - - - - - - 1 6 - - - - - - - - - - - - - - | 7 0.14 4.s | - - - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 5 | - - - - - 1 - - - - 1 - - - - - - - - - - - | 2 0.04 5.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 9 | - - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 11 | - - - - - - - - - - - - - - 2 - - - - - - - | 2 0.04 11.s | - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 12 | - - - - - - - 1 - - - - - - 1 - - - - - - - | 2 0.04 16 | - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 17 | - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 20.f | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - 1 - - - - - - - - - - - - - - - - - - 1 - | 2 0.04 x | - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 ------+---------------------------------------------------------------------------------------------------------------+------------ # | 4 1 1 5 3 1 15 8 0 0 1 1 0 1 4 0 0 1 1 1 1 1 | 50 prob | 0.08 0.02 0.02 0.10 0.06 0.02 0.30 0.16 0.00 0.00 0.02 0.02 0.00 0.02 0.08 0.00 0.00 0.02 0.02 0.02 0.02 0.02 | 1.00 sample size: 50 number of agreements: 37 ( 0.74) number of disagreements: 13 ( 0.26) Cohen's kappa = 0.700 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.a 1.f 2 2.a 3 3.a 4 4.s 5 6 7 9 9.f 11 11.s 12 16 17 20.f u x | # prob ------+---------------------------------------------------------------------------------------------------------------+------------ 1 | 1 1 - - - - - - - - - - 4 - - - - - - - - - | 6 0.12 1.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 1.f | - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 2 | - - - 1 - - - - - - - - 3 - - - - - - - - - | 4 0.08 2.a | 1 - - - 1 - - - - - - - 1 - - - - - - - - - | 3 0.06 3 | - - - - - 12 1 1 - - - - - - - - - - - - - - | 14 0.28 3.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - - 2 - 4 - - - - - - - - 1 - - - - - | 7 0.14 4.s | - - - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 5 | - - - - - - - - - - - - - - - - 2 - - - - - | 2 0.04 6 | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 9.f | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - - - - - - - - - 2 - - - - - - - - | 2 0.04 11.s | - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 12 | - - - - - - - 1 - - - - - - - - 1 - - - - - | 2 0.04 16 | - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 17 | - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 20.f | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | 1 - - - - - - - - - - - - - - - - - - - 1 - | 2 0.04 x | - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 ------+---------------------------------------------------------------------------------------------------------------+------------ # | 3 1 0 1 1 14 1 7 0 0 1 1 10 2 0 0 4 1 1 1 1 0 | 50 prob | 0.06 0.02 0.00 0.02 0.02 0.28 0.02 0.14 0.00 0.00 0.02 0.02 0.20 0.04 0.00 0.00 0.08 0.02 0.02 0.02 0.02 0.00 | 1 sample size: 50 number of agreements: 25 ( 0.50) number of disagreements: 25 ( 0.50) Cohen's kappa = 0.434 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 1.f 2 2.a 2.c 2.f 3 4 4.a 4.s 5 6 7 9 11 11.s 12 16 17 20.f u x | # prob ------+---------------------------------------------------------------------------------------------------------------+------------ 1 | 3 - 1 1 1 - - - - - - - - - - - - - - - - - | 6 0.12 1.f | - 1 - - - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - 4 - - - - - - - - - - - - - - - - - - - | 4 0.08 2.a | - - 3 - - - - - - - - - - - - - - - - - - - | 3 0.06 2.c | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2.f | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - - - 12 1 - - - - - - 1 - - - - - - - | 14 0.28 4 | - - - - - - 1 6 - - - - - - - - - - - - - - | 7 0.14 4.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4.s | - - - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 5 | - - - - - 1 - - - - 1 - - - - - - - - - - - | 2 0.04 6 | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 11 | - - - - - 1 - - - - - - - - 1 - - - - - - - | 2 0.04 11.s | - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 12 | - 1 - - - - - - 1 - - - - - - - - - - - - - | 2 0.04 16 | - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 17 | - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 20.f | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | 1 - - - - - - - - - - - - - - - - - - - 1 - | 2 0.04 x | - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 ------+---------------------------------------------------------------------------------------------------------------+------------ # | 4 2 8 1 1 2 13 8 1 0 1 1 1 1 2 0 0 1 1 1 1 0 | 50 prob | 0.08 0.04 0.16 0.02 0.02 0.04 0.26 0.16 0.02 0.00 0.02 0.02 0.02 0.02 0.04 0.00 0.00 0.02 0.02 0.02 0.02 0.00 | 1.00 sample size: 50 number of agreements: 33 ( 0.66) number of disagreements: 17 ( 0.34) Cohen's kappa = 0.612 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.a 1.f 2 2.a 2.f 3 3.a 4 5.a 6 7 9 9.f 11 12 16 17 20.f u x | # prob ------+----------------------------------------------------------------------------------------------------------+------------ 1 | 1 - - - - - - - - - - - 3 - - - - - - - - | 4 0.08 1.a | 1 - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.f | - 1 - - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - - 1 - - - - - - - - 4 - - - - - - - - | 5 0.10 2.a | 1 - - - 1 - - - - - - - 1 - - - - - - - - | 3 0.06 2.f | - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 3 | - - - - - - 13 1 1 - - - - - - - - - - - - | 15 0.30 3.a | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - - - 1 - 6 - - - - - - 1 - - - - - | 8 0.16 5.a | - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 6 | - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 7 | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 9 | - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 9.f | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - - - - - - - - 1 2 - 1 - - - - - | 4 0.08 12 | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 16 | - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 17 | - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 20.f | - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 u | - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 x | - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 ------+----------------------------------------------------------------------------------------------------------+------------ # | 3 1 0 1 1 0 14 1 7 0 1 1 10 2 0 4 1 1 1 1 0 | 50 prob | 0.06 0.02 0.00 0.02 0.02 0.00 0.28 0.02 0.14 0.00 0.02 0.02 0.20 0.04 0.00 0.08 0.02 0.02 0.02 0.02 0.00 | 1 sample size: 50 number of agreements: 28 ( 0.56) number of disagreements: 22 ( 0.44) Cohen's kappa = 0.500 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 1.a 1.f 2 2.a 2.c 2.f 3 4 4.a 5 5.a 6 7 9 11 16 17 20.f u x | # prob ------+----------------------------------------------------------------------------------------------------------+------------ 1 | 2 - - 1 1 - - - - - - - - - - - - - - - - | 4 0.08 1.a | 1 - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.f | 1 - - - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - - 4 - 1 - - - - - - - - - - - - - - - | 5 0.10 2.a | - - - 3 - - - - - - - - - - - - - - - - - | 3 0.06 2.c | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2.f | - - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 3 | - - - - - - - 12 2 - - - - - - 1 - - - - - | 15 0.30 4 | - - - - - - - 1 6 1 - - - - - - - - - - - | 8 0.16 4.a | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 5.a | - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 6 | - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 7 | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 9 | - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 11 | - - 2 - - - 1 - - - - - - - - 1 - - - - - | 4 0.08 16 | - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 17 | - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 20.f | - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 u | - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 x | - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 ------+----------------------------------------------------------------------------------------------------------+------------ # | 4 0 2 8 1 1 2 13 8 1 1 0 1 1 1 2 1 1 1 1 0 | 50 prob | 0.08 0.00 0.04 0.16 0.02 0.02 0.04 0.26 0.16 0.02 0.02 0.00 0.02 0.02 0.02 0.04 0.02 0.02 0.02 0.02 0.00 | 1.00 sample size: 50 number of agreements: 32 ( 0.64) number of disagreements: 18 ( 0.36) Cohen's kappa = 0.584 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.a 1.f 2 2.a 2.c 2.f 3 3.a 4 4.a 5 6 7 9 9.f 11 12 16 17 20.f u | # prob ------+---------------------------------------------------------------------------------------------------------------+------------ 1 | 1 - - 1 1 - - - - - - - - - - - - - - - - - | 3 0.06 1.a | 1 - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.f | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 2.a | - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 2.c | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2.f | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - - - - 12 - 1 - - - - - - 1 - - - - - | 14 0.28 3.a | - - - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 4 | - - - - - - - - - 6 1 - - - - - - - - - - - | 7 0.14 4.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 7 | - - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 9 | 2 - 1 5 - 1 - - - - - - - - 1 - - - - - - - | 10 0.20 9.f | - - - - - - 1 - - - - - - - - - 1 - - - - - | 2 0.04 11 | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 12 | - - 1 - - - 1 - - 1 - 1 - - - - - - - - - - | 4 0.08 16 | - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 17 | - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 20.f | - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 u | - - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+---------------------------------------------------------------------------------------------------------------+------------ # | 4 0 2 8 1 1 2 13 0 8 1 1 1 1 1 0 2 0 1 1 1 1 | 50 prob | 0.08 0.00 0.04 0.16 0.02 0.02 0.04 0.26 0.00 0.16 0.02 0.02 0.02 0.02 0.02 0.00 0.04 0.00 0.02 0.02 0.02 0.02 | 1 sample size: 50 number of agreements: 27 ( 0.54) number of disagreements: 23 ( 0.46) Cohen's kappa = 0.483 ---------------------------------------------------------------------------------------------- Fleiss' kappa = 0.549 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK crush 50 19 4 0.700 37 0.740 AV_JT crush 50 19 4 0.434 25 0.500 AV_SC crush 50 19 4 0.612 33 0.660 EK_JT crush 50 19 4 0.500 28 0.560 EK_SC crush 50 19 4 0.584 32 0.640 JT_SC crush 50 19 4 0.483 27 0.540 ----------------------------------------------------------- crush AV EK JT SC AV - 0.700 0.434 0.612 EK - - 0.500 0.584 JT - - - 0.483 SC - - - -