----------------------------------------------------------------------------------------------- corpora: BNC, verb: plough, number of patterns: 17, sample size: 50, annotators(4): AV EK JT SC ----------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 1.s 3 3.s 4 5 5.s 7 8 12 13 15 15.s 17 18 18.s x | # prob ------+--------------------------------------------------------------------------------------+------------ 1 | 12 - - - - - - - - - - - - - - - - | 12 0.24 1.s | 1 - - - - - - - - - - - - - - 1 - | 2 0.04 3 | - - - - - - - - - - - - - - - - - | 0 0.00 3.s | - - 2 - - - - - - - - - - - - - - | 2 0.04 4 | - - - - 2 - - - - - - - - - - - - | 2 0.04 5 | - - - - - 5 - - - - - - - - - - - | 5 0.10 5.s | - - - - - - 1 - - - - - - - - - - | 1 0.02 7 | - - - - - - - 5 - - - - - - - - - | 5 0.10 8 | - - - - - - - - 4 - - - - - - - - | 4 0.08 12 | - - - - - - - - - 1 - - - - - - - | 1 0.02 13 | - - - - - - - - - - 1 - - - - - - | 1 0.02 15 | 1 - - - - - - - - - - 8 - - - - - | 9 0.18 15.s | - - - - - - - - - - - - 1 - - - - | 1 0.02 17 | - - - - - - - - - - - - - 1 - - - | 1 0.02 18 | - - - - - - - - - - - - - - 1 - - | 1 0.02 18.s | - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - 3 | 3 0.06 ------+--------------------------------------------------------------------------------------+------------ # | 14 0 2 0 2 5 1 5 4 1 1 8 1 1 1 1 3 | 50 prob | 0.28 0.00 0.04 0.00 0.04 0.10 0.02 0.10 0.08 0.02 0.02 0.16 0.02 0.02 0.02 0.02 0.06 | 1.00 sample size: 50 number of agreements: 45 ( 0.90) number of disagreements: 5 ( 0.10) Cohen's kappa = 0.885 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.s 3 3.s 4 5 5.s 7 7.a 8 12 13 15 15.s 17 18 18.a 18.s 18.f x | # prob ------+-----------------------------------------------------------------------------------------------------+------------ 1 | 9 3 - - - - - - - - - - - - - - - - - - | 12 0.24 1.s | 1 - - - - - - - - - - - - - - - - 1 - - | 2 0.04 3 | - - - - - - - - - - - - - - - - - - - - | 0 0.00 3.s | - - 2 - - - - - - - - - - - - - - - - - | 2 0.04 4 | - - - - 2 - - - - - - - - - - - - - - - | 2 0.04 5 | - - - - - 5 - - - - - - - - - - - - - - | 5 0.10 5.s | - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 7 | - - - - - - - 4 1 - - - - - - - - - - - | 5 0.10 7.a | - - - - - - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - 4 - - - - - - - - - - | 4 0.08 12 | - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 13 | - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 15 | - - - - - - - - - - - - 9 - - - - - - - | 9 0.18 15.s | - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 17 | - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 18 | - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 18.a | - - - - - - - - - - - - - - - - - - - - | 0 0.00 18.s | - - - - - - - - - - - - - - - - - - - - | 0 0.00 18.f | - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - - 3 | 3 0.06 ------+-----------------------------------------------------------------------------------------------------+------------ # | 10 3 2 0 2 5 0 4 1 4 1 1 10 0 1 0 1 1 1 3 | 50 prob | 0.20 0.06 0.04 0.00 0.04 0.10 0.00 0.08 0.02 0.08 0.02 0.02 0.20 0.00 0.02 0.00 0.02 0.02 0.02 0.06 | 1.00 sample size: 50 number of agreements: 39 ( 0.78) number of disagreements: 11 ( 0.22) Cohen's kappa = 0.751 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 1.s 3 3.s 4 4.s 5 5.s 7 8 12 12.c 13 15 15.s 17 18 18.a x | # prob ------+------------------------------------------------------------------------------------------------+------------ 1 | 12 - - - - - - - - - - - - - - - - - - | 12 0.24 1.s | 1 1 - - - - - - - - - - - - - - - - - | 2 0.04 3 | - - - - - - - - - - - - - - - - - - - | 0 0.00 3.s | - - 2 - - - - - - - - - - - - - - - - | 2 0.04 4 | - - - - 1 1 - - - - - - - - - - - - - | 2 0.04 4.s | - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - 5 - - - - - - - - - - - - | 5 0.10 5.s | - - - - - - - - - - - - - - - - - 1 - | 1 0.02 7 | - - - - - - - - 5 - - - - - - - - - - | 5 0.10 8 | - - - - - - - - - 4 - - - - - - - - - | 4 0.08 12 | - - - - - - - - - - - 1 - - - - - - - | 1 0.02 12.c | - - - - - - - - - - - - - - - - - - - | 0 0.00 13 | - - - - - - - - - - - - 1 - - - - - - | 1 0.02 15 | 1 - - - - - - - - - - - - 8 - - - - - | 9 0.18 15.s | - - - - - - - - - - - - - 1 - - - - - | 1 0.02 17 | - - - - - - - - - - - - - - - 1 - - - | 1 0.02 18 | - - - - - - - - - - - - - - - - 1 - - | 1 0.02 18.a | - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - 3 | 3 0.06 ------+------------------------------------------------------------------------------------------------+------------ # | 14 1 2 0 1 1 5 0 5 4 0 1 1 9 0 1 1 1 3 | 50 prob | 0.28 0.02 0.04 0.00 0.02 0.02 0.10 0.00 0.10 0.08 0.00 0.02 0.02 0.18 0.00 0.02 0.02 0.02 0.06 | 1 sample size: 50 number of agreements: 42 ( 0.84) number of disagreements: 8 ( 0.16) Cohen's kappa = 0.816 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.s 3 4 5 5.s 7 7.a 8 12 13 15 15.s 17 18 18.a 18.s 18.f x | # prob ------+------------------------------------------------------------------------------------------------+------------ 1 | 10 3 - - - - - - - - - 1 - - - - - - - | 14 0.28 1.s | - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - 2 - - - - - - - - - - - - - - - - | 2 0.04 4 | - - - 2 - - - - - - - - - - - - - - - | 2 0.04 5 | - - - - 5 - - - - - - - - - - - - - - | 5 0.10 5.s | - - - - - - - - - - - - - - - - - 1 - | 1 0.02 7 | - - - - - - 4 1 - - - - - - - - - - - | 5 0.10 7.a | - - - - - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - 4 - - - - - - - - - - | 4 0.08 12 | - - - - - - - - - 1 - - - - - - - - - | 1 0.02 13 | - - - - - - - - - - 1 - - - - - - - - | 1 0.02 15 | - - - - - - - - - - - 8 - - - - - - - | 8 0.16 15.s | - - - - - - - - - - - 1 - - - - - - - | 1 0.02 17 | - - - - - - - - - - - - - 1 - - - - - | 1 0.02 18 | - - - - - - - - - - - - - - - 1 - - - | 1 0.02 18.a | - - - - - - - - - - - - - - - - - - - | 0 0.00 18.s | - - - - - - - - - - - - - - - - 1 - - | 1 0.02 18.f | - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - 3 | 3 0.06 ------+------------------------------------------------------------------------------------------------+------------ # | 10 3 2 2 5 0 4 1 4 1 1 10 0 1 0 1 1 1 3 | 50 prob | 0.20 0.06 0.04 0.04 0.10 0.00 0.08 0.02 0.08 0.02 0.02 0.20 0.00 0.02 0.00 0.02 0.02 0.02 0.06 | 1.00 sample size: 50 number of agreements: 42 ( 0.84) number of disagreements: 8 ( 0.16) Cohen's kappa = 0.818 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 1.s 3 4 4.s 5 5.s 7 8 12 12.c 13 15 15.s 17 18 18.a 18.s x | # prob ------+------------------------------------------------------------------------------------------------+------------ 1 | 14 - - - - - - - - - - - - - - - - - - | 14 0.28 1.s | - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - 2 - - - - - - - - - - - - - - - - | 2 0.04 4 | - - - 1 1 - - - - - - - - - - - - - - | 2 0.04 4.s | - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - 5 - - - - - - - - - - - - - | 5 0.10 5.s | - - - - - - - - - - - - - - - - 1 - - | 1 0.02 7 | - - - - - - - 5 - - - - - - - - - - - | 5 0.10 8 | - - - - - - - - 4 - - - - - - - - - - | 4 0.08 12 | - - - - - - - - - - 1 - - - - - - - - | 1 0.02 12.c | - - - - - - - - - - - - - - - - - - - | 0 0.00 13 | - - - - - - - - - - - 1 - - - - - - - | 1 0.02 15 | - - - - - - - - - - - - 8 - - - - - - | 8 0.16 15.s | - - - - - - - - - - - - 1 - - - - - - | 1 0.02 17 | - - - - - - - - - - - - - - 1 - - - - | 1 0.02 18 | - - - - - - - - - - - - - - - 1 - - - | 1 0.02 18.a | - - - - - - - - - - - - - - - - - - - | 0 0.00 18.s | - 1 - - - - - - - - - - - - - - - - - | 1 0.02 x | - - - - - - - - - - - - - - - - - - 3 | 3 0.06 ------+------------------------------------------------------------------------------------------------+------------ # | 14 1 2 1 1 5 0 5 4 0 1 1 9 0 1 1 1 0 3 | 50 prob | 0.28 0.02 0.04 0.02 0.02 0.10 0.00 0.10 0.08 0.00 0.02 0.02 0.18 0.00 0.02 0.02 0.02 0.00 0.06 | 1 sample size: 50 number of agreements: 45 ( 0.90) number of disagreements: 5 ( 0.10) Cohen's kappa = 0.884 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.s 3 4 4.s 5 7 7.a 8 12 12.c 13 15 17 18 18.a 18.s 18.f x | # prob ------+------------------------------------------------------------------------------------------------+------------ 1 | 10 - - - - - - - - - - - - - - - - - - | 10 0.20 1.s | 3 - - - - - - - - - - - - - - - - - - | 3 0.06 3 | - - 2 - - - - - - - - - - - - - - - - | 2 0.04 4 | - - - 1 1 - - - - - - - - - - - - - - | 2 0.04 4.s | - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - 5 - - - - - - - - - - - - - | 5 0.10 7 | - - - - - - 4 - - - - - - - - - - - - | 4 0.08 7.a | - - - - - - 1 - - - - - - - - - - - - | 1 0.02 8 | - - - - - - - - 4 - - - - - - - - - - | 4 0.08 12 | - - - - - - - - - - 1 - - - - - - - - | 1 0.02 12.c | - - - - - - - - - - - - - - - - - - - | 0 0.00 13 | - - - - - - - - - - - 1 - - - - - - - | 1 0.02 15 | 1 - - - - - - - - - - - 9 - - - - - - | 10 0.20 17 | - - - - - - - - - - - - - 1 - - - - - | 1 0.02 18 | - - - - - - - - - - - - - - - - - - - | 0 0.00 18.a | - - - - - - - - - - - - - - 1 - - - - | 1 0.02 18.s | - 1 - - - - - - - - - - - - - - - - - | 1 0.02 18.f | - - - - - - - - - - - - - - - 1 - - - | 1 0.02 x | - - - - - - - - - - - - - - - - - - 3 | 3 0.06 ------+------------------------------------------------------------------------------------------------+------------ # | 14 1 2 1 1 5 5 0 4 0 1 1 9 1 1 1 0 0 3 | 50 prob | 0.28 0.02 0.04 0.02 0.02 0.10 0.10 0.00 0.08 0.00 0.02 0.02 0.18 0.02 0.02 0.02 0.00 0.00 0.06 | 1 sample size: 50 number of agreements: 40 ( 0.80) number of disagreements: 10 ( 0.20) Cohen's kappa = 0.771 ----------------------------------------------------------------------------------------------- Fleiss' kappa = 0.820 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK plough 50 17 4 0.885 45 0.900 AV_JT plough 50 17 4 0.751 39 0.780 AV_SC plough 50 17 4 0.816 42 0.840 EK_JT plough 50 17 4 0.818 42 0.840 EK_SC plough 50 17 4 0.884 45 0.900 JT_SC plough 50 17 4 0.771 40 0.800 ----------------------------------------------------------- plough AV EK JT SC AV - 0.885 0.751 0.816 EK - - 0.818 0.884 JT - - - 0.771 SC - - - -