------------------------------------------------------------------------------------------------ corpora: BNC, verb: trouble, number of patterns: 13, sample size: 50, annotators(4): AV EK JT SC ------------------------------------------------------------------------------------------------ +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 1.a 1.c 2 2.a 3 5 7 7.a 8 12 14 x | # prob ------+------------------------------------------------------------------+------------ 1 | 19 - - - 3 - - - 1 - - - - | 23 0.46 1.a | 2 - - - - - - - - - - - - | 2 0.04 1.c | - 1 - - - - - - - - - - - | 1 0.02 2 | 1 - - 1 - - - - - - - - - | 2 0.04 2.a | - - - - - - - - - - - - - | 0 0.00 3 | - - - - - 3 - - - - - - - | 3 0.06 5 | - - - - - - 2 - - - - - - | 2 0.04 7 | - - - - - - - 6 - 1 - - - | 7 0.14 7.a | - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - - - 2 - - | 2 0.04 14 | - - - - - - - - - - - 3 - | 3 0.06 x | - - - - - - - - - - - - 5 | 5 0.10 ------+------------------------------------------------------------------+------------ # | 22 1 0 1 3 3 2 6 1 1 2 3 5 | 50 prob | 0.44 0.02 0.00 0.02 0.06 0.06 0.04 0.12 0.02 0.02 0.04 0.06 0.10 | 1.00 sample size: 50 number of agreements: 41 ( 0.82) number of disagreements: 9 ( 0.18) Cohen's kappa = 0.763 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.a 1.c 2 2.a 3 3.a 4.a 5 7 7.a 8 12 14 x | # prob ------+----------------------------------------------------------------------------+------------ 1 | 14 - 1 1 2 - - - - 4 - 1 - - - | 23 0.46 1.a | - - 1 1 - - - - - - - - - - - | 2 0.04 1.c | - - - - - - 1 - - - - - - - - | 1 0.02 2 | - - - - - - - 1 - - - 1 - - - | 2 0.04 2.a | - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - - 3 - - - - - - - - - | 3 0.06 3.a | - - - - - - - - - - - - - - - | 0 0.00 4.a | - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - 2 - - - - - - | 2 0.04 7 | - - - - - - - - - 6 1 - - - - | 7 0.14 7.a | - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - - - - - 2 - - | 2 0.04 14 | - - - - - - - - - - - - - 3 - | 3 0.06 x | - - - - - - - - - - - - - - 5 | 5 0.10 ------+----------------------------------------------------------------------------+------------ # | 14 0 2 2 2 3 1 1 2 10 1 2 2 3 5 | 50 prob | 0.28 0.00 0.04 0.04 0.04 0.06 0.02 0.02 0.04 0.20 0.02 0.04 0.04 0.06 0.10 | 1.00 sample size: 50 number of agreements: 35 ( 0.70) number of disagreements: 15 ( 0.30) Cohen's kappa = 0.634 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 1.a 1.c 2 3 5 7 7.s 8 12 14 x | # prob ------+-------------------------------------------------------------+------------ 1 | 23 - - - - - - - - - - - | 23 0.46 1.a | 2 - - - - - - - - - - - | 2 0.04 1.c | - - 1 - - - - - - - - - | 1 0.02 2 | - - - 1 - - - - 1 - - - | 2 0.04 3 | - - - - 3 - - - - - - - | 3 0.06 5 | - - - - - 2 - - - - - - | 2 0.04 7 | - - - - - - 4 2 1 - - - | 7 0.14 7.s | - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - - 2 - - | 2 0.04 14 | - - - - - - - - - - 3 - | 3 0.06 x | - - - - - - - - - - - 5 | 5 0.10 ------+-------------------------------------------------------------+------------ # | 25 0 1 1 3 2 4 2 2 2 3 5 | 50 prob | 0.50 0.00 0.02 0.02 0.06 0.04 0.08 0.04 0.04 0.04 0.06 0.10 | 1.00 sample size: 50 number of agreements: 44 ( 0.88) number of disagreements: 6 ( 0.12) Cohen's kappa = 0.837 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.a 1.c 2 2.a 3 3.a 4.a 5 7 7.a 8 12 14 x | # prob ------+----------------------------------------------------------------------------+------------ 1 | 12 - 2 2 2 - - 1 - 3 - - - - - | 22 0.44 1.a | - - - - - - 1 - - - - - - - - | 1 0.02 1.c | - - - - - - - - - - - - - - - | 0 0.00 2 | - - - - - - - - - - - 1 - - - | 1 0.02 2.a | 2 - - - - - - - - 1 - - - - - | 3 0.06 3 | - - - - - 3 - - - - - - - - - | 3 0.06 3.a | - - - - - - - - - - - - - - - | 0 0.00 4.a | - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - 2 - - - - - - | 2 0.04 7 | - - - - - - - - - 6 - - - - - | 6 0.12 7.a | - - - - - - - - - - - 1 - - - | 1 0.02 8 | - - - - - - - - - - 1 - - - - | 1 0.02 12 | - - - - - - - - - - - - 2 - - | 2 0.04 14 | - - - - - - - - - - - - - 3 - | 3 0.06 x | - - - - - - - - - - - - - - 5 | 5 0.10 ------+----------------------------------------------------------------------------+------------ # | 14 0 2 2 2 3 1 1 2 10 1 2 2 3 5 | 50 prob | 0.28 0.00 0.04 0.04 0.04 0.06 0.02 0.02 0.04 0.20 0.02 0.04 0.04 0.06 0.10 | 1.00 sample size: 50 number of agreements: 33 ( 0.66) number of disagreements: 17 ( 0.34) Cohen's kappa = 0.589 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 1.a 1.c 2 2.a 3 5 7 7.a 7.s 8 12 14 x | # prob ------+-----------------------------------------------------------------------+------------ 1 | 21 - - 1 - - - - - - - - - - | 22 0.44 1.a | - - 1 - - - - - - - - - - - | 1 0.02 1.c | - - - - - - - - - - - - - - | 0 0.00 2 | - - - - - - - - - - 1 - - - | 1 0.02 2.a | 3 - - - - - - - - - - - - - | 3 0.06 3 | - - - - - 3 - - - - - - - - | 3 0.06 5 | - - - - - - 2 - - - - - - - | 2 0.04 7 | - - - - - - - 4 - 2 - - - - | 6 0.12 7.a | 1 - - - - - - - - - - - - - | 1 0.02 7.s | - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - - 1 - - - | 1 0.02 12 | - - - - - - - - - - - 2 - - | 2 0.04 14 | - - - - - - - - - - - - 3 - | 3 0.06 x | - - - - - - - - - - - - - 5 | 5 0.10 ------+-----------------------------------------------------------------------+------------ # | 25 0 1 1 0 3 2 4 0 2 2 2 3 5 | 50 prob | 0.50 0.00 0.02 0.02 0.00 0.06 0.04 0.08 0.00 0.04 0.04 0.04 0.06 0.10 | 1.00 sample size: 50 number of agreements: 41 ( 0.82) number of disagreements: 9 ( 0.18) Cohen's kappa = 0.760 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.c 2 2.a 3 3.a 4.a 5 7 7.a 7.s 8 12 14 x | # prob ------+----------------------------------------------------------------------------+------------ 1 | 14 - - - - - - - - - - - - - - | 14 0.28 1.c | 2 - - - - - - - - - - - - - - | 2 0.04 2 | 2 - - - - - - - - - - - - - - | 2 0.04 2.a | 2 - - - - - - - - - - - - - - | 2 0.04 3 | - - - - 3 - - - - - - - - - - | 3 0.06 3.a | - 1 - - - - - - - - - - - - - | 1 0.02 4.a | - - 1 - - - - - - - - - - - - | 1 0.02 5 | - - - - - - - 2 - - - - - - - | 2 0.04 7 | 4 - - - - - - - 4 - 2 - - - - | 10 0.20 7.a | - - - - - - - - - - - 1 - - - | 1 0.02 7.s | - - - - - - - - - - - - - - - | 0 0.00 8 | 1 - - - - - - - - - - 1 - - - | 2 0.04 12 | - - - - - - - - - - - - 2 - - | 2 0.04 14 | - - - - - - - - - - - - - 3 - | 3 0.06 x | - - - - - - - - - - - - - - 5 | 5 0.10 ------+----------------------------------------------------------------------------+------------ # | 25 1 1 0 3 0 0 2 4 0 2 2 2 3 5 | 50 prob | 0.50 0.02 0.02 0.00 0.06 0.00 0.00 0.04 0.08 0.00 0.04 0.04 0.04 0.06 0.10 | 1.00 sample size: 50 number of agreements: 34 ( 0.68) number of disagreements: 16 ( 0.32) Cohen's kappa = 0.610 ------------------------------------------------------------------------------------------------ Fleiss' kappa = 0.693 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK trouble 50 13 4 0.763 41 0.820 AV_JT trouble 50 13 4 0.634 35 0.700 AV_SC trouble 50 13 4 0.837 44 0.880 EK_JT trouble 50 13 4 0.589 33 0.660 EK_SC trouble 50 13 4 0.760 41 0.820 JT_SC trouble 50 13 4 0.610 34 0.680 ----------------------------------------------------------- trouble AV EK JT SC AV - 0.763 0.634 0.837 EK - - 0.589 0.760 JT - - - 0.610 SC - - - -