--------------------------------------------------------------------------------------------- corpora: BNC, verb: part, number of patterns: 11, sample size: 50, annotators(4): AV EK JT SC --------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 1.a 2 3 3.s 4 4.a 5 6 7 7.a 7.s 8 9 10.s u x | # prob ------+--------------------------------------------------------------------------------------+------------ 1 | 4 - 1 - - - - - - - - - - - - - - | 5 0.10 1.a | - - - - - - - - - - - - - - - 1 - | 1 0.02 2 | - - 6 - - - 1 - - - - - - - - - - | 7 0.14 3 | - - - 5 - - - - - - - - - - - - - | 5 0.10 3.s | - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - - 10 1 - - - - - - - - - - | 11 0.22 4.a | - - - - - 1 1 - - - - - - - - - - | 2 0.04 5 | - - - - - - - 5 - - - - - - - - - | 5 0.10 6 | - - - - - - - - 2 - - - - - - - - | 2 0.04 7 | - - - - - - - - - 1 - - 2 - - - - | 3 0.06 7.a | - - - - - - - - - - - - - - - - - | 0 0.00 7.s | - - - - - - - - - 1 - - - - - - - | 1 0.02 8 | - - - - - - - - - - - - 1 - - - - | 1 0.02 9 | - - - - - - - - - - - - - 3 - - - | 3 0.06 10.s | - - - - - - - - - - 1 - - - - - - | 1 0.02 u | - - - - 1 - - - - - - - - - - - - | 1 0.02 x | 1 - - - - - - - - - - - - - - - 1 | 2 0.04 ------+--------------------------------------------------------------------------------------+------------ # | 5 0 7 5 1 11 3 5 2 2 1 0 3 3 0 1 1 | 50 prob | 0.10 0.00 0.14 0.10 0.02 0.22 0.06 0.10 0.04 0.04 0.02 0.00 0.06 0.06 0.00 0.02 0.02 | 1.00 sample size: 50 number of agreements: 39 ( 0.78) number of disagreements: 11 ( 0.22) Cohen's kappa = 0.753 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.a 2 2.s 3 4 4.a 5 5.c 6 7 7.s 8 9 10 10.s u x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 5 - - - - - - - - - - - - - - - - - | 5 0.10 1.a | - 1 - - - - - - - - - - - - - - - - | 1 0.02 2 | - - 6 1 - - - - - - - - - - - - - - | 7 0.14 2.s | - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - 5 - - - - - - - - - - - - - | 5 0.10 4 | - - - - - 9 2 - - - - - - - - - - - | 11 0.22 4.a | - - - 1 - 1 - - - - - - - - - - - - | 2 0.04 5 | - - - - - - - 4 1 - - - - - - - - - | 5 0.10 5.c | - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - 2 - - - - - - - - | 2 0.04 7 | - - - - - - - - - - - - 3 - - - - - | 3 0.06 7.s | - - - - - - - - - - 1 - - - - - - - | 1 0.02 8 | - - - - - - - - - - - - 1 - - - - - | 1 0.02 9 | - - - - - - - - - - - - - 3 - - - - | 3 0.06 10 | - - - - - - - - - - - - - - - - - - | 0 0.00 10.s | - - - - - - - - - - - - - - 1 - - - | 1 0.02 u | - - - - - - - - - - - - - - - - 1 - | 1 0.02 x | - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+-------------------------------------------------------------------------------------------+------------ # | 5 1 6 2 5 10 2 4 1 2 1 0 4 3 1 0 1 2 | 50 prob | 0.10 0.02 0.12 0.04 0.10 0.20 0.04 0.08 0.02 0.04 0.02 0.00 0.08 0.06 0.02 0.00 0.02 0.04 | 1.00 sample size: 50 number of agreements: 39 ( 0.78) number of disagreements: 11 ( 0.22) Cohen's kappa = 0.755 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 1.a 2 3 4 4.a 5 6 7 7.a 7.s 8 9 10.s u x | # prob ------+---------------------------------------------------------------------------------+------------ 1 | 5 - - - - - - - - - - - - - - - | 5 0.10 1.a | - - - - - 1 - - - - - - - - - - | 1 0.02 2 | - - 6 - - 1 - - - - - - - - - - | 7 0.14 3 | - - - 5 - - - - - - - - - - - - | 5 0.10 4 | - - - - 11 - - - - - - - - - - - | 11 0.22 4.a | - - - - 1 1 - - - - - - - - - - | 2 0.04 5 | - - - - - - 5 - - - - - - - - - | 5 0.10 6 | - - - - - - - 2 - - - - - - - - | 2 0.04 7 | - - - - - - - - 1 1 - 1 - - - - | 3 0.06 7.a | - - - - - - - - - - - - - - - - | 0 0.00 7.s | - - - - - - - - - - 1 - - - - - | 1 0.02 8 | - - - - - - - - - - - 1 - - - - | 1 0.02 9 | - - - - - - - - - - - - 3 - - - | 3 0.06 10.s | - - - - - - - - - - - - - 1 - - | 1 0.02 u | - - - - - - - - - - - - - - 1 - | 1 0.02 x | 1 - - - - - - - - - - - - - - 1 | 2 0.04 ------+---------------------------------------------------------------------------------+------------ # | 6 0 6 5 12 3 5 2 1 1 1 2 3 1 1 1 | 50 prob | 0.12 0.00 0.12 0.10 0.24 0.06 0.10 0.04 0.02 0.02 0.02 0.04 0.06 0.02 0.02 0.02 | 1 sample size: 50 number of agreements: 44 ( 0.88) number of disagreements: 6 ( 0.12) Cohen's kappa = 0.865 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.a 2 2.s 3 3.s 4 4.a 5 5.c 6 7 7.a 8 9 10 u x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 4 - - - - - - - - - - - - - - - - 1 | 5 0.10 1.a | - - - - - - - - - - - - - - - - - - | 0 0.00 2 | 1 - 6 - - - - - - - - - - - - - - - | 7 0.14 2.s | - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - 5 - - - - - - - - - - - - - | 5 0.10 3.s | - - - - - - - - - - - - - - - - 1 - | 1 0.02 4 | - - - - - - 10 1 - - - - - - - - - - | 11 0.22 4.a | - - - 2 - - - 1 - - - - - - - - - - | 3 0.06 5 | - - - - - - - - 4 1 - - - - - - - - | 5 0.10 5.c | - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - - 2 - - - - - - - | 2 0.04 7 | - - - - - - - - - - - 1 - 1 - - - - | 2 0.04 7.a | - - - - - - - - - - - - - - - 1 - - | 1 0.02 8 | - - - - - - - - - - - - - 3 - - - - | 3 0.06 9 | - - - - - - - - - - - - - - 3 - - - | 3 0.06 10 | - - - - - - - - - - - - - - - - - - | 0 0.00 u | - 1 - - - - - - - - - - - - - - - - | 1 0.02 x | - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+-------------------------------------------------------------------------------------------+------------ # | 5 1 6 2 5 0 10 2 4 1 2 1 0 4 3 1 1 2 | 50 prob | 0.10 0.02 0.12 0.04 0.10 0.00 0.20 0.04 0.08 0.02 0.04 0.02 0.00 0.08 0.06 0.02 0.02 0.04 | 1.00 sample size: 50 number of agreements: 40 ( 0.80) number of disagreements: 10 ( 0.20) Cohen's kappa = 0.777 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 2 3 3.s 4 4.a 5 6 7 7.a 7.s 8 9 10.s u x | # prob ------+---------------------------------------------------------------------------------+------------ 1 | 5 - - - - - - - - - - - - - - - | 5 0.10 2 | 1 6 - - - - - - - - - - - - - - | 7 0.14 3 | - - 5 - - - - - - - - - - - - - | 5 0.10 3.s | - - - - - - - - - - - - - - 1 - | 1 0.02 4 | - - - - 11 - - - - - - - - - - - | 11 0.22 4.a | - - - - 1 2 - - - - - - - - - - | 3 0.06 5 | - - - - - - 5 - - - - - - - - - | 5 0.10 6 | - - - - - - - 2 - - - - - - - - | 2 0.04 7 | - - - - - - - - 1 - 1 - - - - - | 2 0.04 7.a | - - - - - - - - - - - - - 1 - - | 1 0.02 7.s | - - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - 1 - 2 - - - - | 3 0.06 9 | - - - - - - - - - - - - 3 - - - | 3 0.06 10.s | - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - 1 - - - - - - - - - - | 1 0.02 x | - - - - - - - - - - - - - - - 1 | 1 0.02 ------+---------------------------------------------------------------------------------+------------ # | 6 6 5 0 12 3 5 2 1 1 1 2 3 1 1 1 | 50 prob | 0.12 0.12 0.10 0.00 0.24 0.06 0.10 0.04 0.02 0.02 0.02 0.04 0.06 0.02 0.02 0.02 | 1 sample size: 50 number of agreements: 43 ( 0.86) number of disagreements: 7 ( 0.14) Cohen's kappa = 0.842 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.a 2 2.s 3 4 4.a 5 5.c 6 7 7.a 7.s 8 9 10 10.s u x | # prob ------+------------------------------------------------------------------------------------------------+------------ 1 | 5 - - - - - - - - - - - - - - - - - - | 5 0.10 1.a | - - - - - - 1 - - - - - - - - - - - - | 1 0.02 2 | - - 6 - - - - - - - - - - - - - - - - | 6 0.12 2.s | - - - - - - 2 - - - - - - - - - - - - | 2 0.04 3 | - - - - 5 - - - - - - - - - - - - - - | 5 0.10 4 | - - - - - 10 - - - - - - - - - - - - - | 10 0.20 4.a | - - - - - 2 - - - - - - - - - - - - - | 2 0.04 5 | - - - - - - - 4 - - - - - - - - - - - | 4 0.08 5.c | - - - - - - - 1 - - - - - - - - - - - | 1 0.02 6 | - - - - - - - - - 2 - - - - - - - - - | 2 0.04 7 | - - - - - - - - - - - - 1 - - - - - - | 1 0.02 7.a | - - - - - - - - - - - - - - - - - - - | 0 0.00 7.s | - - - - - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - - 1 1 - 2 - - - - - | 4 0.08 9 | - - - - - - - - - - - - - - 3 - - - - | 3 0.06 10 | - - - - - - - - - - - - - - - - 1 - - | 1 0.02 10.s | - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - - - - - - - - - - - - 1 - | 1 0.02 x | 1 - - - - - - - - - - - - - - - - - 1 | 2 0.04 ------+------------------------------------------------------------------------------------------------+------------ # | 6 0 6 0 5 12 3 5 0 2 1 1 1 2 3 0 1 1 1 | 50 prob | 0.12 0.00 0.12 0.00 0.10 0.24 0.06 0.10 0.00 0.04 0.02 0.02 0.02 0.04 0.06 0.00 0.02 0.02 0.02 | 1 sample size: 50 number of agreements: 39 ( 0.78) number of disagreements: 11 ( 0.22) Cohen's kappa = 0.754 --------------------------------------------------------------------------------------------- Fleiss' kappa = 0.791 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK part 50 11 4 0.753 39 0.780 AV_JT part 50 11 4 0.755 39 0.780 AV_SC part 50 11 4 0.865 44 0.880 EK_JT part 50 11 4 0.777 40 0.800 EK_SC part 50 11 4 0.842 43 0.860 JT_SC part 50 11 4 0.754 39 0.780 ----------------------------------------------------------- part AV EK JT SC AV - 0.753 0.755 0.865 EK - - 0.777 0.842 JT - - - 0.754 SC - - - -