---------------------------------------------------------------------------------------------- corpora: BNC, verb: swell, number of patterns: 23, sample size: 50, annotators(4): AV EK JT SC ---------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 4 5 5.a 6 8 9 11.s 12 13 14 15 16 18 19 20 21 23 u x | # prob ------+-----------------------------------------------------------------------------------------------------+------------ 1 | 10 - - - - - - 1 - - - - - - - - - - - - | 11 0.22 4 | - 6 - - - - - - - - - - - - - - - - - - | 6 0.12 5 | - - 4 - - - - - - - - - - - - - - - - - | 4 0.08 5.a | - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 6 | - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 8 | - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 11.s | - - - - - - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - 6 1 - - - - - - - - - - | 7 0.14 13 | - - - - - - - - - - - - - - - - - - - - | 0 0.00 14 | - - 1 - - - - - - - - - - 1 1 - - - - - | 3 0.06 15 | - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - 6 - - - - - 1 1 | 8 0.16 18 | - - - - - - - - - - - - - - - - - - - - | 0 0.00 19 | - - - - - - - - - - - - - - 1 1 - - - - | 2 0.04 20 | - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 21 | - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 23 | - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 u | - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+-----------------------------------------------------------------------------------------------------+------------ # | 10 6 5 0 1 1 0 1 6 1 0 1 6 2 4 2 0 0 2 2 | 50 prob | 0.20 0.12 0.10 0.00 0.02 0.02 0.00 0.02 0.12 0.02 0.00 0.02 0.12 0.04 0.08 0.04 0.00 0.00 0.04 0.04 | 1 sample size: 50 number of agreements: 37 ( 0.74) number of disagreements: 13 ( 0.26) Cohen's kappa = 0.708 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.a 4 5 5.a 6 8 9 12 14 15 16 19 19.a 20 21 23 x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 9 2 - - - - - - - - - - - - - - - - | 11 0.22 1.a | - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - 6 - - - - - - - - - - - - - - - | 6 0.12 5 | - - - 4 - - - - - - - - - - - - - - | 4 0.08 5.a | - - - 1 - - - - - - - - - - - - - - | 1 0.02 6 | - - - - - 1 - - - - - - - - - - - - | 1 0.02 8 | - - - - - - 1 - - - - - - - - - - - | 1 0.02 9 | - - - - - - - 1 - - - - - - - - - - | 1 0.02 12 | - - - - - - - - 7 - - - - - - - - - | 7 0.14 14 | - - - 1 - - - - - 1 - - 1 - - - - - | 3 0.06 15 | - - - - - - - - - - 1 - - - - - - - | 1 0.02 16 | - - - - - - - - - - - 8 - - - - - - | 8 0.16 19 | - - - - - - - - - - - - - 1 1 - - - | 2 0.04 19.a | - - - - - - - - - - - - - - - - - - | 0 0.00 20 | - - - - - - - - - - - - - - 1 - - - | 1 0.02 21 | - - - - - - - - - - - - - - - 1 - - | 1 0.02 23 | - - - - - - - - - - - - 1 - - - - - | 1 0.02 x | - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+-------------------------------------------------------------------------------------------+------------ # | 9 2 6 6 0 1 1 1 7 1 1 8 2 1 2 1 0 1 | 50 prob | 0.18 0.04 0.12 0.12 0.00 0.02 0.02 0.02 0.14 0.02 0.02 0.16 0.04 0.02 0.04 0.02 0.00 0.02 | 1 sample size: 50 number of agreements: 42 ( 0.84) number of disagreements: 8 ( 0.16) Cohen's kappa = 0.819 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 4 5 5.a 6 8 9 11.s 12 13 14 15 16 18 19 19.a 20 21 23 23.f u x | # prob ------+---------------------------------------------------------------------------------------------------------------+------------ 1 | 10 - - - - - - 1 - - - - - - - - - - - - - - | 11 0.22 4 | - 6 - - - - - - - - - - - - - - - - - - - - | 6 0.12 5 | - - 3 - - - - - - - - - - 1 - - - - - - - - | 4 0.08 5.a | - - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 6 | - - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 8 | - - - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 11.s | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - 6 1 - - - - - - - - - - - - | 7 0.14 13 | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 14 | - - - - - - - - - - - - - 2 1 - - - - - - - | 3 0.06 15 | - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - 7 - - - - - - - 1 - | 8 0.16 18 | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 19 | - - - - - - - - - - - - - - - 1 1 - - - - - | 2 0.04 19.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 20 | - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 21 | - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 23 | - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 23.f | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+---------------------------------------------------------------------------------------------------------------+------------ # | 10 6 3 0 1 1 0 1 6 1 0 1 7 4 1 2 1 1 0 1 2 1 | 50 prob | 0.20 0.12 0.06 0.00 0.02 0.02 0.00 0.02 0.12 0.02 0.00 0.02 0.14 0.08 0.02 0.04 0.02 0.02 0.00 0.02 0.04 0.02 | 1 sample size: 50 number of agreements: 37 ( 0.74) number of disagreements: 13 ( 0.26) Cohen's kappa = 0.709 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.a 4 5 6 8 9 11.s 12 13 14 15 16 18 19 19.a 20 21 u x | # prob ------+-----------------------------------------------------------------------------------------------------+------------ 1 | 9 1 - - - - - - - - - - - - - - - - - - | 10 0.20 1.a | - - - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - 6 - - - - - - - - - - - - - - - - - | 6 0.12 5 | - - - 5 - - - - - - - - - - - - - - - - | 5 0.10 6 | - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 8 | - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - - - - - - - - | 0 0.00 11.s | - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 12 | - - - - - - - - 6 - - - - - - - - - - - | 6 0.12 13 | - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 14 | - - - - - - - - - - - - - - - - - - - - | 0 0.00 15 | - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - 6 - - - - - - - | 6 0.12 18 | - - - 1 - - - - - - 1 - - - - - - - - - | 2 0.04 19 | - - - - - - - - - - - - - - 2 1 1 - - - | 4 0.08 19.a | - - - - - - - - - - - - - - - - - - - - | 0 0.00 20 | - - - - - - - - - - - - - - - - 1 1 - - | 2 0.04 21 | - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - 1 - - - - - 1 - - - - - - - | 2 0.04 x | - - - - - - - - - - - - 1 - - - - - - 1 | 2 0.04 ------+-----------------------------------------------------------------------------------------------------+------------ # | 9 2 6 6 1 1 1 0 7 0 1 1 8 0 2 1 2 1 0 1 | 50 prob | 0.18 0.04 0.12 0.12 0.02 0.02 0.02 0.00 0.14 0.00 0.02 0.02 0.16 0.00 0.04 0.02 0.04 0.02 0.00 0.02 | 1.00 sample size: 50 number of agreements: 39 ( 0.78) number of disagreements: 11 ( 0.22) Cohen's kappa = 0.754 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 4 5 6 8 11.s 12 13 15 16 18 19 19.a 20 21 23.f u x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 10 - - - - - - - - - - - - - - - - - | 10 0.20 4 | - 6 - - - - - - - - - - - - - - - - | 6 0.12 5 | - - 3 - - - - - - - 2 - - - - - - - | 5 0.10 6 | - - - 1 - - - - - - - - - - - - - - | 1 0.02 8 | - - - - 1 - - - - - - - - - - - - - | 1 0.02 11.s | - - - - - 1 - - - - - - - - - - - - | 1 0.02 12 | - - - - - - 6 - - - - - - - - - - - | 6 0.12 13 | - - - - - - - 1 - - - - - - - - - - | 1 0.02 15 | - - - - - - - - 1 - - - - - - - - - | 1 0.02 16 | - - - - - - - - - 6 - - - - - - - - | 6 0.12 18 | - - - - - - - - - - 2 - - - - - - - | 2 0.04 19 | - - - - - - - - - - - 1 2 - - 1 - - | 4 0.08 19.a | - - - - - - - - - - - - - - - - - - | 0 0.00 20 | - - - - - - - - - - - - - 1 1 - - - | 2 0.04 21 | - - - - - - - - - - - - - - - - - - | 0 0.00 23.f | - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - - - - - - - - - - - 2 - | 2 0.04 x | - - - - - - - - - 1 - - - - - - - 1 | 2 0.04 ------+-------------------------------------------------------------------------------------------+------------ # | 10 6 3 1 1 1 6 1 1 7 4 1 2 1 1 1 2 1 | 50 prob | 0.20 0.12 0.06 0.02 0.02 0.02 0.12 0.02 0.02 0.14 0.08 0.02 0.04 0.02 0.02 0.02 0.04 0.02 | 1.00 sample size: 50 number of agreements: 43 ( 0.86) number of disagreements: 7 ( 0.14) Cohen's kappa = 0.844 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.a 4 5 6 8 9 11.s 12 13 14 15 16 18 19 19.a 20 21 23.f u x | # prob ------+----------------------------------------------------------------------------------------------------------+------------ 1 | 9 - - - - - - - - - - - - - - - - - - - - | 9 0.18 1.a | 1 - - - - - - 1 - - - - - - - - - - - - - | 2 0.04 4 | - - 6 - - - - - - - - - - - - - - - - - - | 6 0.12 5 | - - - 3 - - - - - - - - - 3 - - - - - - - | 6 0.12 6 | - - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 8 | - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 11.s | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - 6 1 - - - - - - - - - - - | 7 0.14 13 | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 14 | - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 15 | - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - 7 - - - - - - 1 - | 8 0.16 18 | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 19 | - - - - - - - - - - - - - - 1 - - - 1 - - | 2 0.04 19.a | - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 20 | - - - - - - - - - - - - - - - 1 1 - - - - | 2 0.04 21 | - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 23.f | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+----------------------------------------------------------------------------------------------------------+------------ # | 10 0 6 3 1 1 0 1 6 1 0 1 7 4 1 2 1 1 1 2 1 | 50 prob | 0.20 0.00 0.12 0.06 0.02 0.02 0.00 0.02 0.12 0.02 0.00 0.02 0.14 0.08 0.02 0.04 0.02 0.02 0.02 0.04 0.02 | 1.00 sample size: 50 number of agreements: 39 ( 0.78) number of disagreements: 11 ( 0.22) Cohen's kappa = 0.755 ---------------------------------------------------------------------------------------------- Fleiss' kappa = 0.765 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK swell 50 23 4 0.708 37 0.740 AV_JT swell 50 23 4 0.819 42 0.840 AV_SC swell 50 23 4 0.709 37 0.740 EK_JT swell 50 23 4 0.754 39 0.780 EK_SC swell 50 23 4 0.844 43 0.860 JT_SC swell 50 23 4 0.755 39 0.780 ----------------------------------------------------------- swell AV EK JT SC AV - 0.708 0.819 0.709 EK - - 0.754 0.844 JT - - - 0.755 SC - - - -