--------------------------------------------------------------------------------------------- corpora: BNC, verb: plug, number of patterns: 12, sample size: 46, annotators(4): AV EK JT SC --------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 1.s 1.f 2 2.a 3 3.a 4 4.s 5 6 6.a 7 7.f 8 8.a 9 9.s 10 12 u x | # prob ------+---------------------------------------------------------------------------------------------------------------+------------ 1 | 2 - - - - - - - - - - - - - - - - - - - - - | 2 0.04 1.s | 1 - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.f | - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - - 3 - - - - - - - - - - - - - - - - - - | 3 0.07 2.a | - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 3 | - - - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 3.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - - - - 11 - - - - - - - - - - - - - - | 11 0.24 4.s | - - - - - - - 1 - 1 - - - - - - - - - - - - | 2 0.04 5 | - - - - - - - 1 - 1 - - - - - - - - 1 - - - | 3 0.07 6 | - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 6.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - - - - - - - 3 - - - - - - - - - | 3 0.07 7.f | - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 8 | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 8.a | - - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 9.s | - - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 10 | - - - - - - - 1 - - - - - - - - - - 4 - - - | 5 0.11 12 | - - - - - - - - - - - - - - - - - - 1 2 - - | 3 0.07 u | - - - - - - - - - - - - - - 1 - - - - - - 1 | 2 0.04 x | - - - - - - 1 - - - - 1 1 - - - - - - - - 1 | 4 0.09 ------+---------------------------------------------------------------------------------------------------------------+------------ # | 3 0 0 5 0 1 1 14 0 2 1 1 5 0 2 0 1 0 6 2 0 2 | 46 prob | 0.07 0.00 0.00 0.11 0.00 0.02 0.02 0.30 0.00 0.04 0.02 0.02 0.11 0.00 0.04 0.00 0.02 0.00 0.13 0.04 0.00 0.04 | 1 sample size: 46 number of agreements: 29 ( 0.63) number of disagreements: 17 ( 0.37) Cohen's kappa = 0.583 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.s 1.f 2 2.a 3 3.a 4 4.s 5 6 6.f 7 7.a 7.f 8 8.a 9 9.s 10 12 u x | # prob ------+--------------------------------------------------------------------------------------------------------------------+------------ 1 | 1 - - - - - - - - - - - - - - - - - - - 1 - - | 2 0.04 1.s | 1 - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.f | - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - - 3 - - - - - - - - - - - - - - - - - - - | 3 0.07 2.a | - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 3 | - - - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 3.a | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - - - - 9 - - 1 1 - - - - - - - - - - - | 11 0.24 4.s | - - - - - - - 1 - - 1 - - - - - - - - - - - - | 2 0.04 5 | - - - - - - - - - 1 1 - - - - - - - - 1 - - - | 3 0.07 6 | - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 6.f | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - - - - - 1 - 1 1 - - - - - - - - - | 3 0.07 7.a | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7.f | - - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 8 | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 8.a | - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 9.s | - - - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 10 | - - - - - - - - - - - - - - - - - - - 5 - - - | 5 0.11 12 | - - - - - - - - - - - - - - - - - - - - 3 - - | 3 0.07 u | - - - - - - - - - - 1 - - - - 1 - - - - - - - | 2 0.04 x | - - - - - - 1 - - - 1 - 1 - - - - - - - - - 1 | 4 0.09 ------+--------------------------------------------------------------------------------------------------------------------+------------ # | 2 0 0 3 2 1 1 10 0 1 7 1 2 2 0 1 1 1 0 6 4 0 1 | 46 prob | 0.04 0.00 0.00 0.07 0.04 0.02 0.02 0.22 0.00 0.02 0.15 0.02 0.04 0.04 0.00 0.02 0.02 0.02 0.00 0.13 0.09 0.00 0.02 | 1 sample size: 46 number of agreements: 28 ( 0.61) number of disagreements: 18 ( 0.39) Cohen's kappa = 0.570 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 1.a 1.s 1.f 2 2.a 3 4 4.a 4.s 5 6 6.s 7 7.f 8 8.a 9.s 10 12 u x | # prob ------+---------------------------------------------------------------------------------------------------------------+------------ 1 | 1 - - 1 - - - - - - - - - - - - - - - - - - | 2 0.04 1.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 1.s | 1 - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.f | - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - - - 3 - - - - - - - - - - - - - - - - - | 3 0.07 2.a | - - - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 3 | - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 4 | - - - - - - - 10 1 - - - - - - - - - - - - - | 11 0.24 4.a | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4.s | - - - - - - - - - - - 1 1 - - - - - - - - - | 2 0.04 5 | - - - - - - - - - - 1 1 - - - - - - 1 - - - | 3 0.07 6 | - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 6.s | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - - - - - - - - 2 - - - - - - 1 - | 3 0.07 7.f | - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 8 | - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 8.a | - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 9.s | - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 10 | - - - - - - - - - - - - - - - - - - 5 - - - | 5 0.11 12 | - - - - - - - - - - - - - - - - - - 1 2 - - | 3 0.07 u | - - - - - - - - - - - 1 - - - 1 - - - - - - | 2 0.04 x | - 1 - - - - - - - - - 1 - - - - - - - - 1 1 | 4 0.09 ------+---------------------------------------------------------------------------------------------------------------+------------ # | 2 1 0 2 3 1 1 10 1 0 1 5 1 2 0 2 0 1 7 2 3 1 | 46 prob | 0.04 0.02 0.00 0.04 0.07 0.02 0.02 0.22 0.02 0.00 0.02 0.11 0.02 0.04 0.00 0.04 0.00 0.02 0.15 0.04 0.07 0.02 | 1.00 sample size: 46 number of agreements: 30 ( 0.65) number of disagreements: 16 ( 0.35) Cohen's kappa = 0.617 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 2 2.a 3 3.a 4 5 6 6.a 6.f 7 7.a 8 8.a 9 10 12 x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 2 - - - - - - - - - - - - - - - 1 - | 3 0.07 2 | - 3 2 - - - - - - - - - - - - - - - | 5 0.11 2.a | - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - 1 - - - - - - - - - - - - - - | 1 0.02 3.a | - - - - 1 - - - - - - - - - - - - - | 1 0.02 4 | - - - - - 9 - 3 - 1 - - - - - 1 - - | 14 0.30 5 | - - - - - 1 1 - - - - - - - - - - - | 2 0.04 6 | - - - - - - - 1 - - - - - - - - - - | 1 0.02 6.a | - - - - - - - 1 - - - - - - - - - - | 1 0.02 6.f | - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - - 1 - - 2 2 - - - - - - | 5 0.11 7.a | - - - - - - - - - - - - - - - - - - | 0 0.00 8 | - - - - - - - - - - - - 1 1 - - - - | 2 0.04 8.a | - - - - - - - - - - - - - - - - - - | 0 0.00 9 | - - - - - - - - - - - - - - 1 - - - | 1 0.02 10 | - - - - - - - - - - - - - - - 5 1 - | 6 0.13 12 | - - - - - - - - - - - - - - - - 2 - | 2 0.04 x | - - - - - - - 1 - - - - - - - - - 1 | 2 0.04 ------+-------------------------------------------------------------------------------------------+------------ # | 2 3 2 1 1 10 1 7 0 1 2 2 1 1 1 6 4 1 | 46 prob | 0.04 0.07 0.04 0.02 0.02 0.22 0.02 0.15 0.00 0.02 0.04 0.04 0.02 0.02 0.02 0.13 0.09 0.02 | 1.00 sample size: 46 number of agreements: 30 ( 0.65) number of disagreements: 16 ( 0.35) Cohen's kappa = 0.610 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 1.a 1.f 2 2.a 3 3.a 4 4.a 5 6 6.a 6.s 7 8 9 9.s 10 12 u x | # prob ------+----------------------------------------------------------------------------------------------------------+------------ 1 | 2 - 1 - - - - - - - - - - - - - - - - - - | 3 0.07 1.a | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 1.f | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - 1 3 1 - - - - - - - - - - - - - - - - | 5 0.11 2.a | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 3.a | - 1 - - - - - - - - - - - - - - - - - - - | 1 0.02 4 | - - - - - - - 10 1 - 1 - 1 - - - - 1 - - - | 14 0.30 4.a | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - - 1 1 - - - - - - - - - - | 2 0.04 6 | - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 6.a | - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 6.s | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - - - - - - - - 2 - - - - - 3 - | 5 0.11 8 | - - - - - - - - - - - - - - 2 - - - - - - | 2 0.04 9 | - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 9.s | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 10 | - - - - - - - - - - - - - - - - - 6 - - - | 6 0.13 12 | - - - - - - - - - - - - - - - - - - 2 - - | 2 0.04 u | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - 1 - - - - - - - - - 1 | 2 0.04 ------+----------------------------------------------------------------------------------------------------------+------------ # | 2 1 2 3 1 1 0 10 1 1 5 0 1 2 2 0 1 7 2 3 1 | 46 prob | 0.04 0.02 0.04 0.07 0.02 0.02 0.00 0.22 0.02 0.02 0.11 0.00 0.02 0.04 0.04 0.00 0.02 0.15 0.04 0.07 0.02 | 1 sample size: 46 number of agreements: 31 ( 0.67) number of disagreements: 15 ( 0.33) Cohen's kappa = 0.634 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.a 1.f 2 2.a 3 3.a 4 4.a 5 6 6.s 6.f 7 7.a 8 8.a 9 9.s 10 12 u x | # prob ------+--------------------------------------------------------------------------------------------------------------------+------------ 1 | 1 - 1 - - - - - - - - - - - - - - - - - - - - | 2 0.04 1.a | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 1.f | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - - 3 - - - - - - - - - - - - - - - - - - - | 3 0.07 2.a | - - 1 - 1 - - - - - - - - - - - - - - - - - - | 2 0.04 3 | - - - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 3.a | - 1 - - - - - - - - - - - - - - - - - - - - - | 1 0.02 4 | - - - - - - - 9 - - 1 - - - - - - - - - - - - | 10 0.22 4.a | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - - 1 - - - - - - - - - - - - - | 1 0.02 6 | - - - - - - - 1 - - 4 1 - 1 - - - - - - - - - | 7 0.15 6.s | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6.f | - - - - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 7 | - - - - - - - - - - - - - 1 - - - - - - - 1 - | 2 0.04 7.a | - - - - - - - - - - - - - - - - - - - - - 2 - | 2 0.04 8 | - - - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 8.a | - - - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 9.s | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 10 | - - - - - - - - - - - - - - - - - - - 6 - - - | 6 0.13 12 | 1 - - - - - - - - - - - - - - - - - - 1 2 - - | 4 0.09 u | - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+--------------------------------------------------------------------------------------------------------------------+------------ # | 2 1 2 3 1 1 0 10 1 1 5 1 0 2 0 2 0 0 1 7 2 3 1 | 46 prob | 0.04 0.02 0.04 0.07 0.02 0.02 0.00 0.22 0.02 0.02 0.11 0.02 0.00 0.04 0.00 0.04 0.00 0.00 0.02 0.15 0.04 0.07 0.02 | 1 sample size: 46 number of agreements: 31 ( 0.67) number of disagreements: 15 ( 0.33) Cohen's kappa = 0.638 --------------------------------------------------------------------------------------------- Fleiss' kappa = 0.607 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK plug 46 12 4 0.583 29 0.630 AV_JT plug 46 12 4 0.570 28 0.609 AV_SC plug 46 12 4 0.617 30 0.652 EK_JT plug 46 12 4 0.610 30 0.652 EK_SC plug 46 12 4 0.634 31 0.674 JT_SC plug 46 12 4 0.638 31 0.674 ----------------------------------------------------------- plug AV EK JT SC AV - 0.583 0.570 0.617 EK - - 0.610 0.634 JT - - - 0.638 SC - - - -