---------------------------------------------------------------------------------------------- corpora: BNC, verb: forge, number of patterns: 12, sample size: 50, annotators(4): AV EK JT SC ---------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 2 3 3.a 3.c 3.s 4 5 5.f 7 8 8.a 8.s 9 10 10.s 11 x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 10 - - - - - - - - - - - - 1 - - - - | 11 0.22 2 | - 4 - - - - - - - - - - - - - - - - | 4 0.08 3 | 1 - 8 - - - 1 - 1 - - - - 1 - - - - | 12 0.24 3.a | 1 - - - - - - - - - - - - - - - - - | 1 0.02 3.c | - - - 1 - - - - - - - - - - - - - - | 1 0.02 3.s | - - - - - - - - - - - - - - - 1 - - | 1 0.02 4 | - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - 1 - - - - - - - - - - | 1 0.02 5.f | - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - - - - 4 - - - - - - - - | 4 0.08 8 | - - - - - - - - - - 1 - - - - - - - | 1 0.02 8.a | - - - - - - - - - - - - 1 - - - - - | 1 0.02 8.s | - - - - - - - - - - - - 1 - - - - - | 1 0.02 9 | - 1 - - - - - - - - - - - 3 3 - - - | 7 0.14 10 | - - - - - - - - - - - - - 2 1 - - - | 3 0.06 10.s | - - - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - - - - - - - - - - - - 1 - | 1 0.02 x | - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+-------------------------------------------------------------------------------------------+------------ # | 12 5 8 1 0 0 1 1 1 4 1 0 2 7 4 1 1 1 | 50 prob | 0.24 0.10 0.16 0.02 0.00 0.00 0.02 0.02 0.02 0.08 0.02 0.00 0.04 0.14 0.08 0.02 0.02 0.02 | 1 sample size: 50 number of agreements: 35 ( 0.70) number of disagreements: 15 ( 0.30) Cohen's kappa = 0.654 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.a 2 2.a 2.s 3 3.a 3.c 3.s 5 5.f 7 8 8.a 8.s 9 10 11 12.a u x | # prob ------+----------------------------------------------------------------------------------------------------------+------------ 1 | 8 - - - 1 1 - - - - - - - - - 1 - - - - - | 11 0.22 1.a | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - 4 - - - - - - - - - - - - - - - - - - | 4 0.08 2.a | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2.s | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | 1 - - - - 8 1 - - - 1 - - - - 1 - - - - - | 12 0.24 3.a | - 1 - - - - - - - - - - - - - - - - - - - | 1 0.02 3.c | - - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 3.s | - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 5 | - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 5.f | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - 1 - - - - - 3 - - - - - - - - - | 4 0.08 8 | - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 8.a | - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 8.s | - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 9 | 2 - 2 - - - - - - - - - - - - 3 - - - - - | 7 0.14 10 | - - 3 - - - - - - - - - - - - - - - - - - | 3 0.06 11 | - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 12.a | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+----------------------------------------------------------------------------------------------------------+------------ # | 11 1 9 1 1 10 2 0 0 1 1 3 1 0 1 5 0 0 1 1 1 | 50 prob | 0.22 0.02 0.18 0.02 0.02 0.20 0.04 0.00 0.00 0.02 0.02 0.06 0.02 0.00 0.02 0.10 0.00 0.00 0.02 0.02 0.02 | 1 sample size: 50 number of agreements: 30 ( 0.60) number of disagreements: 20 ( 0.40) Cohen's kappa = 0.539 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 2 3 3.a 3.c 3.s 4.s 5 5.f 7 8 8.a 8.s 9 10 11 u x | # prob ------+-------------------------------------------------------------------------------------------+------------ 1 | 8 - 1 - - - - - - - - - - 2 - - - - | 11 0.22 2 | - 4 - - - - - - - - - - - - - - - - | 4 0.08 3 | - - 7 1 - - - - 1 - - - - 2 - - 1 - | 12 0.24 3.a | 1 - - - - - - - - - - - - - - - - - | 1 0.02 3.c | - - 1 - - - - - - - - - - - - - - - | 1 0.02 3.s | - - - - - - 1 - - - - - - - - - - - | 1 0.02 4.s | - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - 1 - - - - - - - - - - | 1 0.02 5.f | - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - - - - 4 - - - - - - - - | 4 0.08 8 | - - - - - - - - - - 1 - - - - - - - | 1 0.02 8.a | - - - - - - - - - - - - 1 - - - - - | 1 0.02 8.s | - - - - - - - - - - - - 1 - - - - - | 1 0.02 9 | 1 - - - - - - - - - - - - 5 1 - - - | 7 0.14 10 | - - - - - - - - - - - - - - 3 - - - | 3 0.06 11 | - - - - - - - - - - - - - - - 1 - - | 1 0.02 u | - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+-------------------------------------------------------------------------------------------+------------ # | 10 4 9 1 0 0 1 1 1 4 1 0 2 9 4 1 1 1 | 50 prob | 0.20 0.08 0.18 0.02 0.00 0.00 0.02 0.02 0.02 0.08 0.02 0.00 0.04 0.18 0.08 0.02 0.02 0.02 | 1 sample size: 50 number of agreements: 36 ( 0.72) number of disagreements: 14 ( 0.28) Cohen's kappa = 0.677 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.a 2 2.a 2.s 3 3.a 4 5 5.f 7 8 8.s 9 10 10.s 11 12.a u x | # prob ------+-----------------------------------------------------------------------------------------------------+------------ 1 | 7 1 - - 1 2 - - - - - - - 1 - - - - - - | 12 0.24 1.a | - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | 1 - 4 - - - - - - - - - - - - - - - - - | 5 0.10 2.a | - - - - - - - - - - - - - - - - - - - - | 0 0.00 2.s | - - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | 1 - - - - 6 1 - - - - - - - - - - - - - | 8 0.16 3.a | - - - - - - 1 - - - - - - - - - - - - - | 1 0.02 4 | - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 5 | - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 5.f | - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 7 | - - - - - 1 - - - - 3 - - - - - - - - - | 4 0.08 8 | - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 8.s | - - - - - - - - - - - - 1 - - - - 1 - - | 2 0.04 9 | 1 - 3 - - 1 - - - - - - - 2 - - - - - - | 7 0.14 10 | 1 - 2 - - - - - - - - - - 1 - - - - - - | 4 0.08 10.s | - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 11 | - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 12.a | - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+-----------------------------------------------------------------------------------------------------+------------ # | 11 1 9 1 1 10 2 0 1 1 3 1 1 5 0 0 0 1 1 1 | 50 prob | 0.22 0.02 0.18 0.02 0.02 0.20 0.04 0.00 0.02 0.02 0.06 0.02 0.02 0.10 0.00 0.00 0.00 0.02 0.02 0.02 | 1.00 sample size: 50 number of agreements: 28 ( 0.56) number of disagreements: 22 ( 0.44) Cohen's kappa = 0.497 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 2 3 3.a 4 4.s 5 5.f 7 8 8.s 9 10 10.s 11 u x | # prob ------+--------------------------------------------------------------------------------------+------------ 1 | 9 - 2 - - - - - - - - 1 - - - - - | 12 0.24 2 | 1 4 - - - - - - - - - - - - - - - | 5 0.10 3 | - - 5 1 - - - - - - - 1 - - - 1 - | 8 0.16 3.a | - - 1 - - - - - - - - - - - - - - | 1 0.02 4 | - - - - - - - - - - - 1 - - - - - | 1 0.02 4.s | - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - 1 - - - - - - - - - - | 1 0.02 5.f | - - - - - - - 1 - - - - - - - - - | 1 0.02 7 | - - - - - - - - 4 - - - - - - - - | 4 0.08 8 | - - - - - - - - - 1 - - - - - - - | 1 0.02 8.s | - - - - - - - - - - 2 - - - - - - | 2 0.04 9 | - - 1 - - - - - - - - 3 3 - - - - | 7 0.14 10 | - - - - - - - - - - - 3 1 - - - - | 4 0.08 10.s | - - - - - 1 - - - - - - - - - - - | 1 0.02 11 | - - - - - - - - - - - - - - 1 - - | 1 0.02 u | - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+--------------------------------------------------------------------------------------+------------ # | 10 4 9 1 0 1 1 1 4 1 2 9 4 0 1 1 1 | 50 prob | 0.20 0.08 0.18 0.02 0.00 0.02 0.02 0.02 0.08 0.02 0.04 0.18 0.08 0.00 0.02 0.02 0.02 | 1.00 sample size: 50 number of agreements: 33 ( 0.66) number of disagreements: 17 ( 0.34) Cohen's kappa = 0.611 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.a 2 2.a 2.s 3 3.a 4.s 5 5.f 7 8 8.s 9 10 11 12.a u x | # prob ------+------------------------------------------------------------------------------------------------+------------ 1 | 7 - - - - 1 - - - - - - - 3 - - - - - | 11 0.22 1.a | 1 - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - 4 - - - - - - - - - - 1 4 - - - - | 9 0.18 2.a | - - - - - - - - - - - - - - - 1 - - - | 1 0.02 2.s | 1 - - - - - - - - - - - - - - - - - - | 1 0.02 3 | 1 - - - - 7 - - - - 1 - - - - - - 1 - | 10 0.20 3.a | - - - - - 1 1 - - - - - - - - - - - - | 2 0.04 4.s | - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - 1 - - - - - - - - - - | 1 0.02 5.f | - - - - - - - - - 1 - - - - - - - - - | 1 0.02 7 | - - - - - - - - - - 3 - - - - - - - - | 3 0.06 8 | - - - - - - - - - - - 1 - - - - - - - | 1 0.02 8.s | - - - - - - - - - - - - 1 - - - - - - | 1 0.02 9 | - - - - - - - - - - - - - 5 - - - - - | 5 0.10 10 | - - - - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - - - - - - - - - - - - - - - | 0 0.00 12.a | - - - - - - - - - - - - 1 - - - - - - | 1 0.02 u | - - - - - - - 1 - - - - - - - - - - - | 1 0.02 x | - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+------------------------------------------------------------------------------------------------+------------ # | 10 0 4 0 0 9 1 1 1 1 4 1 2 9 4 1 0 1 1 | 50 prob | 0.20 0.00 0.08 0.00 0.00 0.18 0.02 0.02 0.02 0.02 0.08 0.02 0.04 0.18 0.08 0.02 0.00 0.02 0.02 | 1.00 sample size: 50 number of agreements: 32 ( 0.64) number of disagreements: 18 ( 0.36) Cohen's kappa = 0.591 ---------------------------------------------------------------------------------------------- Fleiss' kappa = 0.594 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK forge 50 12 4 0.654 35 0.700 AV_JT forge 50 12 4 0.539 30 0.600 AV_SC forge 50 12 4 0.677 36 0.720 EK_JT forge 50 12 4 0.497 28 0.560 EK_SC forge 50 12 4 0.611 33 0.660 JT_SC forge 50 12 4 0.591 32 0.640 ----------------------------------------------------------- forge AV EK JT SC AV - 0.654 0.539 0.677 EK - - 0.497 0.611 JT - - - 0.591 SC - - - -