--------------------------------------------------------------------------------------------- corpora: BNC, verb: pour, number of patterns: 21, sample size: 50, annotators(4): AV EK JT SC --------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 1.a 1.s 2 3 3.a 3.s 6 6.a 8.a 11 11.s 12 13 14 14.s 15 16 16.s 19 20.a 20.f 22 22.s u x | # prob ------+-----------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 12 - - - - - - - - - - - - - - - - - - - - - - - - - | 12 0.24 1.a | - 1 - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.s | - - - - - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 2 | - - - 1 - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 3 | - - - - 6 - - - - - - - - - - - - - - - - - - - - - | 6 0.12 3.a | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3.s | - - - - 1 - - - - - - - - - - - - - - - - - - - - - | 1 0.02 6 | - - - - - - - 3 - - - - - - - - - - - - - - 1 - - - | 4 0.08 6.a | - - - - - - - - 1 2 - - - - - - - - - - - - - - - - | 3 0.06 8.a | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - - - - - - 5 - - - - - - - - - - - - - - - | 5 0.10 11.s | - 1 - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12 | - - - - - - - - - - - - 1 - - - - - - - - - - - - - | 1 0.02 13 | - - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 14 | - - - - - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 14.s | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 15 | - - - - - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 16.s | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 19 | - - - - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 20.a | - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 20.f | - - - - - 1 - - - - - - - - - - - - - - - - - - - - | 1 0.02 22 | - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 22.s | - - - - - - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 u | - 1 - - - - - - - - - - - - - - - - - - - - - - 2 - | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+-----------------------------------------------------------------------------------------------------------------------------------+------------ # | 12 3 0 1 7 1 0 3 2 2 5 0 1 1 1 1 1 0 1 1 0 0 2 0 3 2 | 50 prob | 0.24 0.06 0.00 0.02 0.14 0.02 0.00 0.06 0.04 0.04 0.10 0.00 0.02 0.02 0.02 0.02 0.02 0.00 0.02 0.02 0.00 0.00 0.04 0.00 0.06 0.04 | 1.00 sample size: 50 number of agreements: 39 ( 0.78) number of disagreements: 11 ( 0.22) Cohen's kappa = 0.755 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.a 1.c 1.s 1.f 2 3 3.a 3.s 6 6.a 6.c 6.s 6.f 8.a 11 11.a 11.s 12 13 14 15 16 19 20 20.a 20.f 22 22.a 22.s u x | # prob ------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 9 - 2 - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - | 12 0.24 1.a | - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 1.s | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 3 | - - - - - - 6 - - - - - - - - - - - - - - - - - - - - - - - - - | 6 0.12 3.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3.s | - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 6 | - - - - - - - - - 3 - 1 - - - - - - - - - - - - - - - - - - - - | 4 0.08 6.a | - - - - - - - - - - - - - - 2 - 1 - - - - - - - - - - - - - - - | 3 0.06 6.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 8.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - - - - - - 1 - - - - 4 - - - - - - - - - - - - - - - - | 5 0.10 11.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11.s | - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12 | - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - | 1 0.02 13 | - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 14 | - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15 | - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 19 | - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 20 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 20.a | - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 20.f | - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 22 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 22.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 22.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 u | - - - - - - - 1 - - - - - 1 - - - - - - - - - - - - - - - - 1 - | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 11 1 2 0 4 0 6 1 1 3 1 1 1 1 2 4 1 0 1 1 0 1 0 1 1 0 0 0 1 1 1 2 | 50 prob | 0.22 0.02 0.04 0.00 0.08 0.00 0.12 0.02 0.02 0.06 0.02 0.02 0.02 0.02 0.04 0.08 0.02 0.00 0.02 0.02 0.00 0.02 0.00 0.02 0.02 0.00 0.00 0.00 0.02 0.02 0.02 0.04 | 1.00 sample size: 50 number of agreements: 31 ( 0.62) number of disagreements: 19 ( 0.38) Cohen's kappa = 0.584 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 1.a 1.s 1.f 2 3 3.s 6 6.a 11 11.s 12 12.s 13 14 14.a 15 16 19 20.a 20.f 22 22.s u x | # prob ------+------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 12 - - - - - - - - - - - - - - - - - - - - - - - - | 12 0.24 1.a | - - - - - - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 1.s | 1 - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.f | - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | 1 - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 3 | - - - - - 6 - - - - - - - - - - - - - - - - - - - | 6 0.12 3.s | - - - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 6 | - - - - - - - 4 - - - - - - - - - - - - - - - - - | 4 0.08 6.a | - - - - - - - - 3 - - - - - - - - - - - - - - - - | 3 0.06 11 | - - - - - - - - - 5 - - - - - - - - - - - - - - - | 5 0.10 11.s | - - - - - - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 12 | - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 12.s | - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 13 | - - - - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 14 | - - - - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 14.a | - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 15 | - - - - - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 19 | - - - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 20.a | - - - - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 20.f | - - - 1 - - - - - - - - - - - - - - - - - - - - - | 1 0.02 22 | - - - - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 22.s | - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 u | - - - 2 - - - - - - - - - - - - - - - - - - - 1 - | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+------------------------------------------------------------------------------------------------------------------------------+------------ # | 14 0 0 3 0 6 1 4 3 5 2 0 1 1 1 1 1 1 1 0 0 1 1 1 2 | 50 prob | 0.28 0.00 0.00 0.06 0.00 0.12 0.02 0.08 0.06 0.10 0.04 0.00 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.00 0.00 0.02 0.02 0.02 0.04 | 1.00 sample size: 50 number of agreements: 40 ( 0.80) number of disagreements: 10 ( 0.20) Cohen's kappa = 0.776 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.a 1.c 1.f 2 3 3.a 3.s 6 6.a 6.c 6.s 6.f 8.a 11 11.a 12 13 14 14.s 15 16.s 19 20 22 22.a 22.s u x | # prob ------+--------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 9 - 2 - - - - - - - - 1 - - - - - - - - - - - - - - - - - | 12 0.24 1.a | - - - 2 - - 1 - - - - - - - - - - - - - - - - - - - - - - | 3 0.06 1.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 1.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 3 | - - - - - 6 - 1 - - - - - - - - - - - - - - - - - - - - - | 7 0.14 3.a | - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 3.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - 2 - 1 - - - - - - - - - - - - - - - - - - | 3 0.06 6.a | - - - - - - - - - - - - - - - 1 - - - - - - - - - - 1 - - | 2 0.04 6.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 8.a | - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - | 2 0.04 11 | - - - - - - - - - 1 - - - - 4 - - - - - - - - - - - - - - | 5 0.10 11.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 13 | - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 14 | - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 14.s | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15 | - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 16.s | - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 19 | - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 20 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 22 | - - - - - - - - 1 - - - - - - - - - - - - - - - - 1 - - - | 2 0.04 22.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 22.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - 1 - - - - - - - - 1 - - - - - - - - - - - - - - 1 - | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+--------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 11 1 2 4 0 6 1 1 3 1 1 1 1 2 4 1 1 1 0 0 1 0 1 1 0 1 1 1 2 | 50 prob | 0.22 0.02 0.04 0.08 0.00 0.12 0.02 0.02 0.06 0.02 0.02 0.02 0.02 0.04 0.08 0.02 0.02 0.02 0.00 0.00 0.02 0.00 0.02 0.02 0.00 0.02 0.02 0.02 0.04 | 1.00 sample size: 50 number of agreements: 30 ( 0.60) number of disagreements: 20 ( 0.40) Cohen's kappa = 0.561 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 1.a 1.f 2 3 3.a 3.s 6 6.a 8.a 11 11.s 12 12.s 13 14 14.a 14.s 15 16 16.s 19 22 22.s u x | # prob ------+-----------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 12 - - - - - - - - - - - - - - - - - - - - - - - - - | 12 0.24 1.a | - - 1 - - - - - - - - 2 - - - - - - - - - - - - - - | 3 0.06 1.f | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | 1 - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 3 | - - - - 6 - 1 - - - - - - - - - - - - - - - - - - - | 7 0.14 3.a | - - 1 - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 3.s | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - 3 - - - - - - - - - - - - - - - - - - | 3 0.06 6.a | - - - - - - - - 1 - - - - - - - - - - - - - 1 - - - | 2 0.04 8.a | - - - - - - - - 2 - - - - - - - - - - - - - - - - - | 2 0.04 11 | - - - - - - - - - - 5 - - - - - - - - - - - - - - - | 5 0.10 11.s | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 12.s | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 13 | - - - - - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 14 | - - - - - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 14.a | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 14.s | 1 - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15 | - - - - - - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 16.s | - - - - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 19 | - - - - - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 22 | - - - - - - - 1 - - - - - - - - - - - - - - - 1 - - | 2 0.04 22.s | - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - 1 - - - - - - - - - - - - - 1 - - - - - - - 1 - | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+-----------------------------------------------------------------------------------------------------------------------------------+------------ # | 14 0 3 0 6 0 1 4 3 0 5 2 0 1 1 1 1 0 1 1 0 1 1 1 1 2 | 50 prob | 0.28 0.00 0.06 0.00 0.12 0.00 0.02 0.08 0.06 0.00 0.10 0.04 0.00 0.02 0.02 0.02 0.02 0.00 0.02 0.02 0.00 0.02 0.02 0.02 0.02 0.04 | 1.00 sample size: 50 number of agreements: 34 ( 0.68) number of disagreements: 16 ( 0.32) Cohen's kappa = 0.642 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.a 1.c 1.f 3 3.a 3.s 6 6.a 6.c 6.s 6.f 8.a 11 11.a 11.s 12 12.s 13 14 14.a 15 16 19 20 22 22.a 22.s u x | # prob ------+-------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 11 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 11 0.22 1.a | - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 1.c | 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 1.f | - - - 1 - - - - - - - - - - - 2 - - - - 1 - - - - - - - - - | 4 0.08 3 | - - - - 6 - - - - - - - - - - - - - - - - - - - - - - - - - | 6 0.12 3.a | - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 3.s | - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 6 | - - - - - - - 3 - - - - - - - - - - - - - - - - - - - - - - | 3 0.06 6.a | - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 6.c | - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 6.s | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 6.f | - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 8.a | - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - | 2 0.04 11 | - - - - - - - - - - - - - 4 - - - - - - - - - - - - - - - - | 4 0.08 11.a | - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - | 1 0.02 11.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 12.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 13 | - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 14 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 14.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 15 | - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 19 | - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 20 | - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 22 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 22.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 22.s | - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 u | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+-------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 14 0 0 3 6 0 1 4 3 0 0 0 0 5 0 2 0 1 1 1 1 1 1 1 0 1 0 1 1 2 | 50 prob | 0.28 0.00 0.00 0.06 0.12 0.00 0.02 0.08 0.06 0.00 0.00 0.00 0.00 0.10 0.00 0.04 0.00 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.00 0.02 0.00 0.02 0.02 0.04 | 1.00 sample size: 50 number of agreements: 32 ( 0.64) number of disagreements: 18 ( 0.36) Cohen's kappa = 0.601 --------------------------------------------------------------------------------------------- Fleiss' kappa = 0.652 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK pour 50 21 4 0.755 39 0.780 AV_JT pour 50 21 4 0.584 31 0.620 AV_SC pour 50 21 4 0.776 40 0.800 EK_JT pour 50 21 4 0.561 30 0.600 EK_SC pour 50 21 4 0.642 34 0.680 JT_SC pour 50 21 4 0.601 32 0.640 ----------------------------------------------------------- pour AV EK JT SC AV - 0.755 0.584 0.776 EK - - 0.561 0.642 JT - - - 0.601 SC - - - -