---------------------------------------------------------------------------------------------- corpora: BNC, verb: steer, number of patterns: 22, sample size: 50, annotators(4): AV EK JT SC ---------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 1.c 1.f 2 2.s 3 4 6 6.a 7 7.s 8.a 10 10.a 10.c 11.a 11.c 12 13.a 14.s 17 17.a 18 20 21 22 u x | # prob ------+---------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 1 - 1 - - 1 - - - - - - - - - - - - - - - - - - - - - - | 3 0.06 1.c | - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 1.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - - 1 1 - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 2.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - - - 10 - - - - - - - - - - - - - - - - - - - - - | 10 0.20 6 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6.a | - - - - - - - 1 - - - - - - - - - - - - 1 - - - - - - - | 2 0.04 7 | - - - - - 1 - - - 6 - - 1 - - - - - - - - - - - - - - - | 8 0.16 7.s | - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 8.a | - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 10 | - - - 1 - - - - - - - - 1 - - - - - - - - - - - - - - - | 2 0.04 10.a | - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - | 2 0.04 10.c | - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 11.a | - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 11.c | - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 12 | - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 13.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 14.s | - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 17 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 17.a | - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 18 | - - - - - 1 - - - - - - - - - - - - - - - - 1 - - - - - | 2 0.04 20 | - - - - - - - - - - - - - - - - - - - - - - - 4 - - - - | 4 0.08 21 | - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 22 | - - - - - - - - - - - - - - - - - - - - - - - - - 3 - - | 3 0.06 u | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - - - - - - - - - 1 1 | 2 0.04 ------+---------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 1 0 1 2 1 3 10 1 0 8 0 0 5 0 0 0 0 2 1 0 1 0 1 4 2 3 3 1 | 50 prob | 0.02 0.00 0.02 0.04 0.02 0.06 0.20 0.02 0.00 0.16 0.00 0.00 0.10 0.00 0.00 0.00 0.00 0.04 0.02 0.00 0.02 0.00 0.02 0.08 0.04 0.06 0.06 0.02 | 1.00 sample size: 50 number of agreements: 30 ( 0.60) number of disagreements: 20 ( 0.40) Cohen's kappa = 0.563 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.c 2 3 4 4.a 5 6 6.a 7 7.c 7.s 8.a 10 10.a 10.c 10.s 11.a 11.c 12 13.f 14.s 17.a 18 20 20.a 21 22 x | # prob ------+--------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 2 - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 3 0.06 1.c | - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - - - - - - - - - - - - - - - 1 - - - - - - - - - 1 - - | 2 0.04 3 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - 7 3 - - - - - - - - - - - - - - - - - - - - - - - | 10 0.20 4.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6.a | - - - - - - - 1 1 - - - - - - - - - - - - - - - - - - - - | 2 0.04 7 | - - - 2 - - - - - 4 - - - - - - 1 - - - - - - - - - 1 - - | 8 0.16 7.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7.s | - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 8.a | - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 10 | - - - - - - - - - - - - - 1 1 - - - - - - - - - - - - - - | 2 0.04 10.a | - - - - - - 1 - - - - - - - 1 - - - - - - - - - - - - - - | 2 0.04 10.c | - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 10.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11.a | - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 11.c | - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 12 | - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 13.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 14.s | - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 17.a | - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 18 | - - - 1 - - - - - - - - - - - - - - - - - - - 1 - - - - - | 2 0.04 20 | - - - - - - - - - - - - - - - - - - - - - - - - 4 - - - - | 4 0.08 20.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 21 | - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 22 | - - - - - - - - - - - - - - - - - - - - - - - - - - - 3 - | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+--------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 2 1 0 3 7 3 1 1 1 4 2 0 1 3 2 0 2 0 0 1 1 0 0 1 4 1 4 3 2 | 50 prob | 0.04 0.02 0.00 0.06 0.14 0.06 0.02 0.02 0.02 0.08 0.04 0.00 0.02 0.06 0.04 0.00 0.04 0.00 0.00 0.02 0.02 0.00 0.00 0.02 0.08 0.02 0.08 0.06 0.04 | 1.00 sample size: 50 number of agreements: 30 ( 0.60) number of disagreements: 20 ( 0.40) Cohen's kappa = 0.573 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 1.c 2 2.f 3 3.a 4 4.a 5 6 6.a 7 7.a 7.s 8.a 10 10.a 10.c 11 11.a 11.c 12 12.f 14.s 17.a 18 18.s 20 21 22 u x | # prob ------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 2 - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - | 3 0.06 1.c | - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - 1 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 2.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - - - 9 1 - - - - - - - - - - - - - - - - - - - - - - - - | 10 0.20 4.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6.a | - - - - - - - - - 1 1 - - - - - - - - - - - - - - - - - - - - - | 2 0.04 7 | - - - - 1 1 - - - - - 5 - - - 1 - - - - - - - - - - - - - - - - | 8 0.16 7.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7.s | - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - | 1 0.02 8.a | - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 10 | - - - - - - - 1 1 - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 10.a | - - - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - | 2 0.04 10.c | - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 11 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 11.c | - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 12 | - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - | 1 0.02 12.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 14.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 17.a | - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 18 | - - - - 1 - - - - - - - - - - - - - - - - - - - - 1 - - - - - - | 2 0.04 18.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 20 | - - - - - - - - - - - - - - - - - - - - - - - - - - - 4 - - - - | 4 0.08 21 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 22 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 3 - - | 3 0.06 u | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 2 1 1 1 2 1 9 2 1 1 1 5 2 0 0 3 1 0 1 0 1 0 1 0 0 1 1 4 2 3 1 2 | 50 prob | 0.04 0.02 0.02 0.02 0.04 0.02 0.18 0.04 0.02 0.02 0.02 0.10 0.04 0.00 0.00 0.06 0.02 0.00 0.02 0.00 0.02 0.00 0.02 0.00 0.00 0.02 0.02 0.08 0.04 0.06 0.02 0.04 | 1.00 sample size: 50 number of agreements: 31 ( 0.62) number of disagreements: 19 ( 0.38) Cohen's kappa = 0.590 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.c 1.f 2 2.s 3 4 4.a 5 6 6.a 7 7.c 8.a 10 10.a 10.s 12 13.a 13.f 17 18 20 20.a 21 22 u x | # prob ------+---------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 1.f | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - - - - - - - - - - - - - - 1 - - - - - - - - 1 - - - | 2 0.04 2.s | - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 3 | - - - - - 2 - - - - - - 1 - - - - - - - - - - - - - - - | 3 0.06 4 | - - - - - - 7 3 - - - - - - - - - - - - - - - - - - - - | 10 0.20 4.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 6.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - 1 - - - - - 4 1 - - - - - - - - - - 1 1 - - - | 8 0.16 7.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 8.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 10 | - - - - - - - - 1 - - - - - 2 1 1 - - - - - - - - - - - | 5 0.10 10.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 10.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - - - - - - - - - - 1 - 1 - - - - - - - - | 2 0.04 13.a | - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - | 1 0.02 13.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 17 | - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 18 | - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 20 | - - - - - - - - - - - - - - - - - - - - - - 4 - - - - - | 4 0.08 20.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 21 | - - - - - - - - - - - - - - - - - - - - - - - - 2 - - - | 2 0.04 22 | - - - - - - - - - - - - - - - - - - - - - - - - - 3 - - | 3 0.06 u | - 1 - - - - - - - - - - - - 1 - - - - - - - - - - - - 1 | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+---------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 2 1 0 0 0 3 7 3 1 1 1 4 2 1 3 2 2 1 0 1 0 1 4 1 4 3 0 2 | 50 prob | 0.04 0.02 0.00 0.00 0.00 0.06 0.14 0.06 0.02 0.02 0.02 0.08 0.04 0.02 0.06 0.04 0.04 0.02 0.00 0.02 0.00 0.02 0.08 0.02 0.08 0.06 0.00 0.04 | 1.00 sample size: 50 number of agreements: 28 ( 0.56) number of disagreements: 22 ( 0.44) Cohen's kappa = 0.529 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 1.c 1.f 2 2.s 2.f 3 3.a 4 4.a 5 6 6.a 7 7.a 10 10.a 11 11.c 12 12.f 13.a 17 18 18.s 20 21 22 u x | # prob ------+-------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 1.f | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - - - - 1 - - - 1 - - - - - - - - - - - - - - - - - - - - | 2 0.04 2.s | - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 2.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - - - 1 1 - - - - - - 1 - - - - - - - - - - - - - - - | 3 0.06 3.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - - - - - 9 1 - - - - - - - - - - - - - - - - - - - - | 10 0.20 4.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 5 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 6.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7 | - - - - - - 1 - - - - - - 5 1 - - - 1 - - - - - - - - - - - | 8 0.16 7.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 10 | - - - - - - - - - - 1 - - - - 3 1 - - - - - - - - - - - - - | 5 0.10 10.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - - - - - - - - - - 1 - - 1 - - - - - - - - - | 2 0.04 12.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 13.a | - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 17 | - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 18 | - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 18.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 20 | - - - - - - - - - - - - - - - - - - - - - - - - - 4 - - - - | 4 0.08 21 | - - - - - - - - - - - - - - - - - - - - - - - - - - 2 - - - | 2 0.04 22 | - - - - - - - - - - - - - - - - - - - - - - - - - - - 3 - - | 3 0.06 u | - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - 1 1 | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+-------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 2 1 0 1 0 1 2 1 9 2 1 1 1 5 2 3 1 1 1 0 1 0 0 1 1 4 2 3 1 2 | 50 prob | 0.04 0.02 0.00 0.02 0.00 0.02 0.04 0.02 0.18 0.04 0.02 0.02 0.02 0.10 0.04 0.06 0.02 0.02 0.02 0.00 0.02 0.00 0.00 0.02 0.02 0.08 0.04 0.06 0.02 0.04 | 1.00 sample size: 50 number of agreements: 31 ( 0.62) number of disagreements: 19 ( 0.38) Cohen's kappa = 0.589 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.c 2 2.f 3 3.a 4 4.a 5 6 6.a 7 7.a 7.c 8.a 10 10.a 10.s 11 11.c 12 12.f 13.f 18 18.s 20 20.a 21 22 u x | # prob ------+------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 1.c | - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 2 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 3 | - - - - 2 1 - - - - - - - - - - - - - - - - - - - - - - - - - | 3 0.06 3.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 4 | - - - - - - 7 - - - - - - - - - - - - - - - - - - - - - - - - | 7 0.14 4.a | - - - - - - 2 1 - - - - - - - - - - - - - - - - - - - - - - - | 3 0.06 5 | - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 6 | - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - | 1 0.02 6.a | - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - | 1 0.02 7 | - - - - - - - - - - - 4 - - - - - - - - - - - - - - - - - - - | 4 0.08 7.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 7.c | - - - - - - - - - - - - 1 - - - - - - 1 - - - - - - - - - - - | 2 0.04 8.a | - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 10 | - - - - - - - - 1 - - - - - - - 1 - - - - - - - - - - - - 1 - | 3 0.06 10.a | - - - - - - - 1 - - - - - - - 1 - - - - - - - - - - - - - - - | 2 0.04 10.s | - - 1 - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 2 0.04 11 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 12 | - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 12.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 13.f | - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 18 | - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - | 1 0.02 18.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 20 | - - - - - - - - - - - - - - - - - - - - - - - - - 4 - - - - - | 4 0.08 20.a | - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 21 | - - - 1 - - - - - - - 1 - - - - - - - - - - - - - - - 2 - - - | 4 0.08 22 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 3 - - | 3 0.06 u | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 2 | 2 0.04 ------+------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 2 1 1 1 2 1 9 2 1 1 1 5 2 0 0 3 1 0 1 1 0 1 0 1 1 4 0 2 3 1 2 | 50 prob | 0.04 0.02 0.02 0.02 0.04 0.02 0.18 0.04 0.02 0.02 0.02 0.10 0.04 0.00 0.00 0.06 0.02 0.00 0.02 0.02 0.00 0.02 0.00 0.02 0.02 0.08 0.00 0.04 0.06 0.02 0.04 | 1.00 sample size: 50 number of agreements: 31 ( 0.62) number of disagreements: 19 ( 0.38) Cohen's kappa = 0.595 ---------------------------------------------------------------------------------------------- Fleiss' kappa = 0.572 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK steer 50 22 4 0.563 30 0.600 AV_JT steer 50 22 4 0.573 30 0.600 AV_SC steer 50 22 4 0.590 31 0.620 EK_JT steer 50 22 4 0.529 28 0.560 EK_SC steer 50 22 4 0.589 31 0.620 JT_SC steer 50 22 4 0.595 31 0.620 ----------------------------------------------------------- steer AV EK JT SC AV - 0.563 0.573 0.590 EK - - 0.529 0.589 JT - - - 0.595 SC - - - -