---------------------------------------------------------------------------------------------- corpora: BNC, verb: throw, number of patterns: 72, sample size: 50, annotators(4): AV EK JT SC ---------------------------------------------------------------------------------------------- +-----------------------+ | Annotators: AV vs. EK | +-----------------------+ | 1 1.a 2 6 10 11 12.a 12.f 15 15.a 15.s 16 16.s 16.f 18 19 19.a 20.a 30 32 33 37 39 45 47.a 48 52.f 57 60 60.a 67 67.a 67.f 68 69 69.s 72 73 73.f u x | # prob ------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 1 - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - | 2 0.04 1.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - 1 - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - 1 - - - - - - - | 3 0.06 6 | - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 10 | - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 11 | - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12.a | - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12.f | - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15 | - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15.a | - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15.s | - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - 4 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 4 0.08 16.s | - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 16.f | - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 18 | - - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 19 | - - - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 19.a | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 20.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 30 | - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 32 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 33 | - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - | 1 0.02 37 | - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - | 1 0.02 39 | - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 45 | - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 47.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 48 | - - - - - - - - - - - - - - - - - - - - - - - - - 4 - - - - - - - - - - - - - - - | 4 0.08 52.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 57 | - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - | 1 0.02 60 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 60.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 2 1 - - - - - - - - | 3 0.06 67 | 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - | 3 0.06 67.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 67.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 68 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 69 | - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - | 1 0.02 69.s | - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 72 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 73 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 73.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 u | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 2 1 | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 ------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 4 1 1 1 1 1 2 0 3 0 0 5 0 1 2 2 0 1 1 1 1 1 1 1 1 4 0 1 1 0 1 2 1 1 0 0 1 2 0 3 1 | 50 prob | 0.08 0.02 0.02 0.02 0.02 0.02 0.04 0.00 0.06 0.00 0.00 0.10 0.00 0.02 0.04 0.04 0.00 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.08 0.00 0.02 0.02 0.00 0.02 0.04 0.02 0.02 0.00 0.00 0.02 0.04 0.00 0.06 0.02 | 1.00 sample size: 50 number of agreements: 32 ( 0.64) number of disagreements: 18 ( 0.36) Cohen's kappa = 0.627 +-----------------------+ | Annotators: AV vs. JT | +-----------------------+ | 1 1.a 2 6 10 11 12.a 12.f 15 15.a 15.s 16 16.a 16.c 16.s 16.f 18 19 19.a 29.s 30 33 37 39 45 47 47.a 47.f 48 48.a 48.s 49.s 52.f 54.a 56.s 57 60 60.a 63.s 67 67.a 68.s 69 69.s 71.f 72 73 73.f u x | # prob ------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | - 1 - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 1.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - 1 - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - | 3 0.06 6 | - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 10 | - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 11 | - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12.a | - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12.f | - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15 | - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15.s | - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - 2 - 1 - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - | 4 0.08 16.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 16.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 16.s | - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 16.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - | 1 0.02 18 | - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - | 2 0.04 19 | - - - - - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 19.a | - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 29.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 30 | - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 33 | - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 37 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 39 | - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 45 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 47 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 47.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 47.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 48 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 3 1 - - - - - - - - - - - - - - - - - - - - | 4 0.08 48.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 48.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 49.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 52.f | - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 54.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 56.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 57 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 60 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 60.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - 1 - - 1 - - - - - - - - - | 3 0.06 63.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 67 | 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - | 3 0.06 67.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 68.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 69 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 69.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 71.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 72 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 73 | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 73.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 u | - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 1 | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 ------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 3 1 1 1 1 1 2 1 0 0 1 2 2 1 1 0 0 2 0 1 1 1 0 1 0 1 1 2 3 3 1 1 0 1 1 0 0 1 1 0 1 2 0 0 1 1 0 1 2 2 | 50 prob | 0.06 0.02 0.02 0.02 0.02 0.02 0.04 0.02 0.00 0.00 0.02 0.04 0.04 0.02 0.02 0.00 0.00 0.04 0.00 0.02 0.02 0.02 0.00 0.02 0.00 0.02 0.02 0.04 0.06 0.06 0.02 0.02 0.00 0.02 0.02 0.00 0.00 0.02 0.02 0.00 0.02 0.04 0.00 0.00 0.02 0.02 0.00 0.02 0.04 0.04 | 1 sample size: 50 number of agreements: 22 ( 0.44) number of disagreements: 28 ( 0.56) Cohen's kappa = 0.427 +-----------------------+ | Annotators: AV vs. SC | +-----------------------+ | 1 1.f 2 2.a 6 10 10.a 11 12.a 12.f 15 15.a 15.s 16 16.s 16.f 18 19 19.a 21.a 30 32 33 37 39 45 48 52.f 54.f 57 60 60.a 67 68 69 69.s 72 73 73.s 73.f u | # prob ------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - | 2 0.04 1.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - 1 - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - 1 - - - - - - - | 3 0.06 2.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 10 | - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 10.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12.a | - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12.f | - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15 | - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15.a | - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15.s | - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - - 4 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 4 0.08 16.s | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 16.f | - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 18 | - - - - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 19 | - - - - - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 19.a | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 21.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 30 | - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - | 1 0.02 32 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 33 | - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 37 | - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 39 | - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 45 | - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 48 | - - - - - - - - - - - - - - - - - - - - - - - - - - 4 - - - - - - - - - - - - - - | 4 0.08 52.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 54.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 57 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 60 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 60.a | - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - | 3 0.06 67 | 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - | 3 0.06 68 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 69 | - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - | 1 0.02 69.s | - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 72 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 73 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - | 1 0.02 73.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 73.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 1 0.02 u | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 3 | 3 0.06 ------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 5 1 1 2 1 0 1 1 2 0 3 0 0 4 0 1 2 2 0 1 1 1 1 1 1 1 4 0 1 0 1 1 1 1 0 0 2 1 1 0 4 | 50 prob | 0.10 0.02 0.02 0.04 0.02 0.00 0.02 0.02 0.04 0.00 0.06 0.00 0.00 0.08 0.00 0.02 0.04 0.04 0.00 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.08 0.00 0.02 0.00 0.02 0.02 0.02 0.02 0.00 0.00 0.04 0.02 0.02 0.00 0.08 | 1.00 sample size: 50 number of agreements: 31 ( 0.62) number of disagreements: 19 ( 0.38) Cohen's kappa = 0.606 +-----------------------+ | Annotators: EK vs. JT | +-----------------------+ | 1 1.a 2 6 10 11 12.a 12.f 15 15.s 16 16.a 16.c 16.s 16.f 18 19 20.a 29.s 30 32 33 37 39 45 47 47.a 47.f 48 48.a 48.s 49.s 54.a 56.s 57 60 60.a 63.s 67 67.a 67.f 68 68.s 71.f 72 73 73.f u x | # prob ------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 2 - - - - - - - - - - 1 - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - | 4 0.08 1.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 2 | - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 6 | - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 10 | - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 11 | - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12.a | - - - - - - 1 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 12.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 15 | - - - - - - - - - 1 - - - - - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - | 3 0.06 15.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 16 | - - - - - - - - - - 2 - 1 1 - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - | 5 0.10 16.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 16.c | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 16.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 16.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - | 1 0.02 18 | - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 2 0.04 19 | - - - - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 20.a | - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 29.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 30 | - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 32 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 33 | - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 37 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - | 1 0.02 39 | - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 45 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 47 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 47.a | - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 47.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 48 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 3 1 - - - - - - - - - - - - - - - - - - - | 4 0.08 48.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 48.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 49.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 54.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 56.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 57 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 60 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 60.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 63.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 67 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 67.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - 1 - - - - - - - - - | 2 0.04 67.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 68 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - | 1 0.02 68.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 71.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 72 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 73 | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - | 2 0.04 73.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - 1 - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - 1 - | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 | 1 0.02 ------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 3 1 1 1 1 1 2 1 0 1 2 2 1 1 0 0 2 0 1 1 0 1 0 1 0 1 1 2 3 3 1 1 1 1 0 0 1 1 0 1 0 0 2 1 1 0 1 2 2 | 50 prob | 0.06 0.02 0.02 0.02 0.02 0.02 0.04 0.02 0.00 0.02 0.04 0.04 0.02 0.02 0.00 0.00 0.04 0.00 0.02 0.02 0.00 0.02 0.00 0.02 0.00 0.02 0.02 0.04 0.06 0.06 0.02 0.02 0.02 0.02 0.00 0.00 0.02 0.02 0.00 0.02 0.00 0.00 0.04 0.02 0.02 0.00 0.02 0.04 0.04 | 1 sample size: 50 number of agreements: 21 ( 0.42) number of disagreements: 29 ( 0.58) Cohen's kappa = 0.405 +-----------------------+ | Annotators: EK vs. SC | +-----------------------+ | 1 1.a 1.f 2 2.a 6 10 10.a 11 12.a 15 16 16.f 18 19 20.a 21.a 30 32 33 37 39 45 47.a 48 54.f 57 60 60.a 67 67.a 67.f 68 72 73 73.s u x | # prob ------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 3 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - | 4 0.08 1.a | - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 2.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 10 | - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 10.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12.a | - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 15 | - - - - - - - - - - 3 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 3 0.06 16 | 1 - - - - - - - - - - 4 - - - - - - - - - - - - - - - - - - - - - - - - - - | 5 0.10 16.f | - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 18 | - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 19 | - - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 20.a | - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - | 1 0.02 21.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 30 | - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - | 1 0.02 32 | - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - | 1 0.02 33 | - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - | 1 0.02 37 | - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - | 1 0.02 39 | - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - | 1 0.02 45 | - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 47.a | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 48 | - - - - - - - - - - - - - - - - - - - - - - - - 4 - - - - - - - - - - - - - | 4 0.08 54.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 57 | - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 60 | - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - | 1 0.02 60.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 67 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - | 1 0.02 67.a | - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 67.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - | 1 0.02 68 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 72 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 73 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 1 - - | 2 0.04 73.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 u | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 3 - | 3 0.06 x | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 ------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 5 0 1 1 2 1 0 1 1 2 3 4 1 2 2 0 1 1 1 1 1 1 1 0 4 1 0 1 1 1 0 0 1 2 1 1 4 0 | 50 prob | 0.10 0.00 0.02 0.02 0.04 0.02 0.00 0.02 0.02 0.04 0.06 0.08 0.02 0.04 0.04 0.00 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.00 0.08 0.02 0.00 0.02 0.02 0.02 0.00 0.00 0.02 0.04 0.02 0.02 0.08 0.00 | 1.00 sample size: 50 number of agreements: 38 ( 0.76) number of disagreements: 12 ( 0.24) Cohen's kappa = 0.749 +-----------------------+ | Annotators: JT vs. SC | +-----------------------+ | 1 1.a 1.f 2 2.a 6 10 10.a 11 12.a 12.f 15 15.s 16 16.a 16.c 16.s 16.f 18 19 21.a 29.s 30 32 33 37 39 45 47 47.a 47.f 48 48.a 48.s 49.s 54.a 54.f 56.s 60 60.a 63.s 67 67.a 68 68.s 71.f 72 73 73.s 73.f u x | # prob ------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ 1 | 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - | 3 0.06 1.a | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 1.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 2 | - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 2.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 6 | - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 10 | - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 10.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 11 | - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 12.a | - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 2 0.04 12.f | - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 15 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 15.s | - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 16 | - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 16.a | 1 - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 16.c | - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 16.s | 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 16.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 18 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 19 | - - - - - - - - - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 21.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 29.s | - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 30 | - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 32 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 33 | - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 37 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 39 | - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 45 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 47 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 47.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 1 0.02 47.f | - - - - - - - - - - - 2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 2 0.04 48 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 3 - - - - - - - - - - - - - - - - - - - - | 3 0.06 48.a | - - - - - - - - - - - - - 1 - - - 1 - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - | 3 0.06 48.s | - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 49.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - | 1 0.02 54.a | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - | 1 0.02 54.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 56.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 60 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 60.a | - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 63.s | - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 67 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 67.a | - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 68 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 68.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - 1 - - - - - - - - | 2 0.04 71.f | - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 1 0.02 72 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - | 1 0.02 73 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 73.s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 0 0.00 73.f | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - | 1 0.02 u | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - 1 - | 2 0.04 x | - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - | 2 0.04 ------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------------ # | 5 0 1 1 2 1 0 1 1 2 0 3 0 4 0 0 0 1 2 2 1 0 1 1 1 1 1 1 0 0 0 4 0 0 0 0 1 0 1 1 0 1 0 1 0 0 2 1 1 0 4 0 | 50 prob | 0.10 0.00 0.02 0.02 0.04 0.02 0.00 0.02 0.02 0.04 0.00 0.06 0.00 0.08 0.00 0.00 0.00 0.02 0.04 0.04 0.02 0.00 0.02 0.02 0.02 0.02 0.02 0.02 0.00 0.00 0.00 0.08 0.00 0.00 0.00 0.00 0.02 0.00 0.02 0.02 0.00 0.02 0.00 0.02 0.00 0.00 0.04 0.02 0.02 0.00 0.08 0.00 | 1 sample size: 50 number of agreements: 18 ( 0.36) number of disagreements: 32 ( 0.64) Cohen's kappa = 0.344 ---------------------------------------------------------------------------------------------- Fleiss' kappa = 0.524 Overview of inter-annotator agreement: ----------------------------------------------------------- double verb size #N #A Cohens agrs % AV_EK throw 50 72 4 0.627 32 0.640 AV_JT throw 50 72 4 0.427 22 0.440 AV_SC throw 50 72 4 0.606 31 0.620 EK_JT throw 50 72 4 0.405 21 0.420 EK_SC throw 50 72 4 0.749 38 0.760 JT_SC throw 50 72 4 0.344 18 0.360 ----------------------------------------------------------- throw AV EK JT SC AV - 0.627 0.427 0.606 EK - - 0.405 0.749 JT - - - 0.344 SC - - - -