[ Skip to the content ]

Institute of Formal and Applied Linguistics

at Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic


[ Back to the navigation ]

Publication


Year 2016
Type in proceedings without ISBN
Status published
Language English
Author(s) Bojar, Ondřej Děchtěrenko, Filip Zelenina, Maria
Title A Pilot Eye-Tracking Study of WMT-Style Ranking Evaluation
Czech title Pilotní studie sledování očních pohybů při hodnocení překladů WMT
Proceedings 2016: Portorož, Slovenia: LREC 2016 workshop: Translation Evaluation: From Fragmented Tools and Data Sets to an Integrated Ecosystem
Pages range 20-26
How published online
Supported by 2015-2018 H2020-ICT-2014-1-645452 (QT21: Quality Translation 21) 2016-2019 LM2015071 (LINDAT-CLARIN: Institut pro analýzu, zpracování a distribuci lingvistických dat) 2012-2016 PRVOUK P46 (Informatika)
Czech abstract Soutěž ve strojovém překladu WMT používá od roku 2007 ruční hodnocení, kdy anotátor vidí najednou pět kandidátských překladů. Přes relativně dlouhou dobu používání nemáme dosud jasnou představu, co přesně anotátoři dělají. Tento článek představuje pilotní studii s osmi anotátory, jejichž oční pohyby jsme během hodnocení zaznamenávali na eyetrackeru a následně vyhodnotili.
English abstract The shared translation task of the Workshop of Statistical Machine Translation (WMT) is one of the key annual events of the field. Participating machine translation systems in WMT translation task are manually evaluated by relatively ranking five candidate translations of a given sentence. This style of evaluation has been used since 2007 with some discussion on interpreting the collected judgements but virtually no insight into what the annotators are actually doing. The scoring task is relatively cognitively demanding and many scoring strategies are possible, influencing the reliability of the final judgements. In this paper, we describe our first steps towards explaining the scoring task: we run the scoring under an eye-tracker and monitor what the annotators do. At the current stage, our results are more of a proof-of-concept, testing the feasibility of eye tracking for the analysis of such a complex MT evaluation setup.
Specialization linguistics ("jazykověda")
Confidentiality default – not confidential
Open access no
Editor(s)* Ondřej Bojar; Aljoscha Burchardt; Christian Dugast; Marcello Federico; Josef Genabith; Barry Haddow; Jan Hajič; Kim Harris; Philipp Koehn; Matteo Negri; Martin Popel; Georg Rehm; Lucia Specia; Marco Turchi; Hans Uszkoreit
Address* Portorož, Slovenia
Month* May
Publisher* LREC
Institution* http://www.cracking-the-language-barrier.eu/
Creator: Common Account
Created: 10/24/16 1:17 AM
Modifier: Almighty Admin
Modified: 2/25/17 10:06 PM
***

Content, Design & Functionality: ÚFAL, 2006–2016. Page generated: Mon Sep 25 22:27:35 CEST 2017

[ Back to the navigation ] [ Back to the content ]

100% OpenAIRE compliant