[ Skip to the content ]

Institute of Formal and Applied Linguistics

at Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic


[ Back to the navigation ]

Publication


Year 2011
Type in proceedings
Status published
Language English
Author(s) Bojar, Ondřej Ercegovčević, Miloš Popel, Martin Zaidan, Omar F.
Title A Grain of Salt for the WMT Manual Evaluation
Czech title Rozbor lidského vyhodnocení strojového překladu v soutěži WMT
Proceedings 2011: Edinburgh, UK: WMT 2011 (EMNLP): Proceedings of the Sixth Workshop on Statistical Machine Translation
Pages range 1-11
URL http://statmt.org/wmt11/pdf/WMT01.pdf
Supported by 2009-2012 7E09003 (EuroMatrixPlus – Bringing Machine Translation for European Languages to the User) 2010-2012 GPP406/10/P259 (Hybridní frázový a hloubkově-syntaktický strojový překlad) 2005-2010 MSM 0021620838 (Moderní metody, struktury a systémy informatiky) 2009-2012 FP7-ICT-2007-3-231720 (EuroMatrix Plus)
Czech abstract WMT (Workshop on Statistical Machine Translation) konaný každoročně od roku 2006, se stal jedním z nejvýznamnějších workshopů ACL. Součástí tohoto workshopu je úloha (soutěž) s vyhodnocením systémů strojového překladu, a to zejména na základě lidského hodnocení kvality překladů. Závěrečná správa z každého workshopu uvádí přehled hlavních dosažených výsledků, ovšem nezbývá v ní místo pro hlubší analýzu. Cílem tohoto článku je prozkoumat a vysvětlit některé zajímavosti a rozpory v uváděných výsledcích. Provedená analýza ukazuje, jak by měly (a neměly) být interpretovány tyto výsledky. Článek také uvádí některá doporučené do budoucna pro organizátory WMT.
English abstract The Workshop on Statistical Machine Translation (WMT) has become one of ACL's flagship workshops, held annually since 2006. In addition to soliciting papers from the research community, WMT also features a shared translation task for evaluating MT systems. This shared task is notable for having manual evaluation as its cornerstone. The Workshop's overview paper, playing a descriptive and administrative role, reports the main results of the evaluation without delving deep into analyzing those results. The aim of this paper is to investigate and explain some interesting idiosyncrasies in the reported results, which only become apparent when performing a more thorough analysis of the collected annotations. Our analysis sheds some light on how the reported results should (and should not) be interpreted, and also gives rise to some helpful recommendation for the organizers of WMT.
Specialization linguistics ("jazykověda")
Confidentiality default – not confidential
Open access no
Editor(s)* Chris Callison-Burch; Philipp Koehn; Christof Monz; Omar F. Zaidan
ISBN* 978-1-937284-12-1
Address* Edinburgh, UK
Month* July
Venue* Informatics Forum, Edinburgh
Publisher* Association for Computational Linguistics
Institution* University of Edinburgh
Creator: Common Account
Created: 8/30/11 11:20 AM
Modifier: Almighty Admin
Modified: 3/5/12 4:18 PM
***

paperpublicWMT01.pdfapplication/pdf
slidespublic2011-FILE-bojar-EtAl_2011_WMT-PRESENTED.pdfapplication/pdf
Content, Design & Functionality: ÚFAL, 2006–2016. Page generated: Sat Jun 23 10:17:15 CEST 2018

[ Back to the navigation ] [ Back to the content ]

100% OpenAIRE compliant