[ Skip to the content ]

Institute of Formal and Applied Linguistics

at Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic


[ Back to the navigation ]

Publication


Year 2015
Type in proceedings
Status published
Language English
Author(s) Stanojević, Miloš Kamran, Amir Koehn, Philipp Bojar, Ondřej
Title Results of the WMT15 Metrics Shared Task
Czech title Výsledky soutěže v automatickém hodnocení strojového překladu WMT15
Proceedings 2015: Stroudsburg, PA, USA: WMT 2015 (EMNLP): Proceedings of the 10th Workshop on Machine Translation
Pages range 256-273
How published online
URL http://www.statmt.org/wmt15/pdf/WMT31.pdf
Supported by 2015-2018 H2020-ICT-2014-1-645452 (QT21: Quality Translation 21) 2015-2018 H2020-ICT-2014-1-644402 (Himl (Health in my Language)) 2012-2016 PRVOUK P46 (Informatika)
Czech abstract Článek představuje výsledky soutěže v automatickém hodnocení kvality strojového překladu (WMT15 Metrics Shared Task). Úkolem účastníků bylo vyhodnotit kvalitu překladových systémů, které se zúčastnily překladové úlohy WMT15. Získaných 46 metrik od 11 týmů jsme pak společně se 7 základními metrikami (BLEU, SentBLEU, NIST, WER, PER, TER a CDER) porovnali z hlediska korelace s lidským hodnocením pro celý testset i pro jednotlivé věty.
English abstract This paper presents the results of the WMT15 Metrics Shared Task. We asked participants of this task to score the outputs of the MT systems involved in the WMT15 Shared Translation Task. We collected scores of 46 metrics from 11 research groups. In addition to that, we computed scores of 7 standard metrics (BLEU, SentBLEU, NIST, WER, PER, TER and CDER) as baselines. The collected scores were evaluated in terms of system level correlation (how well each metric's scores correlate with WMT15 official manual ranking of systems) and in terms of segment level correlation (how often a metric agrees with humans in comparing two translations of a particular sentence).
Specialization linguistics ("jazykověda")
Confidentiality default – not confidential
Open access no
ISBN* 978-1-941643-32-7
Address* Stroudsburg, PA, USA
Month* September
Publisher* Association for Computational Linguistics
Institution* Association for Computational Linguistics
Creator: Common Account
Created: 9/22/15 3:05 PM
Modifier: Almighty Admin
Modified: 2/8/16 9:53 PM
***

Content, Design & Functionality: ÚFAL, 2006–2016. Page generated: Fri Nov 16 20:02:27 CET 2018

[ Back to the navigation ] [ Back to the content ]

100% OpenAIRE compliant