[ Skip to the content ]

Institute of Formal and Applied Linguistics

at Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic


[ Back to the navigation ]

Publication


Year 2013
Type in proceedings
Status published
Language English
Author(s) Macháček, Matouš Bojar, Ondřej
Title Results of the WMT13 Metrics Shared Task
Czech title Výsledky úlohy metrik strojového překladu na WMT13
Proceedings 2013: Sofija, Bulgaria: WMT 2013 (ACL): Proceedings of the Eight Workshop on Statistical Machine Translation
Pages range 45-51
How published online
URL http://aclweb.org/anthology//W/W13/W13-2202.pdf
Supported by 2011-2013 GAP406/11/1499 (Čeština ve věku strojového překladu) 2012-2015 FP7-ICT-2011-7-288487 (MosesCore) 2012-2016 PRVOUK P46 (Informatika)
Czech abstract Článek přináší výsledky společné úlohy metrik strojového překladu na workshopu WMT13. Účastníci úlohy nechali svými systémy vyhodnotit výstupy strojového překladu. Sebrali jsme hodnocení pomocí celkem 16 metrik od 8 týmů a doplnili hodnocení pomocí 5 standardních metrik (BLEU, WER, PER ad.). Hodnocení pak byla porovnána z hlediska korelace s lidským hodnocením a to jak na úrovni jednotlivých vět, tak na úrovni celého testovacího textu.
English abstract This paper presents the results of the WMT13 Metrics Shared Task. We asked participants of this task to score the outputs of the MT systems involved in WMT13 Shared Translation Task. We collected scores of 16 metrics from 8 research groups. In addition to that we computed scores of 5 standard metrics such as BLEU, WER, PER as baselines. Collected scores were evaluated in terms of system level correlation (how well each metric’s scores correlate with WMT13 official human scores) and in terms of segment level correlation (how often a metric agrees with humans in comparing two translations of a particular sentence).
Specialization linguistics ("jazykověda")
Confidentiality default – not confidential
Open access no
ISBN* 978-1-937284-57-2
Address* Sofija, Bulgaria
Month* August
Venue* The National Palace of Culture
Publisher* Association for Computational Linguistics
Institution* Bălgarska akademija na naukite
Creator: Common Account
Created: 9/4/13 10:23 AM
Modifier: Common Account
Modified: 11/9/15 9:47 AM
***

Content, Design & Functionality: ÚFAL, 2006–2016. Page generated: Tue Jul 17 14:57:32 CEST 2018

[ Back to the navigation ] [ Back to the content ]

100% OpenAIRE compliant