[ Skip to the content ]

Institute of Formal and Applied Linguistics

at Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic


[ Back to the navigation ]

Publication


Year 2018
Type in proceedings
Status published
Language English
Author(s) Libovický, Jindřich Helcl, Jindřich
Title End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification
Czech title Neautoregresivní neuronový strojový překlad pomocí konekcionistitické temporální klasifikace trénovaný bez mezikroků
Proceedings 2018: Stroudsburg, PA, USA: EMNLP 2018: Proceedings of the Conference on Empirical Methods in Natural Language Processing EMNLP 2018
Pages range 3016-3021
How published online
Supported by 2012-2018 GBP103/12/G084 (Centrum pro multi-modální interpretaci dat velkého rozsahu) 2018-2019 GAUK 976518/2018 (Využití lingvistické informace v neuronovém strojovém překladu) 2017-2018 SVV 260 453 (Teoretické základy informatiky a výpočetní lingvistiky)
Czech abstract Autoregresivní dekódování je jedinou součástí převádějících sekvence na sekvence, která bráňí masivní paralelizaci při inferenci. Neautoregresivní modely umožňují dekodéru generovat všechny výstupní symboly nezávisle a tedy paralelně. V článku představujeme novou neautoregresivní architekturu založenou na konekcionistické temporální klasifikaci (CTC). Na rozdíl od jiných neautoregresivních metod, které je nutné trénovat v několika krocích, představovaný systém se trénuje monoliticky. Experimentuje se strojovým překladem mezi angličinou a rumunštionou a angličtinou němčinou na standardních testovacích datech z WMT. Naše modely dosahují výrazného zrychlení oproti autoregresivním modelům, přičemž kvalita překladu je srovnatelná s jinými neautoregresivními modely.
English abstract Autoregressive decoding is the only part of sequence-to-sequence models that prevents them from massive parallelization at inference time. Non-autoregressive models enable the decoder to generate all output symbols independently in parallel. We present a novel non-autoregressive architecture based on connectionist temporal classification and evaluate it on the task of neural machine translation. Unlike other non-autoregressive methods which operate in several steps, our model can be trained end-to-end. We conduct experiments on the WMT English-Romanian and English-German datasets. Our models achieve a significant speedup over the autoregressive models, keeping the translation quality comparable to other non-autoregressive models.
Specialization linguistics ("jazykověda")
Confidentiality default – not confidential
Open access yes
ISBN* 978-1-948087-84-1
Address* Stroudsburg, PA, USA
Month* November
Venue* SQUARE Brussels Meeting Centre
Publisher* Association for Computational Linguistics
Institution* ACL's special interest group on linguistic data and corpus-based approaches to NLP
Creator: Common Account
Created: 8/27/18 9:17 PM
Modifier: Common Account
Modified: 11/6/18 11:11 AM
***

Posterpublicposter_ctc.pdfapplication/pdf
Camera ready paperpublicend-end-autoregressive.pdfapplication/pdf
Content, Design & Functionality: ÚFAL, 2006–2016. Page generated: Sun Dec 16 22:15:36 CET 2018

[ Back to the navigation ] [ Back to the content ]

100% OpenAIRE compliant