[ Skip to the content ]

Institute of Formal and Applied Linguistics

at Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic


[ Back to the navigation ]

Publication


Year 2017
Type in proceedings
Status published
Language English
Author(s) Kocmi, Tom Bojar, Ondřej
Title Curriculum Learning and Minibatch Bucketing in Neural Machine Translation
Czech title Curriculum Learning a Minibatch Bucketing v Neuronovém Počítačovém Překladu
Proceedings 2017: Šumen, Bulgaria: RANLP 2017: Proceedings of the International Conference Recent Advances in Natural Language Processing
Pages range 379-386
How published print
URL http://acl-bg.org/proceedings/2017/RANLP%202017/index.html
Supported by 2016-2018 GAUK 8502/2016 (Využití umělých neuronových sítí pro počítačový překlad) 2017 SVV 260 453 (Teoretické základy informatiky a výpočetní lingvistiky) 2015-2018 H2020-ICT-2014-1-645452 (QT21: Quality Translation 21) 2017-2021 PROGRES Q18 (Společenské vědy: od víceoborovosti k mezioborovosti) 2016-2019 LM2015071 (LINDAT-CLARIN: Institut pro analýzu, zpracování a distribuci lingvistických dat) 2017-2021 PROGRES Q48 (Informatika)
Czech abstract Prozkoumali jsme vliv řazení vět pro online trénování neuronových sítí pro počítačová překlad. Práce má dvě části: řazení stejných příkladů v rámci minibatche a postupné zvyšování složitosti trénovacích dat (tzv. Curriculum learning). Výsledkem práce je, že homogenita minibatchí nemá na trénování velký vliv zato curriculum lepších větších výsledků.
English abstract We examine the effects of particular orderings of sentence pairs on the on-line training of neural machine translation (NMT). We focus on two types of such orderings: (1) ensuring that each minibatch contains sentences similar in some aspect and (2) gradual inclusion of some sentence types as the training progresses (so called “curriculum learning”). In our English-to-Czech experiments, the internal homogeneity of minibatches has no effect on the training but some of our “curricula” achieve a small improvement over the baseline.
Specialization linguistics ("jazykověda")
Confidentiality default – not confidential
Open access yes
Editor(s)* Galia Angelova; Kalina Boncheva; Ruslan Mitkov; Ivelina Nikolova; Irina Temnikova
ISBN* 978-954-452-048-9
ISSN* 1313-8502
Address* Šumen, Bulgaria
Month* September
Publisher* INCOMA Ltd.
Institution* Bulgarian Academy of Sciences
Creator: Common Account
Created: 9/14/17 7:01 PM
Modifier: Common Account
Modified: 11/19/17 12:39 PM
***

Content, Design & Functionality: ÚFAL, 2006–2016. Page generated: Fri Nov 24 01:09:02 CET 2017

[ Back to the navigation ] [ Back to the content ]

100% OpenAIRE compliant