PhD Topics

Deep Neural Networks for Machine Translation

Guidelines

Umělé neuronové sítě se stále častěji ukazují jako vhodný prostředek pro řešení náročných úloh strojového učení, typicky v případech, kde je třeba značná míra zobecnění. V poslední době se objevují též modely strojového překladu založené na hlubokých neuronových sítích, v nichž lze spatřovat formální reprezentaci významu, tj. jakousi interlingvu, ovšem naučenou zcela automaticky pouze na základě příkladů přeložených vět a nikoli vybudovanou lidmi (např. formální logika).

Úkolem disertační práce je po širší rešerši využití neuronových sítí ve zpracování přirozeného jazyka studovat přístupy a modely vhodné pro strojový překlad. Prototypy neuronových překladových modelů nebo neuronových komponent dodaných k tradičním modelům strojového překladu je žádoucí vyhodnocovat standardními metodami hodnocení kvality strojového překladu, ručními i automatickými.

Při návrhu struktury nebo postupů učení neuronových sítí je vhodné využít již zavedené formální reprezentace významu věty, např. informace dostupné na jednotlivých rovinách jazykového popisu teorie FGD, a zkoumat, nakolik je tato lidmi dodaná znalost využitelná. Na druhou stranu by též bylo zajímavé pokusit se alespoň částečně naučené neuronové modely interpretovat a hledat korespondence mezi dílčími aspekty těchto modelů a tradičním formálním popisem.

References

Karl Moritz Hermann. Distributed Representations for Compositional Semantics. University of Oxford. 2014.

Multilingual Models for Compositional Distributional Semantics. Karl Moritz Hermann, Phil Blunsom. In Proceedings of ACL. 2014.

Petr Sgall, Eva Hajičová a Jarmila Panevová. The Meaning of the Sentence and Its Semantic and Pragmatic Aspects. Academia/Reidel Publishing Company, Praha/Dordrecht, 1986.

Jan Hajič, Eva Hajičová, Jarmila Panevová, Petr Sgall, Ondřej Bojar, Silvie Cinková, Eva Fučíková, Marie Mikulová, Petr Pajas, Jan Popelka, Jiří Semecký, Jana Šindlerová, Jan Štěpánek, Josef Toman, Zdeňka Urešová a Zdeněk Žabokrtský. Announcing Prague Czech-English Dependency Treebank 2.0. In Proceedings of the Eighth International Language Resources and Evaluation Conference (LREC’12), str. 3153–3160, Istanbul, Turkey, květen 2012. ELRA, European Language Resources Association.