[ Skip to the content ]

Institute of Formal and Applied Linguistics

at Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic


[ Back to the navigation ]

Publication


Year 2018
Type in proceedings
Status published
Language English
Author(s) Bělohlávek, Petr Plátek, Ondřej Žabokrtský, Zdeněk Straka, Milan
Title Using Adversarial Examples in Natural Language Processing
Czech title Použití adversálních příkladů ve zpracování přirozeného jazyka
Proceedings 2018: Paris, France: LREC 2018: Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018)
Pages range 3693-3700
How published online
URL http://www.lrec-conf.org/proceedings/lrec2018/summaries/852.html
Supported by 2016-2019 DG16P02B048 (NAKI II - Systém pro trvalé uchování dokumentace a prezentaci historichých pramenů z období totalitních režimů, s ZCU a USTR) 2017-2021 PROGRES Q48 (Informatika)
Czech abstract Modely strojového učení přinášejí slibné výsledky v mnoha oborech včetně zpracování přirozeného jazyka. Tyto modely jsou nicméně náchylné k adversálním příkladům. Jedná se o uměle vytvořené příklady s dvěma důležitými vlastnostmi: podobají se skutečným tréninkovým příkladům, ale matou již natrénovaný model. Tento článek zkoumá účinek používání adversálních příkladů při tréninku rekurentních neuronových sítí, jejichž vstup je ve formě slovních či znakových embeddingů. Účinky jsou studovány na kompilaci osmi datasetů. Na základě experimentů a charakteristik datasetů dospíváme k závěru, že použití adversálních příkladů pro úkoly zpracování přirozeného jazyka, které jsou modelovány pomocí rekurentních neuronových sítí, přináší efekt regularizace a umožňuje trénovat modely s větším počtem parametrů bez overfittingu. Na závěr popisujeme, které kombinace datasetů a nastavení modelů by mohly mít z adversálního tréninku největší prospěch.
English abstract Machine learning models have been providing promising results in many fields including natural language processing. These models are, nevertheless, prone to adversarial examples. These are artificially constructed examples which evince two main features: they resemble the real training data but they deceive already trained model. This paper investigates the effect of using adversarial examples during the training of recurrent neural networks whose text input is in the form of a sequence of word/character embeddings. The effects are studied on a compilation of eight NLP datasets whose interface was unified for quick experimenting. Based on the experiments and the dataset characteristics, we conclude that using the adversarial examples for NLP tasks that are modeled by recurrent neural networks provides a regularization effect and enables the training of models with greater number of parameters without overfitting. In addition, we discuss which combinations of datasets and model settings might benefit from the adversarial training the most.
Specialization linguistics ("jazykověda")
Confidentiality default – not confidential
Open access yes
Article no. 852
Editor(s)* Nicoletta Calzolari; Khalid Choukri; Thierry Declerck; Bente Maegaard; Joseph Mariani; Hélène Mazo; Asunción Moreno; Jan Odijk; Stelios Piperidis
ISBN* 979-10-95546-00-9
Address* Paris, France
Month* May
Venue* Phoenix Seagaia Conference Center
Publisher* European Language Resources Association
Creator: Common Account
Created: 10/18/18 12:06 PM
Modifier: Common Account
Modified: 11/11/18 10:25 PM
***

Paperpublicadversarial.pdfapplication/pdf
Content, Design & Functionality: ÚFAL, 2006–2016. Page generated: Wed Nov 14 17:35:27 CET 2018

[ Back to the navigation ] [ Back to the content ]

100% OpenAIRE compliant