[ Skip to the content ]

Institute of Formal and Applied Linguistics

at Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic


[ Back to the navigation ]

Publication


Year 2016
Type in proceedings
Status published
Language English
Author(s) Rysová, Kateřina Rysová, Magdaléna Mírovský, Jiří
Title Automatic evaluation of surface coherence in L2 texts in Czech
Czech title Automatická evaluace povrchové koherence v textech nerodilých mluvčích češtiny
Proceedings 2016: Taipei, Taiwan: ROCLING 2016: Proceedings of the 28th Conference on Computational Linguistics and Speech Processing ROCLING XXVIII (2016)
Pages range 214-228
How published online
URL http://aclweb.org/anthology/O/O16/O16-1021.pdf
Supported by 2016-2019 DG16P02B016 (NAKI II: Automatické vyhodnocování koherence textu v češtině )
Czech abstract V článku jsou představeny možnosti automatické evaluace povrchové koherence (koheze) textů psaných nerodilými mluvčími češtiny během certifikovaných zkoušek. Na základě korpusové analýzy jsou vyhledávány a popisovány relevantní rozlišovací rysy (týkající se povrchové koherence textu) pro automatickou detekci úrovní textů nerodilých mluvčích A1–C1 (úrovně jsou ustanoveny Společným evropským referenčním rámcem pro jazyky). Úrovně A1–C1 byly hodnoceny nejprve lidmi (anotátory) – poté byly dělány strojové experimenty s cílem přiblížit se lidskému hodnocení automaticky, a to sledováním vybraných textových rysů, např. frekvence a různorodosti diskurzních konektorů nebo hustoty diskurzních vztahů v daném textu ap. V článku jsou představeny experimenty sledující vždy různé textové rysy při použití dvou algoritmů strojového učení. Úspěšnost automatického měření povrchové koherence (koheze) textu podle Společného evropského referenčního rámce pro jazyky je 73,2 % pro rozpoznávání úrovní A1–C1 a 74,9 % pro rozpoznávání úrovní A2–B2.
English abstract We introduce possibilities of automatic evaluation of surface text coherence (cohesion) in texts written by learners of Czech during certified exams for non-native speakers. On the basis of a corpus analysis, we focus on finding and describing relevant distinctive features for automatic detection of A1–C1 levels (established by CEFR – the Common European Framework of Reference for Languages) in terms of surface text coherence. The CEFR levels are evaluated by human assessors and we try to reach this assessment automatically by using several discourse features like frequency and diversity of discourse connectives, density of discourse relations etc. We present experiments with various features using two machine learning algorithms. Our results of automatic evaluation of CEFR coherence/cohesion marks (compared to human assessment) achieved 73.2% success rate for the detection of A1–C1 levels and 74.9% for the detection of A2–B2 levels.
Specialization education and educational system ("pedagogika a školství")
Confidentiality default – not confidential
Open access no
ISBN* 978-957-30792-9-3
Address* Taipei, Taiwan
Month* October
Venue* Tainan, Taiwan
Publisher* The Association for Computational Linguistics and Chinese Language Processing (ACLCLP)
Institution* National Cheng Kung University
Creator: Common Account
Created: 10/18/16 10:32 AM
Modifier: Almighty Admin
Modified: 2/25/17 10:07 PM
***

Automatic evaluation of surface coherencepublicAutomatic evaluation of surface coherence.pdfapplication/pdf
Content, Design & Functionality: ÚFAL, 2006–2016. Page generated: Tue Nov 21 16:38:27 CET 2017

[ Back to the navigation ] [ Back to the content ]

100% OpenAIRE compliant