EVALD 4.0 (Evaluator of Discourse)

EVALD 4.0 for Beginners

(Evaluator of Discourse for Beginners)

(popis v češtině najdete níže)

1 Introduction

EVALD 4.0 for Beginners (© 2019) is software that serves for automatic evaluation of Czech texts written by non-native speakers of Czech – language beginners. The software monitors about 200 language features in mutual interaction from various language fields: spelling, morphology, lexicology, syntax, text syntax (sentence information structure) and text structure (semantic discourse relations, anaphora and coreference).

The input document submitted to EVALD 4.0 for Beginners is a written text created by a learner of Czech who wants to know the level of his or her writing skills in Czech. EVALD software processes the text by internal procedures and then informs the user about the supposed language level in the submitted text. In the assessment, two possible levels are identified: 0 (texts that do not reach the minimum language level of A1 defined by the Common European Framework for Languages, CEFR) and A1 or higher. The software is created to distinguish the borderline category of a basic language user. Reaching the A1 level is compulsory e.g. to be granted permanent residence in the Czech Republic.¹

EVALD 4.0 for Beginners was trained on authentic texts written by non-native speakers (learners) of Czech (the texts are taken from the  exams for permanent residence in the Czech Republic provided by National Institute for Education.)² Firstly, the texts were divided into two categories: "0" and "A1 or higher" by expert assessors. Afterwards, the machine learning experiments on the evaluated texts were carried out. EVALD 4.0 for Beginners was learning how a human assessor evaluates the texts in order to be able to evaluate new texts itself (to divide them into the mentioned categories). The software classifies the new texts according to schemes that it has previously learned on the so-called training data, using the Random Forest algorithm, available within the Weka software with open access.  

EVALD 4.0 for Beginners was created in order to evaluate the submitted text by one of the mentioned marks/categories (0 vs. A1 or higner) and in this respect to approach human evaluation.³

 

3 Targeted users

EVALD 4.0 for Foreigners can be used e.g. by teachers of Czech as a foreign language for the evaluation of student essays⁴ or by learners of Czech who can easily verify their language level in Czech thanks to this software.

Software is available publicly and free of charge, without obtaining a license.⁵

 

4 Bibliographic reference

Michal Novák, Jiří Mírovský, Kateřina Rysová, Magdaléna Rysová, Eva Hajičová: EVALD 4.0 for Beginners – Evaluator of Discourse. Data/software, LINDAT/CLARIN digital library, Prague, Czech Republic,  http://hdl.handle.net/11234/1-3067, Oct 2019. On-line demo version: https://lindat.mff.cuni.cz/services/evald-begin/

---

 

EVALD 4.0 pro začátečníky

(Evaluátor diskurzu pro začátečníky)

1 Úvod

Počítačový nástroj EVALD 4.0 pro začátečníky (© 2019) slouží k automatickému hodnocení textů v češtině psaných nerodilými mluvčími češtiny na úrovni začátečníků. Software při hodnocení zohledňuje cca 200 jazykových rysů ve vzájemné interakci, a to z oblasti pravopisu, morfologie, slovní zásoby, syntaxe, textové syntaxe (aktuálního členění větného) a výstavby textu (významových diskurzních vztahů a vztahů anafory a koreference).

Vstupním dokumentem, který se předkládá softwaru EVALD 4.0 pro začátečníky, je psaný text vytvořený člověkem, který se učí česky a chce znát úroveň svého písemného vyjadřování. Software text vyhodnotí vnitřní procedurou a sdělí uživateli předpokládanou jazykovou úroveň.

Při hodnocení se rozlišují dvě možné kategorie: 0 (texty, které nedosahují minimální jazykové úrovně A1 definované podle Společné evropského referenčního rámce pro jazyky, SERR) a kategorie A1 či vyšší. Software je tedy nastaven na rozlišení minimální hranice, po jejímž dosažení lze autora textu označit jako uživatele základů českého jazyka. Dosažení jazykové úrovně A1 je povinné například pro uchazeče o trvalý pobyt v České republice.¹

Software EVALD 4.0 pro začátečníky byl trénován na autentických textech nerodilých mluvčích češtiny – texty pocházejí ze zkoušek z českého jazyka pro trvalý pobyt v České republice, poskytnuty byly Národním ústavem pro vzdělávání.² Odborní hodnotitelé získané texty roztřídili podle celkové jazykové úrovně do dvou kategorií: „0“ a „A1 či vyšší“. Poté byly na takto rozřazených textech provedeny experimenty strojového učení. Software EVALD 4.0 pro začátečníky se učil, jak texty hodnotí člověk, aby díky tomu byl posléze sám schopen třídit nové texty do zmíněných dvou kategorií (třídí je podle schémat, která se předtím naučil na tzv. trénovacích datech), s využitím algoritmu Random Forest dostupného v rámci volně přístupného softwaru Weka.

Software EVALD 4.0 pro začátečníky byl tedy vytvořen tak, aby předloženému textu přiřadil jednu z uvedených známek/kategorií (0 vs. A1 či vyšší) a přiblížil se přitom lidskému hodnocení.³

 

2 Instalace a návod k použití

Informace o získání a spuštění softwaru najdete v záložce dokumentace.

Demo verze přístupná on-line: https://lindat.mff.cuni.cz/services/evald-begin/?lang=cs

 

3 Využití

Software EVALD 4.0 pro začátečníky mohou využívat například učitelé češtiny jako cizího jazyka při hodnocení písemných prací⁴ či studenti češtiny jako cizího jazyka, kteří si díky softwaru mohou snadným a rychlým způsobem ověřit svoji úroveň češtiny. Software je dostupný veřejně a zdarma, bez nutnosti získání licence.⁵
 

4 Bibliografický údaj

Michal Novák, Jiří Mírovský, Kateřina Rysová, Magdaléna Rysová, Eva Hajičová: EVALD 4.0 for Beginners – Evaluator of Discourse. Data/software, LINDAT/CLARIN digital library, Prague, Czech Republic,  http://hdl.handle.net/11234/1-3067, Oct 2019. On-line demo version: https://lindat.mff.cuni.cz/services/evald-begin/