EVALD 4.0 for Beginners

(Evaluator of Discourse for Beginners)

(popis v češtině najdete níže)

1 Introduction

EVALD 4.0 for Beginners (© 2019) is software that serves for automatic evaluation of Czech texts written by non-native speakers of Czech – language beginners. The software monitors about 200 language features in mutual interaction from various language fields: spelling, morphology, lexicology, syntax, text syntax (sentence information structure) and text structure (semantic discourse relations, anaphora and coreference).

The input document submitted to EVALD 4.0 for Beginners is a written text created by a learner of Czech who wants to know the level of his or her writing skills in Czech. EVALD software processes the text by internal procedures and then informs the user about the supposed language level in the submitted text. In the assessment, two possible levels are identified: 0 (texts that do not reach the minimum language level of A1 defined by the Common European Framework for Languages, CEFR) and A1 or higher. The software is created to distinguish the borderline category of a basic language user. Reaching the A1 level is compulsory e.g. to be granted permanent residence in the Czech Republic.1

EVALD 4.0 for Beginners was trained on authentic texts written by non-native speakers (learners) of Czech (the texts are taken from the  exams for permanent residence in the Czech Republic provided by National Institute for Education.)2 Firstly, the texts were divided into two categories: "0" and "A1 or higher" by expert assessors. Afterwards, the machine learning experiments on the evaluated texts were carried out. EVALD 4.0 for Beginners was learning how a human assessor evaluates the texts in order to be able to evaluate new texts itself (to divide them into the mentioned categories). The software classifies the new texts according to schemes that it has previously learned on the so-called training data, using the Random Forest algorithm, available within the Weka software with open access.  

EVALD 4.0 for Beginners was created in order to evaluate the submitted text by one of the mentioned marks/categories (0 vs. A1 or higner) and in this respect to approach human evaluation.3

 

2 Installation and instruction manual

Please see the documentation tab for instructions how to get and run Evald 4.0 for Beginners.

On-line demo version: https://lindat.mff.cuni.cz/services/evald-begin/

 

3 Targeted users

EVALD 4.0 for Foreigners can be used e.g. by teachers of Czech as a foreign language for the evaluation of student essays4 or by learners of Czech who can easily verify their language level in Czech thanks to this software.

Software is available publicly and free of charge, without obtaining a license.5

 

4 Bibliographic reference

Michal Novák, Jiří Mírovský, Kateřina Rysová, Magdaléna Rysová, Eva Hajičová: EVALD 4.0 for Beginners – Evaluator of Discourse. Data/software, LINDAT/CLARIN digital library, Prague, Czech Republic,  http://hdl.handle.net/11234/1-3067, Oct 2019. On-line demo version: https://lindat.mff.cuni.cz/services/evald-begin/

 
2 The authors of the project gratefully thank Jitka Cvejnová and Kamila Kolmašová for their kind cooperation and for providing texts that served as training data for software development.
3 At the same time, it is necessary to emphasize that the software serves only as an assistant assessment tool and its assessment cannot fully substitute the human evaluation (although the software is able to determine the level of surface coherence in the submitted text with a relatively high probability).
4 The software is created for assessing authentic writing samples written by non-native speakers of Czech. In other words, it is trained to evaluate (prosaic) texts whose content and form (e.g. length) correspond to the common essays created as a comprehensive piece of writing on a given topic, e.g. during the Czech language exam. When evaluating a different type of text (e.g. newspaper texts, poems etc.), the software may not work reliably.
5 Other information on the software may be found in the paper Kateřina Rysová, Magdaléna Rysová, Michal Novák, Jiří Mírovský, Eva Hajičová: EVALD – a Pioneer Application for Automated Essay Scoring in Czech. In: The Prague Bulletin of Mathematical Linguistics, Vol. 113, Univerzita Karlova, Prague, Czech Republic, ISSN 0032-6585, pp. 9–30, Oct 2019. WWW: https://ufal.mff.cuni.cz/pbml/113/art-rysova-et-al.pdf
 


 

EVALD 4.0 pro začátečníky

(Evaluátor diskurzu pro začátečníky)

 

1 Úvod

Počítačový nástroj EVALD 4.0 pro začátečníky (© 2019) slouží k automatickému hodnocení textů v češtině psaných nerodilými mluvčími češtiny na úrovni začátečníků. Software při hodnocení zohledňuje cca 200 jazykových rysů ve vzájemné interakci, a to z oblasti pravopisu, morfologie, slovní zásoby, syntaxe, textové syntaxe (aktuálního členění větného) a výstavby textu (významových diskurzních vztahů a vztahů anafory a koreference).

Vstupním dokumentem, který se předkládá softwaru EVALD 4.0 pro začátečníky, je psaný text vytvořený člověkem, který se učí česky a chce znát úroveň svého písemného vyjadřování. Software text vyhodnotí vnitřní procedurou a sdělí uživateli předpokládanou jazykovou úroveň.

Při hodnocení se rozlišují dvě možné kategorie: 0 (texty, které nedosahují minimální jazykové úrovně A1 definované podle Společné evropského referenčního rámce pro jazyky, SERR) a kategorie A1 či vyšší. Software je tedy nastaven na rozlišení minimální hranice, po jejímž dosažení lze autora textu označit jako uživatele základů českého jazyka. Dosažení jazykové úrovně A1 je povinné například pro uchazeče o trvalý pobyt v České republice.1

Software EVALD 4.0 pro začátečníky byl trénován na autentických textech nerodilých mluvčích češtiny – texty pocházejí ze zkoušek z českého jazyka pro trvalý pobyt v České republice, poskytnuty byly Národním ústavem pro vzdělávání.2Odborní hodnotitelé získané texty roztřídili podle celkové jazykové úrovně do dvou kategorií: „0“ a „A1 či vyšší“. Poté byly na takto rozřazených textech provedeny experimenty strojového učení. Software EVALD 4.0 pro začátečníky se učil, jak texty hodnotí člověk, aby díky tomu byl posléze sám schopen třídit nové texty do zmíněných dvou kategorií (třídí je podle schémat, která se předtím naučil na tzv. trénovacích datech), s využitím algoritmu Random Forest dostupného v rámci volně přístupného softwaru Weka.

Software EVALD 4.0 pro začátečníky byl tedy vytvořen tak, aby předloženému textu přiřadil jednu z uvedených známek/kategorií (0 vs. A1 či vyšší) a přiblížil se přitom lidskému hodnocení.3

 

2 Instalace a návod k použití

Informace o získání a spuštění softwaru najdete v záložce dokumentace.

Demo verze přístupná on-line: https://lindat.mff.cuni.cz/services/evald-begin/?lang=cs

 

3 Využití

Software EVALD 4.0 pro začátečníky mohou využívat například učitelé češtiny jako cizího jazyka při hodnocení písemných prací4 či studenti češtiny jako cizího jazyka, kteří si díky softwaru mohou snadným a rychlým způsobem ověřit svoji úroveň češtiny. Software je dostupný veřejně a zdarma, bez nutnosti získání licence.5
 

4 Bibliografický údaj

Michal Novák, Jiří Mírovský, Kateřina Rysová, Magdaléna Rysová, Eva Hajičová: EVALD 4.0 for Beginners – Evaluator of Discourse. Data/software, LINDAT/CLARIN digital library, Prague, Czech Republic,  http://hdl.handle.net/11234/1-3067, Oct 2019. On-line demo version: https://lindat.mff.cuni.cz/services/evald-begin/

 

 
2 Autoři projektu děkují Jitce Cvejnové a Kamile Kolmašové z Národního ústavu pro vzdělávání za vřelou spolupráci a za poskytnutí textů, na nichž byl software trénován.
3 Zároveň je nutné zdůraznit, že software slouží pouze jako pomocný hodnoticí nástroj a jeho hodnocení nemůže plně nahrazovat hodnocení člověka, jakkoli je software schopen určit úroveň povrchové koherence textu s relativně vysokou pravděpodobností.
4 Software je určen pro hodnocení autentických písemných prací vytvořených nerodilými mluvčími češtiny. Tj. je trénován na hodnocení prozaických textů obsahem a rozsahem (formou) odpovídajících běžné práci vytvořené například při zkoušce z češtiny jako cizího jazyka jako samostatný, ucelený písemný projev na zadané téma. Při hodnocení jiného typu textů (např. novinových textů, básní apod.) software nemusí pracovat spolehlivě.
5 Další informace o softwaru lze nalézt ve článku Kateřina Rysová, Magdaléna Rysová, Michal Novák, Jiří Mírovský, Eva Hajičová: EVALD – a Pioneer Application for Automated Essay Scoring in Czech. In: The Prague Bulletin of Mathematical Linguistics, Vol. 113, Univerzita Karlova, Prague, Czech Republic, ISSN 0032-6585, pp. 9–30, Oct 2019. WWW: https://ufal.mff.cuni.cz/pbml/113/art-rysova-et-al.pdf