Hlavním datovým formátem ČAK 2.0 je formát nazvaný Prague Markup Language (PML), založený na XML [31] a navržený pro bohatou reprezentaci lingvistické anotace textů. Každé zvolené rovině anotace odpovídá jeden samostatný soubor. Návrh PML probíhal souběžně s tektogramatickou anotací PZK 2.0.

Vedlejším datovým formátem ČAK 2.0 je formát CSTS. Jde o formát SGML [19] používaný v PZK 1.0 a rovněž v Českém národním korpusu [13]. Důvodem pro jeho použití v ČAK 2.0 je větší čitelnost tohoto formátu pro člověka, jeho snadné zpracování jednoduchými nástroji a rovněž to, že některé z nástrojů ČAK 2.0 pracují výhradně s CSTS. K dispozici je též nástroj pro převod mezi těmito dvěma formáty.

Následující oddíl obsahuje stručný přehled hlavních vlastností formátu PML; podrobné informace jsou publikovány v technické zprávě (Pajas, Štěpánek, 2005). V další části uvádíme stručný přehled hlavních vlastností formátu CSTS. Podrobnější informace je možno nalézt v dokumentaci PZK 2.0 [12].

Každý datový soubor ČAK 2.0 odpovídá jednomu anotovanému dokumentu. První znak jména souboru indikuje styl textu: n označuje novinové články (publicistiku), s označuje vědecké texty (odborný styl), a označuje texty administrativní. Následuje dvoumístné pořadové číslo dokumentu v rámci skupiny dokumentů jednoho stylu; písmeno za číslem udává, zda jde o původně psaný text (písmeno w) nebo o přepis mluvené řeči, tzv. mluvený text (písmeno s). Jména souborů jsou také součástí identifikátorů vět a prvků vět obsažených v těchto souborech, např. <m id="m-n01w-s1W1"> v tabulce 3.5. V příloze A jsou uvedena jména souborů pro jednotlivé dokumenty.

Příklad: Soubory se jménem podle šablony a[0-9][0-9]s* obsahují přepisy mluvené řeči s administrativním obsahem.

Ve formátu PML přípona souboru vyjadřuje rovinu anotace dokumentu. Přípona .w označuje w-rovinu, .m označuje m-rovinu a .a označuje a-rovinu. Mluvíme potom o w-souborech, m-souborech a a-souborech. Ke každému a-souboru existuje právě jeden m-soubor a právě jeden w-soubor. Z každého a-souboru vedou odkazy do příslušného m-souboru a w-souboru a z každého m-souboru vedou odkazy do příslušného w-souboru (viz výše). Z tohoto důvodu by soubory neměly být přejmenovány. Z w-souboru do m-souboru (ani do a-souboru) odkazy nevedou, stejně tak nevedou odkazy z m-souboru do a-souboru.

Ve formátu CSTS je pouze jediná přípona pro všechny soubory, a sice přípona "csts".

Příklad: s17w.a označuje soubor obsahující anotace na a-rovině odborného psaného dokumentu. Ze souboru vedou odkazy do souborů s17w.m a s17w.w, ze souboru s17w.m vede odkaz do souboru s17w.w. Název s17w.csts označuje CSTS soubor, který obsahuje anotace ze všech tří anotačních rovin (w-rovina, m-rovina, a-rovina) odborného psaného dokumentu.

ČAK 2.0 sestává ze 180 ručně anotovaných textových dokumentů obsahujících celkem 31 707 vět s 652 131 slovními jednotkami (tyto údaje jako i všechny ostatní jsou počítány z m-souborů). Slovních jednotek bez interpunkce je 570 760. Slovních jednotek bez interpunkce a bez čísel zapsaných číslicemi je 565 910. V tabulce 3.8 jsou uvedeny velikosti jednotlivých částí dat rozdělených podle stylu a podle formy.

Zvlášť uvádíme v tabulce 3.9 kvantitativní údaje pro znaky '#' a '?', které byly ručně vloženy do ČAK jakožto znaky zástupné za chybějící slova a čísla zapsaná číslicemi.

Pro úplnost dodáváme, že každý zveřejněný experiment provedený na datech ČAK 2.0 by měl obsahovat informaci o tom, jaká část dat byla pro jaký účel v experimentu použita.

Souhrnně konstatujeme, že anotace ČAK 2.0 je rozdělena do tří rovin, a to do roviny slovní (w-rovina), morfologické (m-rovina) a analytické (a-rovina). Každá z těchto rovin má vlastní PML schéma (v adresáři data/schemas/ soubory wdata_schema.xml, mdata_schema.xml, adata_schema.xml). Adresář data/pml/ obsahuje celkem 496 souborů, a to 180 w-souborů, 180 m-souborů a 136 a-souborů. Mluvené texty nebyly anotovány na analytické rovině. Pokyny pro  analytickou anotaci psaných textů není možné aplikovat na mluvené texty.

Data jsou k dispozici též ve formátu CSTS v adresáři data/csts/, který obsahuje celkem 180 souborů, z toho 136 souborů obsahuje morfologickou a syntaktickou anotaci, zatímco 44 souborů obsahuje pouze morfologickou anotaci.

Vzhledem k motivaci přičlenit ČAK k PZK předkládáme tabulku 3.10, kde je uvedeno základní srovnání obou korpusů. Všímáme si pouze těch charakteristik, které mají oba korpusy společné. K přímému začlenění ČAK do PZK dojde někdy v budoucnu při vydání další verze PZK.

Grafický nástroj Bonito [32] ulehčuje uživatelům práci s jazykovými korpusy, zejména při vyhledávání a při základních statistických výpočtech nad vyhledanými daty. Bonito je nadstavbou korpusového manažeru Manatee, který provádí nejrůznější operace nad korpusovými daty. Podrobná dokumentace k nástroji Bonito je součástí nástroje samotného a vyvolá se z hlavního menu Nápověda.

Hlavní obrazovka Bonito je uvedena na obrázku 3.1. Základní ovládání nástroje ukážeme na konkrétních příkladech.

Vysvětlivky k obrázku 3.1

Z korpusového nástroje Bonito je možné vyvolat morfologickou analýzu, a to z menu Manažer | Morfologie. Nové okno, které tak otevřete, si můžete nechat připravené po celou dobu práce s korpusovým nástrojem. Můžete z něj spouštět morfologickou analýzu nebo syntézu (generování). Morfologická analýza zadaného slova vypíše všechna možná lemmata a příslušné značky. Při zaškrtnutí syntézy zase dostanete všechny možné slovní tvary, které lze ze zadaného lemmatu vytvořit, spolu s jejich morfologickými značkami. Viz obr. 3.2.

Tutoriál obsahuje podrobnější návod pro práci s Bonito.

LAW (Lexical Annotation Workbench, [33]) je integrované prostředí pro morfologické anotování. Podporuje přímou morfologickou anotaci (tj. přiřazování lemmatu a značky danému slovu), porovnání anotací jednoho textu (například vytvořených více anotátory), vyhledávání slov, značek atd. Editor pracuje na všech operačních systémech, které podporují Javu, včetně systémů Windows a Linux. LAW je otevřeným systémem rozšiřitelným prostřednictvím externích modulů – např. pro různá zobrazení dat, import/export souborů a nápovědy. LAW podporuje formáty PML [14], csts [12] a TNT [38].

TrEd (Tree Editor, [37]) je integrovaným prostředím primárně navrženým pro syntaktické anotování vět, při kterém je větě přiřazena stromová struktura. Zároveň může být použit i k prohlížení dat a obsahuje také několik druhů vyhledávacích funkcí.

TrEd podporuje vstupní a výstupní formáty PML a CSTS, které jsme čtenářům již představili v části 3.2.1. TrEd je zároveň modulárním systémem, proto je snadné doplnit podporu pro další formáty.

TrEd nabízí různé možnosti nastavení v závislosti na požadavcích uživatele. Jeho funkčnost může být dále rozšířena pomocí uživatelsky definovaných maker v jazyce Perl, které je možné vyvolat buď přímo klávesovou zkratkou, nebo přes položku v menu.

Programátorsky orientované uživatele bude jistě zajímat varianta nástroje TrEd bez grafického rozhraní, a to nástroj btred pro dávkové zpracování dat (Batch-mode Tree Editor). Dalším doplňkem je nástroj NTrEd, který umožňuje paralelizovat procesy spuštěné nástrojem btred jejich distribucí na více výpočetních strojů.

Pro otevření souborů v TrEd zvolte menu File | Open. Vyberte jakýkoliv soubor *.a (tj. soubor s analytickou anotací) nebo soubor *.csts, TrEd jej otevře a ihned zobrazí strom pro první větu daného souboru.

Typický vzhled TrEdu je na na obrázku 3.4. Jde o větu Problémy motivace jsou tak staré jako lidstvo. Vysvětlivky následují.

Soubory ČAK 2.0 jsou implicitně otvírány v kontextu PML_A_View, který neumožňuje jejich editaci, pouze prohlížení. Pokud si přejete soubory měnit, přepněte se do kontextu PML_A_Edit. V obou kontextech je k dispozici jeden zobrazovací styl – PML_A. V libovolném kontextu můžete zobrazit seznam všech maker definovaných v daném kontextu a jejich klávesové zkratky, a to vybráním menu View | List of Named Macros.

Netgraph [35] je aplikace typu klient-server, která umožňuje prohledávat ČAK 2.0 současně několika uživateli připojenými přes internet. Netgraph je navržený tak, aby prohledávání bylo co nejjednodušší a intuitivní, při zachování vysoké síly dotazovacího jazyka (Mírovský, 2008).

Dotaz v Netgraphu je jeden uzel nebo strom s vlastnostmi definovanými uživatelem, který má být vyhledán v korpusu. Prohledávání korpusu pak znamená hledání vět (samozřejmě ve formě anotovaných stromů), v nichž je hledaný uzel nebo strom obsažen. Uživatel má možnost zadat dotazy nejrůznější složitosti, od těch nejjednodušších (jako je hledání všech stromů korpusu, které obsahují dané slovo) po pokročilejší (jako např. hledání všech vět, obsahujících sloveso rozvité objektem, který není ve třetím pádě, a nejméně jedním příslovcem atd.). Dotazy mohou být dále rozšířeny tzv. meta atributy, které umožňují vyhledávat ještě složitější konstrukce.

Dotazy se v Netgraphu vytvářejí v uživatelsky přívětivém grafickém prostředí. Příkladem je dotaz na obrázku 3.5. V tomto jednoduchém dotazu hledáme všechny stromy, které obsahují uzel označený jako predikát rozvitý nejméně dvěma uzly označenými jako subjekt a objekt. Pořadí těchto uzlů v nalezených stromech není v dotazu nijak omezeno.

Jedním z výsledků, které server vyhledá, může být strom z obrázku 3.6.

Uživatel vždy používá klientskou část programu Netgraph. Tímto klientem se může připojit k veřejnému serveru quest.ms.mff.cuni.cz na portu 2001. Pokud si uživatel nainstaluje i serverovou část Netgraphu, může se připojit lokálně k tomuto vlastnímu serveru a prohledávat korpus bez přístupu k  internetu.

Paralelně s prací nad daty jsou vyvíjeny aplikace pro morfologické a syntaktické zpracování českých textů. Součástí CD-ROM jsou dvě základní morfologické aplikace – morfologická analýza a tagování – a jedna syntaktická aplikace – parsování. Tyto tři aplikace jsou doplněny tokenizací.

Tokenizace je proces, který rozdělí daný text na jednotlivá slova. Výsledkem je tzv. vertikála, tedy soubor, v němž je každé slovo nebo interpunkční znaménko na zvláštním řádku. Pod pojmem tokenizace se často rozumí i tzv. segmentace, což je označení začátků odstavců a vět. I naše tokenizace text současně segmentuje.

V našem pojetí je však tokenizace ještě něco navíc – převádí vertikálu do formátu CSTS (viz část „Formát CSTS“). Převod do tohoto formátu spočívá hlavně v přidání hlavičky před vertikálu a označení jednotlivých slov jednoduchými značkami, které rozlišují vlastnosti slov viditelné přímo z jejich ortografického zápisu. Jde zejména o odlišení interpunkčních znamének, čísel zapsaných číslicemi nebo slov obsahujících číslice. Dále se speciální značkou označí slova začínající velkým písmenem a slova, která jsou celá napsána velkými písmeny. Výsledek tokenizace, tedy vertikála ve formátu CSTS, je potom přímo vstupním formátem pro další zpracování.

Morfologická analýza zpracovává jednotlivé slovní formy a určuje pro ně lemmata (základní tvary, např. pro podstatná jména první pád jednotného čísla, pro slovesa infinitiv) a možné morfologické interpretace.

Základem morfologické analýzy je morfologický slovník, který obsahuje tvaroslovné informace o českých slovech a jejich tvarech. Každý slovní tvar má přiřazeno lemma a morfologickou značku (morfologický tag), která popisuje morfologické vlastnosti tohoto tvaru. V použitém morfologickém slovníku mají mnohá lemmata doplňující informace o stylu, sémantice nebo o způsobu odvození. V případě zkratek bývají lemmata opatřena komentářem s vysvětlujícím textem v příloze B.

Vzhledem k vysoké homonymii češtiny lze většině slovních tvarů přiřadit více morfologických značek, občas i více lemmat. Např. slovní tvar pekla má dvě různá lemmata – podstatné jméno peklo a sloveso péci. Obě lemmata dále mohou pro uvedený slovní tvar mít několik různých morfologických značek. Při morfologické analýze se probírají jednotlivé slovní formy z celého korpusu a porovnávají se se slovními formami obsaženými v morfologickém slovníku. V případě shody se danému slovnímu tvaru přiřadí příslušná lemmata a morfologické značky. Výsledkem morfologické analýzy pro konkrétní slovo je tedy množina dvojic lemma–morfologická značka.

Na morfologickou analýzu navazuje tagování (někdy také desambiguace nebo disambiguace). Během této fáze se vybere ze všech možných lemmat a morfologických značek přiřazených v předchozí fázi jediná dvojice, která by měla být v konkrétním kontextu správná. Vzhledem k obtížnosti úlohy není možné navrhnout takovou metodu tagování, která by pracovala se stoprocentní úspěšností. Program, který tagování provádí, je označován jako tagger. Tagger, který je součástí CD-ROM, je založen na skrytých markovovských modelech s využitím průměrovaného perceptronu (Collins, 2002). Jedná se o metodu statistickou. Vstupem taggeru je text, který pro každé slovo obsahuje množinu všech možných morfologických značek a lemmat (výstup z morfologické analýzy). Na výstupu pak k těmto datům přidává jednoznačně vybranou značku a jí odpovídající lemma. Tagger byl natrénován na datech PZK 2.0.

Parsování představuje další úroveň zpracování textů, která navazuje na tagování. Při parsování se pro každé slovo věty určí jeho syntaktická závislost na jiném slovu věty a přiřadí se mu analytická funkce. Program, který parsování provádí, je označován jako parser. Parser, který je součástí CD-ROM, je založen na stejné metodologii jako použitý tagger. Vstupem parseru je text, který pro každé slovo textu obsahuje právě jednu dvojici lemma-morfologická značka. Na výstupu je stromová struktura ohodnocená analytickými funkcemi. Parser byl natrénován na trénovacích datech PZK 2.0.

Aby uživatel mohl nástroje pohodlně používat, vytvořili jsme skript tool_chain, který prostřednictvím základních přepínačů dokumentovaných v tabulce 3.12 spustí požadovaný nástroj. Řetězením přepínačů je možné spustit více nástrojů za sebou.

Příklad: Chceme-li surový text zpracovat morfologickou analýzou, spustíme tool_chain -tA

Připomenutí: Při práci s formátem PML musí být se souborem, který vstupuje do skriptu tool_chain, v adresáři i soubory, na které se z něho odkazuje. Pokud je vstupním souborem m-soubor, musí ho „doprovázet“ i příslušný w-soubor.

Příklad: Ukážeme zpracování věty Fantastickým finišem si však Neumannová doběhla pro vytoužené olympijské zlato. Výsledky morfologické analýzy (spuštěním tool_chain -tA) a tagování (spuštěním tool_chain -T) jsou souhrnně uvedeny v tabulce 3.13. V případě více možných lemmat odpovídajících dané slovní formě (např. slovní forma si je analyzována buď jako sloveso být, nebo jako zvratná částice se) jsou tyto základní tvary odděleny symbolem svislého lomítka „|“. Abychom usnadnili čtenáři pátrání po chybách, kterých se tagger dopustil, potvrzujeme, že se tagger žádných chyb nedopustil. Výsledek parsování (spuštěním tool_chain -P) je uveden na obrázku 3.7. U každého uzlu stromu je zobrazena slovní forma, zjednoznačněné lemma, zjednoznačněná morfologická značka a analytická funkce. Abychom i v tomto případě usnadnili čtenáři pátrání po chybách, potvrzujeme, že se parser žádné chyby nedopustil.

Pro vyzkoušení nástrojů uživatelům doporučujeme , aby si vybrali libovolný český text a zpracovali jej skriptem tool_chain -tA . Následně výstup skriptu otevřete v nástroji LAW a začněte zjednoznačňovat přiřazené značky slov.

Soubor s ručně zjednoznačněnými značkami zpracujte skriptem tool_chain -P. Následně výstup skriptu otevřete v nástroji TrEd a můžete začít opravovat závislosti a analytické funkce.