Automatické zpracování textových dat

NPFL098 / ATKL00345

Pavel Straňák

stranak@ufal.mff.cuni.cz

středa 14.00–17.10
Malostranské nám. 25, S421+SU1

2. 4. 2014

Běžné současné aplikace (vývoj):
- strojový překlad
- vyhledávání s důrazem na semantiku
- dialogové systémy
- sentiment analysis
potřeba značně předzpracovaných dat

segmentace na věty (segmenter)
tokenizace (tokenizer)
stemming, POS tagging, lematizace a morfologie (stemmer, POS tagger)
syntax povrchová (syntactic parser, chunker)
syntax hloubková (in Treex modifying the surface parse tree)
další jednotky a vztahy (na různých rovínách popisu):
- rozpoznání pojmenovaných entit
- koreference (zájmenná, jmenná)
- časové vztahy
- Word Sense Disambiguation (viz t-lemmata)

Kompletní analýza: řetězec mnoha kroků. Syntéza analogicky.

Weblicht:
- chaining of web services,
- transfer format TCF
Treex:
- local or cluster run (locally distributed)
- Perl + API wrapping standard tools + many additional blocks
- chaining of Blocks via Scenarios
- PML format
OpenNLP:
- Java toolkit (command line app), ML library included
- basic tools, including training options
- simple, ready-made, minimal settings
NLTK: http://www.nltk.org
- Python toolkit, simple module install
- Book available
- a platform to build NLP programs in Python
GATE: https://gate.ac.uk
- Java desktop app: visually process files, set modules, etc.
- Gate Cloud as an option for large scale processing ($$)

State of the art tools: NLTK, Treex
Community: GATE, NLTK, Treex = UFAL, Weblicht = Clarin (so far)
Ease of adding an existing tool: depends on programming skills:
- Weblicht: RESTful Web Service, CMDI metadata
- Treex: Perl wrapper (IO handling)
Add a small tweak (block) into a chain: Treex, Weblicht, probably NLTK

"Treex (formerly TectoMT) is a highly modular NLP software system implemented in Perl programming language under Linux."