Principal investigator (ÚFAL): 
Provider: 
Grant id: 
19-26934X
Duration: 
2019-2024
Projects: 

NEUREM3

Neuronové reprezentace v multimodálním a mnohojazyčném modelování (Neural Representations in Multi-modal and Multi-lingual Modelling)

Projekt NEUREM3 spojuje základní výzkum v oblasti zpracování mluvené řeči (speech processing, SP) a přirozeného jazyka (natural language processing, NLP) s důrazem na vícejazyčnost a multi-modalitu (zpracování řeči a textu s podporou obrazové informace). V jádru současných metod hlubokého strojového učení leží spojité vektorové reprezentace, které si neuronové sítě samy budují během trénování. Ačkoli empiricky dosahují neuronové sítě často vynikajících výsledků, znalosti a pochopení získaných reprezentací jsou nedostatečné. NEUREM3 má ambici tuto mezeru vyplnit a studovat neuronové reprezentace pro jednotky textu a řeči různého rozsahu (od fonémů a písmen až po proslovy a dokumenty) a reprezentace získané pro izolované úlohy i více úloh současně (multi-tasking). NEUREM3 vylepší architektury i techniky trénování neuronových sítí, aby je bylo možné trénovat na neúplných nebo nekoherentních datech.

Cíle projektu česky Systematická studie neuronových struktur pro modelování řeči a textu v multimodálních a multilingválních prostředích. Výzkum hierarchií neuronových reprezentací, jejich srozumitelnosti pro lidské uživatele a trénování v realistických podmínkách neideálních a nekoherentních dat.

----------

The NEUREM3 project encompasses basic research in speech processing (SP) and natural language processing (NLP) with accent on multi-linguality and multi-modality (speech and text processing with the support of visual information). Current deep machine learning methods are based on continuous vector representations that are created by the neural networks (NN) themselves during the training. Although empirically, the results of NNs are often excellent, our knowledge and understanding of such representations is insufficient. NEUREM3 has the ambition to fill this gap and to study neural representations for speech and text units of different scopes (from phonemes and letters to whole spoken and written documents) and representations acquired both for isolated tasks and multi-task setups. NEUREM3 will also improve NN architectures and training techniques, so that they can be trained on incomplete or incoherent data.

Systematic study of neural structures for speech and text modeling in multi-modal and multi-lingual settings. Addressing hierarchy of neural representations, human interpretability, and training under realistic conditions of non-ideal and incoherent data.

Projekt spadá pod GAČR EXPRO.

This project falls under GACR EXPRO.