Velice silný výpočetní nástroj, k jehož hlavním přednostem patří masivně paralelní způsob zpracování informací a schopnost zobecnit znalosti získané v procesu učení i pro nové vstupní vzory. To je nesmírně důležité především v takových oblastech, jako je zpracování mluvené řeči a přirozeného jaz., analýza obrazu a mnoho dalších. Základní funkční jednotku neuronových sítí představuje tzv. formální neuron. Každý neuron může přijímat obrovské množství různých vstupních informací najednou. Zpracované informace pak předává dalším neuronům prostřednictvím jediného, avšak bohatě rozvětveného výstupu. Formální neuron tedy nejprve počítá hodnotu tzv. vnitřního potenciálu, která odpovídá váženému součtu jednotlivých vstupních složek a prahové hodnoty. Na výsledek potom aplikuje nelineární přenosovou funkci. Tou bývá nejčastěji sigmoidální přenosová funkce, ale používají se i jiné typy přenosových funkcí, např. funkce signum (v takovém případě je výstup neuronu roven 1, resp. –1).

Pomocí synaptických spojů mohou být jednotlivé neurony navzájem propojené, a mohou tak vytvářet neuronovou síť. Každý ze synaptických spojů je přitom orientovaný a ohodnocený reálnou hodnotou (vahou synapse). K nejpoužívanějším modelům umělých neuronových sítí patří tzv. vrstevnaté neuronové sítě typu zpětného šíření, které navrhli ✍Rumelhart & Hinton ad. (1986). Vrstevnaté neuronové sítě se skládají ze vstupní vrstvy neuronů (ty předávají síti signály z vnějšího prostředí), několika mezilehlých vrstev (tzv. skrytých vrstev neuronů, které nemají žádné přímé propojení s vnějším prostředím) a výstupní vrstvy neuronů (ty do vnějšího prostředí předávají signál zpracovaný sítí). Neurony uvnitř dané vrstvy přitom mění svou aktivitu paralelně, a to postupně po jednotlivých vrstvách od vstupní vrstvy směrem k výstupní.

Vrstevnaté neuronové sítě se „učí správně reagovat na možné vstupy“ postupným předkládáním trénovacích vzorů ve tvaru (vstupní_vzor / požadovaný_výstup) – jedná se o proces učení s učitelem. Přitom se adaptují váhy spojů mezi jednotlivými neurony sítě, většinou od výstupní vrstvy směrem ke vstupní. Cílem učení je nalézt takovou množinu vah sítě, která by pro všechny vstupní vzory z trénovací množiny dávala stejný výstup dané neuronové sítě, jako je výstup požadovaný. Úloha přitom aktivitu skrytých neuronů nijak neupřesňuje. Požadované chování sítě specifikuje tzv. cílová funkce, např. jako kvadrát odchylky mezi skutečným a požadovaným výstupem sítě pro každý předložený vzor. V průběhu učení by se hodnota cílové funkce měla zmenšovat.

Přidáním tzv. kontextové vrstvy neuronů, které kopírují na pomocné vstupy sítě i výstup skrytých neuronů vypočtený pro předchozí vzor, vznikají tzv. Elmanovy sítě (Elman Networks), viz např. ✍Elman (1991). Tato forma zpětné vazby vlastně slouží jako určitý typ vnitřní paměti a Elmanovým sítím umožňuje zpracovávat i vstupní posloupnosti variabilní délky. Na podobném principu jsou proto založeny i pokročilejší varianty rekurentních neuronových sítí, které ✍Lane & Henderson (2001) aplikovali mj. i na syntaktickou analýzu přirozených jazyků.

Obrázek: Elmanova neuronová síť pro jednorozměrné vstupy (x) i výstupy (y). Výstupy kontextových neuronů (k) vypočtené pro předchozí vzor se po průchodu zpožďovačem (Z) kopírují na pomocné vstupy sítě.

V České republice se rekurentní neuronové sítě používají v lingvistice např. při modelování prozódie řečového signálu v systémech pro automatický převod textu na mluvenou řeč (✍Čermák & Balík, 2005). Důvodem je zejména jejich schopnost učit se a vhodně reprezentovat získané znalosti. Při morfologickém značkování pak i klasické vrstevnaté neuronové sítě vykazují vyšší přesnost než doposud známé statistické metody (✍Němec, 2004).