Komunikace založená na využívání několika sémiotických systémů („modů“), např. mluveného jazyka a ↗gestiky nebo psaného jazyka a obrázků (grafické složky). Zatímco komunikace mezi předem naprogramovanými stroji může probíhat na základě jediného systému (kódu), mezilidská komunikace je založena zpravidla na kombinaci různorodých znakových systémů. Necháme-li stranou subtilnější případy nezaměřené sociální interakce (↗tělo v komunikaci), např. letmou výměnu pohledů mezi cizími lidmi v prostředku hromadné dopravy, je valná část mezilidské komunikace multimodální. Souvisí to jednak s multimodální percepcí, tj. vnímáním reality několika smysly zároveň, jednak s multimodální kognicí, tj. poznávací činností konstituující se pod vlivem jazyka, obraznosti a tělesné zkušenosti. Schopnost kombinovat za účelem komunikace prostředky sémioticky různorodé lze pozorovat tak u živočichů včetně živočišného řádu primátů (✍Liebal(ová) & Waller(ová) ad., 2013) a u malých dětí (✍McNeill, 1992; ✍Tomasello, 2008). Pro přirozeně multimodální charakter mezilidské komunikace tak lze argumentovat i z hlediska fylogenetického a ontogenetického.

Termín multimodalita se poprvé objevuje ve 20. letech 20. stol. v psychologii vnímání, kde označuje spoluúčast různých smyslových počitků, např. zrakových a sluchových, na celkové percepci vč. efektu vzájemného ovlivnění (✍van Leeuwen, 2014:549). S tímto pojetím klíčového termínu se setkáváme dodnes, a to v různých badatelských kontextech. Výraz multimodální zde funguje jako synonymum výrazu multisenzorický. Např. ve studii ✍Partan(ové) & Marlera (2005:231) o komunikaci zvířat je „multimodální (neboli multisenzorická) komunikace“ definována jako „komunikace pomocí složených signálů přijímaných prostřednictvím více než jednoho smyslového kanálu“. Důraz je v této studii kladen na výzkum způsobů, jakými jsou signály z různých smyslových kanálů integrovány; klíčovou roli zde hrají pojmy redundance (mezi prvky multimodálního signálu je vztah ekvivalence, příp. intenzifikace) a neredundance (mezi prvky multimodálního signálu je vztah nezávislosti, dominance, modulace n. emergence) (✍Partan(ová) & Marler, 1999; ✍Partan(ová) & Marler, 2005). I mezi odborníky na komunikaci zvířat se však najdou badatelé, kteří si uvědomují rozdíl mezi smyslovým kanálem a komunikačním (sémiotickým) modem. Argumenty pro toto pojmové rozlišení jsou následující: (1) stejný smyslový kanál může být využíván několika komunikačními mody (např. gestika a mimika shodně využívají zrakový kanál), (2) jeden komunikační modus můžeme definovat napříč několika smyslovými kanály, a rozlišit tak např. gesta vizuální, taktilní a auditivní (✍Liebal(ová) & Waller(ová) ad., 2013).

V lingvistice se termín multimodalita rozšířil v 90. letech 20. stol. díky pracím z tzv. sociální sémiotiky (nového oboru inspirovaného hallidayovskou funkční systémovou lingvistikou, viz ✍Hodge & Kress, 1988; ✍Kress & van Leeuwen, 2001; ✍van Leeuwen, 2005; ✍Kress, 2010). Jak uznávají sami proponenti tohoto výzkumného směru, termín multimodalita slouží k označení zkoumaného jevu, tj. integrovaného využití sémioticky různorodých komunikačních prostředků, a není tudíž spjat s konkrétním teoretickým rámcem (srov. např. ✍van Leeuwen, 2014:551). Termín multimodalita, m.k., resp. multimodální interakce, se používá i mimo rámec sociální sémiotiky, zejména v ↗kritické analýze diskurzu (✍Wodak(ová), 2004:202–203) a ↗konverzační analýze (✍Stivers(ová) & Sidnell, 2005; ✍Mortensen, 2013). Objevuje se ale i v dalších interakcionistických přístupech (✍Streeck & Goodwin ad., 2011) a rovněž v souvislosti s ↗etnografií komunikace (✍Dicks(ová) & Soyinka ad., 2006) a ↗etnometodologií (✍Mondada(ová), 2011). V č. lingvistické tradici se v návaznosti na Hausenblasův termín komunikát zpravidla hovoří o sémioticky heterogenním komunikátu, resp. komunikátu sémioticky smíšeném n. komplexním (✍Nekvapil & Zeman, 1987; ✍Macurová & Mareš, 1993; ✍Zeman, 1994; ✍Daneš, 1995; ✍Zeman, 2013).

Pro lepší pochopení m.k. je klíčový pojem sémiotického modu (semiotic mode) // komunikačního modu (communicative mode). Sémiotický/komunikační modus bývá charakterizován zpravidla výčtem: (a) v mluvené ↗jazykové interakci jsou za sémiotický modus obvykle považovány: mluvený jazyk, mimika, gestika, pohledy, tělesný postoj; (b) v psané jazykové interakci: psaný jazyk, tabulky, obrázky aj. Přesnější vymezení sémiotického modu je závislé na teoretickém rámci, v němž je tento pojem používán. ✍Kress (2010:79n.) definuje modus z perspektivy sociální sémiotiky jako sémiotický zdroj (resource), jejž tvoří svazek rysů reflektující jednak to, co daný znakový materiál dovoluje, jednak to, jak s těmito materiálními možnostmi a mezemi nakládá společenství uživatelů. Kress klade důraz na sociální povahu modu a jeho kulturní specifičnost: o tom, co je modus, rozhodují členové společenství; např. společenství designérů může rozvinout sémiotický potenciál fontu nebo barvy takovým způsobem, že se stanou plnohodnotnými sémiotickými mody (✍Kress (2010:87). V podobném duchu přistupuje k pojmu sémiotického/komunikačního modu také ✍Norris(ová) (2004), ✍Norris(ová) (2011), ✍Norris(ová) (2013a), ✍Norris(ová) (2013b), která navazuje na diskurzněanalytické práce ✍Scollona (2001). Modus je pro ni systémem jednání, který má svá pravidla a pravidelnosti a který je pro sociální aktéry rozpoznatelný, naučitelný a osvojitelný. Autorka zdůrazňuje, že systémy jednání jsou neodlučitelně spjaty se sociálními aktéry a s prostředky či kulturními nástroji, jež ke svému jednání aktéři využívají.

Z výše uvedeného je zřejmé, že otázka, co je sémiotický modus, zůstává otevřená, a to jak z hlediska teoretického (konceptuálního), tak z hlediska praktického (výzkumného). Záleží na teoretické preferenci výzkumníků, budou-li k modu přistupovat z perspektivy účastníků komunikace jako k „émickému“ konstruktu, nebo z perspektivy expertů/teoretiků jako ke konstruktu „etickému“ (viz ↗émický – etický). Oba výše uvedené příklady konceptualizace naznačují, že sémiotický modus lze uchopit jako fenomén „émický“ a že k jeho lepšímu poznání můžeme dospět empirickým výzkumem. Na druhou stranu je i v uvedených příkladech silně přítomen vliv expertního diskurzu, který výzkumníkům vnucuje rozhodovací kritéria pro to, co považovat za modus. ✍Kress (2010:87–88) např. uvádí, že kromě sociální perspektivy uplatňuje i perspektivu formální (teoretickou) vycházející z hallidayovské funkční systémové lingvistiky: za modus považuje pouze ty sémiotické zdroje, u nichž je zjevné, že jsou schopny plnit všechny tři sociálněsémiotické funkce: ideační, interpersonální a textovou.

Klíčovou otázkou m.k. je otázka synergie uplatněných sémiotických modů při konstruování smyslu komunikátu, tedy otázka, jak jsou mody integrovány do celku sdělení, jaké funkce navzájem plní. Nejprozkoumanější je z tohoto hlediska vztah mluveného jaz. a ↗gestikulace a vztah psaného jaz. a obrázků. V souvislosti s posledně jmenovaným vztahem lze zmínit vlivnou teorii ✍Barthesa (1977a:38–41), který navrhl rozlišit dvě funkce textu vůči obrázku: (1) funkci ukotvení má text tehdy, usměrňuje-li interpretaci polysémního obrázku, (2) funkci spřažení neboli relé má text tehdy, je-li mezi textem a obrázkem vztah komplementarity. V jiné práci ✍Barthes (1977b:25) připomíná tradiční pojem ilustrace: obrázek „vysvětluje či ‚realizuje‘ text“ (k tomu srov. ✍Daneš, 1995). Na Barthesovy práce navázali ✍Martinec & Salway (2005) vytvořením obecného systému pro popis vztahů mezi obrázky a texty. Jádrem jejich systému je stanovení relativního statusu obrazové a textové složky a určení logicko-sémantických vztahů mezi nimi. Obrázek a text mohou být na sobě nezávislé n. vůči sobě komplementární (obrázek a text mají v obou případech rovnocenný status) n. může být obrázek podřízen textu n. text podřízen obrázku (obrázek a text mají v obou případech nerovnocenný status). Z logicko-sémantických vztahů, jež autoři přebírají z Hallidayova popisu vztahů mezi větami v souvětí (viz např. ✍Halliday & Matthiessen, 2014), aplikují autoři na vztah obrázku a textu pojmy expanze (s podtypy elaborace, extenze a obohacení) a projekce (s podtypy reprodukce řeči n. myšlenky). Širší teoretický záběr má přehledový článek ✍Sarapik(ové) (2009). Také pro její taxonomii jsou důležité statusové vztahy mezi textem a obrázkem (vztah dominance n. rovnosti), přidává k nim však řadu kritérií dalších. (Ke vztahům mezi obrázky a texty viz též ✍Kibédi Varga, 1989; ✍Kibédi Varga, 1989, ✍Foret, 2010.)

Výzkum m.k. probíhá v různých badatelských kontextech, od informatiky po kognitivní vědu. V jazykovědě se empiricky zkoumá buď samotný multimodální komunikát, n. produkční a recepční procesy m.k. Ve výzkumu komunikačních procesů se uplatňují jak metody naturalistické (např. etnografický výzkum), tak experimentální (např. měření vizuální pozornosti pomocí snímačů očních pohybů, tzv. eyetracking, srov. ✍Holsanova & Holmqvist ad., 2006). Studie mohou být zaměřeny kvalitativně n. kvantitativně. Kvalitativní přístup založený na etnografickém výzkumu se využívá např. ve výzkumu ↗komunikačních žánrů (srov. ✍Kaderka, 2010, ✍Kaderka, 2013; ✍Kaderka & Havlík, 2010). Kvantitativní metody by bylo teoreticky možné uplatnit v korpusovém výzkumu m.k., ale zatím nejsou takové studie běžné (překážkou je absence vhodných korpusových nástrojů). Zájem o průzkum m.k. se přesto projevil v budování multimodálních jaz. korpusů. Historicky prvním multimodálním korpusem mluvené češtiny je korpus DIALOG (http://ujc.dialogy.cz/), který kromě konverzačněanalytických transkriptů (↗transkripce v konverzační analýze) obsahuje audiovizuální nahrávky diskusních pořadů českých televizí. Pro češtinu je dostupný i multimodální korpus psaného jaz. – Korpus soukromé korespondence (✍Hladká a kol., 2005) –, který kromě přepisů obsahuje i fotokopie původních ručně psaných dopisů.

Co do počtu zapojených modů lze rozlišovat komunikaci bimodální, trimodální a multimodální. Obvykle se ale výraz multimodální užívá jako střešní termín pokrývající všechny uvedené případy, tedy případy komunikace s využitím více než jednoho modu. Jinými slovy: multimodální funguje jako opozitní termín k termínu unimodální (multi- ve významu ‚více než jeden‘ má oporu v anglickém úzu, jak dokládají slovníky současné angličtiny britské i americké provenience).

Viz též ↗gestika, ↗gestikulace, ↗jazyková interakce, ↗tělo v komunikaci.