V korpusové lingvistice automatický proces, který člení text složený z písmen, interpunkčních znamének a mezer na jednotlivé izolované ↗tokeny, tj. na slovní tvary a interpunkční znaménka pro účely dalšího (obvykle počítačového) zpracování; viz ✍Baker & Hardie ad. (2006); ✍Jelínek & Petkevič (2011). Při t. se typicky odděluje interpunkce od následujícího či předcházejícího slova, v některých případech se rozděluje slovo skládající se z více slov spojených spojovníkem, identifikují se zkratky končící či nekončící tečkou. T. je obvykle první fází zpracování textu, typicky bezprostředně předchází procesu ↗větné segmentace a ↗morfologické analýzy. T. provádí počítačový program zvaný ↗tokenizér. Např. věta „Chcete-li mi to dát, neváhejte!“ by se na tokeny rozdělila takto:

T. řeší obecně netriviální problémy: identifikaci ortografických × morfologických × syntaktických slov, spřežek a víceslovných výrazů. Např. některá ortografická slova jsou morfologicky tvořena dvěma, ba třemi slovy: ohlas je buď imperativem slovesa ohlásit, n.nom./akuz. substantiva mužského neživ. rodu ohlas, n. 2.os.sg.fem. minulého času slovesa ohnout – v tomto případě se skládá z participia ohla a enklitického formantu ‑s, takže je lze morfologicky rozložit na tvar ohla a ‑s (= jsi), což může být výhodné pro další morfologické a syntaktické zpracování textu. Viz také ↗token, ↗tokenizér.