Počítačový program provádějící ↗tokenizaci. T. je buď: (a) stochastický (statistický), který tokenizuje text na základě ↗strojového učení (zvláště při zpracování více jaz.), n. (b) založený na pravidlech tokenizace platných pro zpracovávaný jaz. Viz také ↗token.