Tokenizace

Tokenizace je proces, který identifikuje prvky věty, jako jsou fráze, slova, zkratky a symboly, před vlastním vytvořením indexu.