Единица текста, которую модель нейросети использует для обработки данных. Это может быть слово, часть слова или символ, зависит от алгоритма.Модель такая: «Подходите по одному, я вас всех разберу в порядке строгой очереди!»
Там еще больше советов, инсайтов, и интересные разговоры.