byte pair encoding.

Почему токенайзер реж ет сло ва не там, где нужно

Заголовок этой статьи, частично, наглядная демонстрация того, как его видит языковая модель. Куски слов, нарезанные по логике, которая к русскому языку не имеет вообще никакого отношения.

продолжить чтение