токенизация. - страница 2

Аномалии DeepSeek-v3 и DeepSeek-r1: глюкнутые токены и чат, теряющий идентичность

«Аномальные», «глючные» и «непроизносимые» токены в больших языковых моделях (LLM) — это те, которые вызывают странное поведение или не функционируют как обычный текст. Явление было впервые открыто и задокументировано

продолжить чтение

Почему токенизация – костыль? Передовые подходы для больших языковых моделей следующего поколения

продолжить чтение

12