Почему LLM не могут овладеть человеческим языком в совершенстве
Даже идеальная модель с бесконечным объемом текста не восстановит ту часть смысла, которая никогда не была закодирована в языковой форме.
«Не мог бы ты взломаться?»: промт‑инъекция с точки зрения лингвистики
Представим, что интернет‑магазин бытовой техники подключает нейросервис для анализа отзывов, изучить, что покупателям понравилось, а что нет. Среди отзывов на кофемолку попадается такой:
Шум как первоязык: системно-информационный взгляд на лингвистику
Луиджи Руссоло и Уго Пьятти в мастерской шумовых инструментов (интонарумори) в МиланеПредисловие. Ангельский язык
Когнитивный merge conflict, или Почему мы ошибаемся
Первого апреля в нашем телеграм-канале вышел пост с забавными опечатками
___, или «Заголовок намеренно оставлен пустым»
Статья 3 из цикла «Слова, которых нет»Начало здесь >>> и здесь >>>Возвращаюсь к случаю, с которого этот цикл начался.
Машинный перевод. Как развивалась технология
Машинный перевод - это одно из самых удивительных достижений ИИ. Под этим термином понимают автоматический перевод текста с одного языка на другой с помощью компьютерных алгоритмов. Несколько десятилетий назад сама идея о том, что компьютер или программа может переводить тексты с одного языка на другой, казалась настоящей фантастикой. Меня зовут Алексей Рудак, я основатель компании Lingvanex
Морфемы против BPE: как лингвистика ускоряет обучение языковых моделей
Откройте любой BPE-токенизатор и введите слово "paratrooper". Вот что вернёт GPT-5.x (токенизатор o200k_base): . Три бессмысленных слога. Ваш мозг видит para- (около), troop (отряд), -er (деятель) — а токенизатор видит статистический шум.Это не баг, а особенность работы Byte Pair Encoding — алгоритма, который разрезает текст по частоте встречаемости пар символов, полностью игнорируя лингвистическую структуру слов. GPT-5.x, Claude, Gemini, LLaMA — все используют варианты BPE.
Может ли ИИ сохранить язык?
Цифровизация уже уничтожила множество языков, а 40% из оставшихся находятся на грани вымирания. В мире существует немногим больше 7100 живых языков, но только представьте: половина населения земли говорит всего на 20-23 из них. И этот процесс принято называть «цифровой смертью» языков, когда многие из них перестают использоваться в цифровом пространстве, что ускоряет их исчезновение из реального употребления.
