Проблемы людей и нейросетей

Эта статья написана без участия ИИ. Для простых смертных. Упрощена.

Сейчас тренд на замену людей нейросетями, вайбкодинг, и другие вещи, которые завернуты в фантик «Беззаботного будущего», всё это мне напоминает предыдущий тренд, который был до появления ИИ — «Успешный успех». Нам продают не технологии, а чувства простоты, на которое люди каждый раз охотно ведутся.

По ощущениям, это тот же барабан с цифрами 777, нам показывают пару удачных прокруток, «джекпоты», счастливые лица, а реальная статистика, цена попыток, и неизбежные промахи остаются за кадром.

Люди разделились на два лагеря — одни слишком нахваливают ИИ, другие презирают. В интернете я не видел ни одного искреннего разбора. Но это скорее из‑за чересчур большого количества ИИ мусора.

А‑ля «Навайбкодил стартап за семь дней», «Смотрите, создатель линукс тоже вайбкодит», или, наоборот, что то в духе «Мы продали это как стартап с ИИ разработчиками, но написали всё руками», и так далее я такое стараюсь не запоминать и вам советую.

Ближе к сути и определениям.

Что такое Искусственный Интеллект ^[1]? Этот термин за пять лет приобрел больше трактовок, чем фреймворков я успел потрогать.

Но по факту Искусственный Интеллект это набор нейронок или инструментов вкупе с нейронкой, то есть более навороченный генератор правдоподобного рандома, который отвечает генерирует на ваш запрос наиболее вероятные слова, но используя дополнительные вводные, например перед вашим запросом отдельная программа ищет погоду в вашем городе и подставляет её в контекст:

Запрос:
[Москва +20С]
какая погода сейчас в Москве?
Ответ:
Сейчас в Москве +20 градусов. Чем я могу вам еще помочь?

То есть вместо того, чтобы вбить в гугле банальную вещь, вы ждете:
Пока программа погуглит её за вас, это все пройдет через нейросеть, и она начнет генерировать по одному слову, чтобы вы прочитали ответ. А если вы забыли переключить раскладку? Или сделали запрос, который очень сильно отличается от данных, которые использовались при обучении ^[2]? Например, даже порядок требований влияет на результат:

Good:
не пиши код, Проанализируй, [короткая задача]
Bad:
Проанализируй, [короткая задача] не пиши код
Галлюцинации нейросети и потеря времени обеспечены.

Не спорю, есть нейросети с режимом рассуждения, которые натаскали на то, чтобы сгенерировать наиболее правдоподобные шаги рассуждений, так сказать обкашлять ваш запрос. Это сильно поднимает качество, особенно если вы не умеете доносить свои мысли пишите непонятные для модели промты. Такие модели также более устойчивы к обходу заложенных ограничений.

Но модель тратит на генерацию таких мыслей ваше время. А если вы пользуетесь моделями Anthropic, то ещё и ваши деньги.

Возвращаясь к основной теме

Я не пишу очередную статью восхваляющую ИИ или наоборот. Я хочу дать вам пищу, которая поможет лучше понять, что это такое и с чем это есть.

ИИ сейчас – это не Интеллект в том понимании, в котором его считают многие. Хоть он тоже прогнозирует вероятные вещи, как и наш мозг ^[3].

Но наш мозг до конца не исследован. Но даже сейчас можно сказать, что большое количество знаний не говорит о том, что человек или ИИ имеет какой-то повышенный Интеллект.

Большие IT компании идут от простого, как раз им проще вогнать в уже проверенную модель больше знаний, почистить датасет, чтобы нейросеть на выходе чуть меньше галлюцинировала, больше знала, лучше проходила шаблонные экзамены. Чем пытаться разработать новые виды моделей, жечь тысячи GPU на каждую теорию. Когда людям достаточно уже улучшенного поисковика.

Я как ML-инженер любитель, заметил что одна тяжелая модель всё же была на рынке, и это o1 от OpenAI, но компания свернула за баблом выбрала другой путь. Скорее всего они укоротили глубину моделей сразу же, выпустив последующие “о” модели, которые были хуже. А затем, выпустив gpt5, видимо более широкую модель (судя по расширенным знаниям, лучшей связностью) скорее всего с ранним выходом на авторежиме (это когда часть слоев модели пропускается)
Из-за чего стоимость запроса к модели сильно снизилась, а галлюцинации возросли, но если всегда держать включенной уровень thinking (это самый высокий уровень в подписке plus, можно включить вручную) то раннего выхода нет, ответы точнее, галлюцинаций меньше, лучше следует вашим инструкциям.
Подобное было и с моделями гугл, но те не афишировали упрощение своих моделей.

А дальше начинается самое интересное: каких механизмов не хватает современным ИИ, чтобы они были ближек «человеческому мышлению», и почему многие проблемы не лечатся просто масштабированием.
Чтобы не уходить в абстракции, я перечислю несколько дыр, которые я вижу в современных LLM чаще всего.

Нет памяти ^[4] выводов

Модель может решить задачу, написать план, найти баг, вывести формулу, объяснить тему, но результат решения не становится навыком. Завтра эта же модель в похожей ситуации способна снова ошибиться так, будто вчерашнего опыта ^[5] не было.

В отличие от людей, мы перевариваем информацию постоянно, будь то простые размышления, сон ^[6], или мытье в душе, даже когда мы не генерируем мысли информация укладывается подсознательно.
PS. Я не биолог, это мои личные доводы
Сегодня данную проблему пытаются закрыть при помощи RAG систем, Агентов, в общем, любой внешней памяти, которая работает так: Представьте, вы работаете ученым и каждый день вы всё записываете в книгу, даже то, что вы делали вчера, А началом нового дня, вы абсолютно всё забываете и снова читаете эту книгу, бессмысленные повторяющиеся куски – то ли проверенной информации или просто ваших теорий.

Забывание ^[7] работает плохо (или не так, как надо)

Мы привыкли думать, что забывание ^[8] – недостаток. На практике это важнейшая часть работы нашего мозга. Наш мозг умеет обесценивать мусор, гасить ложные гипотезы и не таскать за собой неправильные траектории рассуждения. Нейросеть же обычно либо «помнит всё» в весах до следующего обучения (которое требует тысячи часов — тысячи GPU), либо «забывает» просто потому, что контекст кончился. Отсюда классическая боль ^[9]: модель может убедительно продолжать неверную линию, и это выглядит как “галлюцинация”, хотя по сути это отсутствие встроенного механизма отбраковки.

Это, пожалуй, самая основная боль, которую испытывает большинства людей, от вайбкодеров до ученых, которые прикидывают свои теории в чате с нейронкой. Даже самый простой контекст приходится держать в голове и выдавать повторно нейросети, уже отбраковав неверную информацию, чтобы та не запуталась. А еще лучше начиная это в новом чате, но это уже следующий пункт о внимании моделей.

Внимание ^[10] и контекст: почему модель «не видит», что вы/она уже написали.
В основе нейросетей обычно лежит механизм внимания (attention) — это «куда модель смотрит прямо сейчас», какие куски текста она считает важными, чтобы сгенерировать следующий токен. И здесь есть неприятная правда: хорошее внимание стоит дорого.
А как мы уже знаем: IT гиганты любят деньги оптимизировать, чтобы модель поместилась в GPU, знала ответы на все вопросы, больше пользователей ею пользовались.

Дешёвое vs дорогое внимание. Классическое “честное” внимание (когда каждый токен может нормально “посмотреть” на каждый другой) очень быстро становится тяжелым по вычислениям на длинных текстах. Поэтому в реальных продуктах и даже в архитектурах часто появляются упрощения:

• окно внимания (модельлучше видит последние N токенов, а раньше — хуже), PS. замечал за этим OpenAI по отношению к истории переписки и последнему сообщению.

• разрежённое внимание (модель видит контекст «пятнами», а не целиком), По сути неплохо, может кто то из вас надевал очки с дырочками, сначала кажется что ничего не будет видно, а на деле норм, ну разве что мелкие детали будут не заметны, но общий посыл точно да.

• разные оптимизации и приближения, которые ускоряют и удешевляют ответ.

  В результате возникает эффект: вы написали важную инструкцию, а модель как будто её не читала. Она не тупит и не вредничает – банально не уделила этому вес или не смогла эффективно протянуть зависимость через длинный текст.

  Отсюда типичная боль в чатах:

  • вы в начале сказали «не пиши код» — через пару сообщений модель его пишет;

  • вы задали формат ответа — через пару экранов формат расплылся;

  • вы добавили условие «учти вот этот нюанс» — и оно потерялось, как будто его не было.

    PS. Но недавно дипсик показали неплохое внимание — DeepSeek Sparse Attention (DSA) — разрежённое внимание с тонким выбором «важных» токенов, я пока особо не разбирался, но инструкции на отдаленные дистанции модель теперь держит хорошо, и как будто лучше, чем у большинства топовых моделей и даже OpenAI ( и даже лучше GPT 4.1) но это лишь первичные ощущения, при генерации датасета, для обучения моей LLM.

Правдоподобно != правильно: почему галлюцинации не исчезнут “просто так”

Повтор. Многие часто ждут от нейросети поведения ^[11] как от эксперта: если ответ звучит уверенно и красиво — значит он корректный. В реальности уверенность у нейросети — это стиль текста. Модель умеет писать так, будто «точно знает», даже когда:

• данных не хватает;

• вопрос двусмысленный;

• в контексте уже была ошибка ^[12];

• или тема плохо покрыта обучением.

  Ps. Зачастую покрывается промтами – почему и появились агенты.

Я уже говорил, что нейросеть, это лишь генератор вероятного текста, но если модель никогда не видела ответа на вопрос — «что сделал бы Илон Маск, если бы он смог улететь на Марс?»
То как она тогда вообще генерирует ответ? Откуда она берет информацию?

Скорее всего в обучающих данных было «кто такой Илон», «что такое Марс», «что люди бы делали на Марсе» (например, фантастика писателей СССР), то есть она прогнозирует ровно так же, как это сделали бы вы, будь у вас такая информация на руках. Но и ваш ответ не будет являться верным.

Вы можете не знать кто такой Илон, но знать что раньше был захватчик других стран Илон с усами. И тогда ваши рассуждения как и рассуждения LLM будут неверны, вы свяжете 2+2, а получится пять. И даже рассуждающая нейросеть споткнется, если её не обучили каждый пример критически осмысливать, искать 100% подтвержденную информацию, клеить воедино.
Наверное, текущие разработки позволят создать такого Агента, о скорости генерации я молчу, но это потребует использования разных типов нейросетей и очень сложно размеченного датасета.

Ещё один нюанс: языки и «тонкость»

Есть ещё одна вещь, которую часто недооценивают: большинство популярных моделей учат сразу на десятках языков. Это кажется огромным плюсом: модель «знает весь мир». Строит связи при обучении, находя схожести в языках, точность у нейросетей специально заточенных под программирование возрастает в задачах на естественном языке. Но у этого есть обратная сторона.

Язык это не просто набор слов. Это контекст, ассоциации ^[13], культурные отсылки, шутки, оттенки вежливости, двусмысленности, эмоции ^[14], «как принято говорить». Когда модель пытается быть одинаково полезной на всех языках, она неизбежно становится более усреднённой. Где‑то теряются нюансы, где‑то стирается «родная» интонация, где-то она угадывает смысл, но не улавливает подтекст.

Отсюда и ощущение, что текст, написанный нейросетью, еще более не живой, противный, в нем нет таких слов, которые вы бы использовали. Особенно это пересекается с данными для обучения, которые отбрасывают из-за авторских прав и неприличного контента. А ведь мы всё это знаем, даже если не ругаемся, эти знания всё равно влияют на наши решения, а ответ ИИ становится ещё более шаблонным.

ИИ – это сложный узконаправленный инструмент, а не сотрудник, работающий за вас.

Только зная как он работает, какие задачи он закрывает, какой выигрыш от этого – он будет приносить пользу.
Иначе как обезьяна с гранатой. Вроде мощно, но непредсказуемо.
Мы уже проходили похожий перелом. Когда появился массовый поиск, мир не стал «умнее сам по себе». Просто появился новый слой: кто умеет искать, фильтровать, проверять источники — получает преимущество. Кто не умеет — тонет в мусоре и дезинформации. Или тратит время на поиски правильных книг в библиотеке (Да, иногда авторы книг как и нейросети ошибаются и есть плохие учебники, и в учебниках тоже нельзя раскрывать все темы).

С нейросетями похоже, только ставка выше: они дают не ссылку, а готовый сгенерированный ответ. И основная проблема в том, что люди не понимают, как это работает, что это генерация правдоподобного ответа, а не гарантия истины. Люди начинают доверять там – где нельзя.
Успешный успех

От автора.
Постарался максимально упростить, ибо не вижу смысла уезжать в глубокие термины даже для знающих людей. Основная идея это посыл, мои рассуждения – почему так происходит с нейросетями. Буду рад дополнениями в комментариях, аналогичными статьями от вас на Хабре.