- BrainTools - https://www.braintools.ru -
Тема ИИ — это какая-то золотая лихорадка 21 века. Каждый стремится не упустить волну хайпа. ИИ пытаются внедрить везде, где только можно и нельзя.
Одно из популярнейших направлений — разработка. Заменить дорогостоящих разработчиков. Разве может быть что-то более привлекательным?
Да, на первый взгляд, ИИ очень неплохо справляется с этой задачей. Достаточно сформулировать, что тебе нужно, и через несколько секунд портянка кода готова.
Даже появился отдельный термин — вайб-кодинг. Но опасность кроется не в самом ИИ, а в способе его применения из-за непонимания природы.
Приведу аналогию с упрощением. Цель — объяснить принцип и ограничения, а не академическая точность.
Все видели калейдоскоп — эту трубочку с глазком, при повороте которой складываются причудливые узоры. Внутри этой трубочки есть несколько зеркал и бусинки.

То есть это закрытая система, которая складывает разные узоры из одних и тех же бусинок. Каждый калейдоскоп создает узоры только определенных форм, т.к. зеркала неподвижны, но именно через них мы видим бусинки и они отвечают за форму узора. В данном случае — однотипную: всегда в форме треугольников или ромбов, например.
ИИ работает примерно так же. Бусинки — это опыт [1] обучения [2] модели на каких-то данных. Это не сами данные, а некая «геометрическая форма» (смыслы), которая образовалась в результате обучения. После обучения эти бусинки заперты внутри системы и обновятся только после следующего обучения, а это очень непростой процесс.
Если в обычном калейдоскопе зеркала неподвижны, то в случае с генеративным ИИ эти зеркала динамические и искривляются под ваш запрос так, чтобы отразить нужный ответ из имеющихся бусинок. Это позволяет на основе одних и тех же бусинок строить разные формы узоров. Как и в калейдоскопе, на один и тот же вопрос генеративный ИИ создает разные по форме (а не по смыслу) ответы. Нажатие кнопки Повторить равносильно повороту трубки (бусинки перемешиваются) без изменения формы зеркал, поэтому и ответы однотипные, но не идентичные.
Обратите внимание [3] на нюанс, что при обучении ИИ в «мясорубку» загружаются какие-то камешки (данные), из которых получатся бусинки. Если красных камешков изначально будет больше (факты упоминаются чаще), чем зеленых, или они будут крупнее, то и бусинок получится пропорциональное количество. Это важно. Отсюда возникают перекосы, когда в узорах преобладают холодные оттенки, или наоборот — теплые.
Попросите GPT нарисовать классического Деда Мороза: в длинной шубе, рукавицах, с кушаком и посохом — все, как мы привыкли. Скорее всего, получится Санта-Клаус. А все потому, что не хватает нужных бусинок, зато в избытке других — по смыслу похожих, но все же не тех.
Как видите, здесь нет никакого волшебства. Из этой метафоры становится понятно, что никакой это не ИИ, это — калейдоскоп. Да, невероятно сложный, но калейдоскоп (статистический, если хотите). Основное отличие интеллекта [4] — саморазвитие, самоосознание, саморефлексия и т.д.. Он способен понять свою ошибку [5], сделать выводы и не повторять [6]. ИИ-калейдоскоп ничем подобным не обладает по определению. Как часы, не знающие своего времени. Они просто тикают. Но маркетинговое название «ИИ» прочно закрепилось и вносит когнитивный диссонанс.
В больших языковых моделях типа GPT, DeepSeek и других есть такое понятие как контекстное окно. Это своего рода память [7] диалога. Она очень избирательна и склонна к предпочтениям из-за перекосов обучения и она «читает по диагонали». Анализируя текст, где целый абзац ярко описывает персонажа, а его действия обозначены в двух словах, модель может упустить из внимания действия из-за яркого описания внешности. В серьезных текстах это бывает ох как важно.
У кого-то может возникнуть ощущение, что я обесцениваю технологию. Это вовсе не так. Я лишь показываю, почему ИИ неспособен создать ничего принципиально нового, почему он невнимателен и не стоит ожидать от него чудесных открытий или осмысленности.
Каждый, кто пробовал в деле какой-нибудь GPT, видел, что ИИ периодически выдает кривые формулировки. Окончания неверные или неуместные иностранные слова прямо в тексте, которые не являются терминами: когда в предложение вдруг затесалось английское слово, либо пара иероглифов, а может даже к русскому слову прилипло французское окончание.
Когда вы читаете такой текст, то делаете скидку на несовершенство и пропускаете, как мелочь. Если вы беседуете с чатом на какую-то отвлеченную тему, то такие огрехи ни на что не влияют. Вы уловили суть и этого достаточно.
Когда вы пишите какой-то особо важный юридический документ, вы понимаете структуру и тонкости формулировок. Вы знаете, на что нужно обратить особое внимание, на какие законы сослаться. Какие примечания сделать, чтобы не осталось лазеек. Это непростая задача.
Профессионал, составляющий юридический документ, скорее доверится своим готовым и проверенным шаблонам документов, нежели будет копировать их из интернета, которые потом придется внимательно проверять.
Представьте, что будет, если один уязвимый контракт ссылается на другой уязвимый контракт, а тот — ссылается на третий, аналогичного качества.
Написание кода — абсолютно то же самое, что и составлять юридический документ, только читать контракт будет не человек, а машина, которая исполняет все беспристрастно и без использования здравого смысла. Она не будет согласовывать с вами нестыковки и просить корректировку, она просто выполнит, как написано, если нет орфографических ошибок. Любая лишняя запятая может в корне изменить смысл.
Казнить, нельзя помиловать.
Если код написан в виде простейшей конструкции из нескольких строк и в нем есть ошибка, то такая ошибка сразу может быть замечена разработчиком.
Но кто же будет просить ИИ написать простейшую конструкцию? Это бессмысленно, потому что формулировка запроса будет объемнее, чем результат в виде кода.
ИИ как раз и хотят использовать, чтобы получать большие конструкции кода из формулировки в несколько предложений. А в больших конструкциях есть масса условий и переходов. Здесь и кроется опасность.
Стоит ли говорить, какую злую шутку может сыграть попытка довериться ИИ? Для чего используют ИИ в этом контексте? Чтобы быстрее генерировать код и чтобы это мог делать менее квалифицированный специалист, не так ли?
Если код не запустится сразу, разработчик начнет искать причину. Если же код запускается без проблем, обычно дальше уже нет желания лезть. Все же работает! Это — психология.
Когда ученику дали готовый реферат со словами: переклей титульник и можешь сдавать. Кто будет вчитываться? Пробежался глазками поверхностно, поправил шрифт и сдал. Пусть препод разбирается.
Уволить всех дорогостоящих юристов, нанять практикантов, которые будут с помощью ИИ выдавать на-гора контракты по слиянию корпораций. Оставить одного опытного юриста, чтобы проверял.
— Хм.. А это неплохая мысль! Подготовьте мне план о повышении оперэффективности, хочу взглянуть.
Абсурд, неправда ли? Да, опытный юрист с ИИ-помощником лучше, чем без него. ИИ может быстро составить черновик, проверить опечатки, сравнить тексты или даже что-то порекомендовать, но никак не заменить специалиста.
Хайп с ИИ обещает снизить затраты на высококвалифицированных специалистов, чтобы операторы (это уже даже не младшие специалисты/разработчики/джуны, это операторы ИИ) могли выдавать тонны кода быстрее и за меньшие деньги. Но здесь и возникает ловушка. Калейдоскоп складывает красивый и, что самое страшное, правдоподобный узор. Оператор не имеет опыта, чтобы найти в этом узоре подвох. И вот картина маслом уже на «проде». Чем дальше, тем больше.
Этот подход закладывает такие мины под фундамент здания, что когда оно начнет заваливаться, ставить подпорки будет уже поздно.
Когда вы покупаете дорогую картину, то приглашаете высокооплачиваемого эксперта, чтобы он установил подлинность. Кто-то сказал, что теперь вайб-антиквары с помощью ИИ могут это делать за 2 минуты и куда меньшие деньги. А когда через время с этих картин начнет отваливаться краска, вы пригласите настоящего эксперта. И внезапно выяснится, что половина вашей коллекции — подделка.
Лавинообразное снижение качества продукта
Рост скрытых ошибок и уязвимостей
Репутационные потери
Утечки и оборотные штрафы
Эрозия экспертизы
Долгосрочные риски для масштабирования и поддержки
Такой вектор развития в конечном счете приведет к тому, что потребуется масса других дорогостоящих костылей, чтобы удержать получившийся карточный домик.
Крупнейшие компании гонятся за вайб-кодингом и в целом за ИИ, чтобы не отстать, избавляясь от высокооплачиваемых экспертов ради сиюминутной экономии. Экспертам ничего не остается, как пойти в компании масштабом поменьше, где лихорадка еще не наступила. В результате те, кого когда-то крупный бизнес с таким трудом переманивал к себе, окажутся у младших братьев по бизнесу. У крупных компаний рано или поздно наступит похмелье от лихорадки, но эксперты уже дважды подумают, стоит ли возвращаться. Во всяком случае, настроения в профессиональных сообществах говорят именно об этом. Разработчики и другие специалисты видят, что их экспертиза обесценивается в крупных компаниях.
Первым выстрелом в этом направлении была волна продуктовых трансформаций. Хайп с ИИ имеет все шансы добить.
Amazon: В конце 2025 года была зафиксирована масштабная кибератака на Amazon Q (ИИ-ассистент для разработчиков). Злоумышленники использовали ошибки в коде, сгенерированном ассистентом, для эксплуатации уязвимостей в облачной инфраструктуре клиентов.
Microsoft (GitHub Copilot / Azure): В течение 2025 года фиксировались инциденты, когда разработчики в крупных компаниях (включая партнеров Microsoft) случайно публиковали «секреты» (ключи и пароли) в открытых репозиториях. Это происходило из-за того, что ИИ-ассистенты генерировали код, включающий реальные учетные данные из контекста текущей сессии, а разработчики принимали их не глядя («на вайбе»).
Meta (запрещенная в России): Несмотря на активные инвестиции в вайб-кодинг (включая покупку стартапа Manus за $2 млрд), компания столкнулась с проблемами качества и безопасности. Эксперты отмечают, что стремление автоматизировать написание кода привело к росту «технического долга» и необходимости нанимать специализированные команды для очистки ИИ-кода («AI slop») от уязвимостей.
В крупнейших мировых ИТ компаниях уже начинается откат и массовое применение автоматизированных проверок качества кода. То есть одна рука генерирует некачественный код, а другая (эксперты старой школы) делают заплатки, чтобы залатать дыры. И все это за деньги бизнеса, который сначала сам открыл ящик Пандоры, а теперь пытается его закрыть.
Но утечки уже произошли. Клиентские данные и репутацию не вернуть.
Недавние исследования показывают, что внедрение инструментов ИИ в разработку ПО может увеличивать лидтайм, особенно для опытных разработчиков, работающих над сложными или знакомыми кодовыми базами.
Увеличение лидтайма
Исследование, проведенное некоммерческой организацией METR (Model Evaluation and Threat Research) в середине 2025 года, показало, что опытные разработчики открытого исходного кода, использующие передовые ИИ-инструменты (например, Cursor Pro с Claude 3.5/3.7 Sonnet), тратили на выполнение задач в среднем на 19% больше времени, чем те, кто работал без ИИ.
Ожидание и реальность
Разработчики, участвовавшие в исследовании, ожидали, что ИИ ускорит их работу примерно на 24%, и даже после завершения эксперимента многие из них все еще считали, что ИИ им помог, несмотря на объективное замедление.
Причины замедления
Исследователи предполагают, что замедление может быть связано с неэффективным использованием инструментов, необходимостью неоднократно переписывать запросы (промпты), управлять контекстом и тщательно проверять (рецензировать) сгенерированный ИИ код, который не всегда соответствовал высоким стандартам качества проекта или его архитектуре.
DORA
Отчет DORA (DevOps Research and Assessment) за 2024 год также выявил потенциальные негативные последствия. Хотя и наблюдался небольшой рост индивидуальной продуктивности, стабильность поставки (delivery stability) снизилась на 7,2%, а пропускная способность поставки (delivery throughput) — на 1,5%, что может влиять на общий лидтайм команды.
Контекст имеет значение
Эти результаты не означают, что ИИ бесполезен. Другие исследования показали значительный рост продуктивности (до 26-56%) в некоторых условиях. Например, при выполнении стандартных задач в небольших проектах или для менее опытных разработчиков. Отрицательный эффект был зафиксирован именно для опытных специалистов, работающих со своими собственными, хорошо знакомыми им кодовыми базами.
Таким образом, хотя ИИ-инструменты могут повышать производительность в определенных сценариях, существуют подтвержденные случаи, когда их внедрение приводило к увеличению лидтайма, особенно когда речь идет об опытности разработчиков и специфике проекта.
Ирония в том, что крупные компании, в которых концентрация опытных специалистов и сложных проектов достаточно высока, пытаются ускорить работу этих специалистов за счет ИИ, но эффект оказывается обратный.
Если ИИ мешает опытным специалистам — избавься от опытных специалистов. (сарказм)
ИИ — хороший инструмент, в том числе, и для написания кода. Но использовать его как конвейер нельзя. Это очень опасная затея. Внедрение ИИ не должно быть самоцелью.
Да, есть специальные ИИ, чтобы писать код. Да, есть специальные ИИ, чтобы писать юридические документы. Но кто видел эти юридические документы даже от специальных ИИ знает, насколько они «совершенны». В коде от ИИ все точно так же.
Можно попросить ИИ сгенерировать код, однако на данном этапе развития это больше подходит для справочных целей или создания какого-то шаблона/черновика или других вспомогательных плюшек. То есть ИИ можно и нужно использовать именно как инструмент/помощник и обязательно в умелых руках, но не в качестве производственной линии.
Эта тенденция с вайбом ведет к непредсказуемым последствиям (хотя, почему непредсказуемым?). Кирпичики, из которых строятся фундаменты, потенциально имеют пустоты и рыхлости в неожиданных местах. Замена квалифицированных кадров на посредственные ведет к потере экспертизы. И завтра уже никто не ответит, почему не работает система Х, а у калейдоскопа спрашивать бесполезно, он не может этого «знать» в принципе.
В интернете появляется множество статей, написанных ИИ, а затем другие ИИ обучаются на этих статьях и так по кругу. Через время это приведет к огромным перекосам и полной потере контекста.
Если один ИИ насмотрелся на трехногих людей, сгенерированных другим ИИ, он будет утверждать, что это норма.
В фильме Терминатор все началось с того, что ИИ вышел из-под контроля и мрачные картины будущего указывали именно на это, как на главную угрозу. Однако современные тренды рисуют куда более прозаичный сценарий, в котором — да, ИИ будет причастен, но не так, как все изначально предполагали.
Отсылка к продуктовой трансформации здесь не просто так. По сути, это BPR 2.0 (Business Process Reengineering из 90х). Это то, на чем уже многие обожглись буквально вчера из-за хайпа и понесли огромные потери. Ситуация с тотальным внедрением ИИ того же поля ягода.
Могу напомнить про хайп вокруг зеленой повесточки, индустрии 4.0, автоматизации проектирования (CAD) против черчения и т.д.. Все знают, к чему это привело.
Сейчас еще есть возможность заигрывать с калейдоскопами за счет запаса прочности систем, накопленного за десятки лет, но ресурс не бесконечен.
Автор: rt001
Источник [8]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/25652
URLs in this post:
[1] опыт: http://www.braintools.ru/article/6952
[2] обучения: http://www.braintools.ru/article/5125
[3] внимание: http://www.braintools.ru/article/7595
[4] интеллекта: http://www.braintools.ru/article/7605
[5] ошибку: http://www.braintools.ru/article/4192
[6] повторять: http://www.braintools.ru/article/4012
[7] память: http://www.braintools.ru/article/4140
[8] Источник: https://habr.com/ru/articles/995974/?utm_source=habrahabr&utm_medium=rss&utm_campaign=995974
Нажмите здесь для печати.