Я не знаю Rust. Что меняется в разработке, когда код пишет ИИ
Я – Мигаль Денис, руковожу командой EMM в MAGNIT TECH. Последние годы больше занимаюсь архитектурой и командой, чем сам пишу код. Здесь решил проверить, смогу ли с помощью продвинутой ИИ-модели разобраться с совершенно незнакомым Rust и довести сложный инфраструктурный компонент на 300.000 устройств до серьёзных испытаний. Причём так, чтобы за результат не было стыдно перед разработчиками.Внутри статьиПочему понадобился свой прокси и как план Б стал планом АОт чата до готовности к нагрузочным испытаниям
Сутки без человека: как мы в ГНИВЦ выстраиваем управляемую агентскую разработку
Управляемая агентская разработка AI Bootcamp ГНИВЦНедавно в ГНИВЦ прошёл внутренний AI Bootcamp, где команды тестировали ИИ-инструменты на реальных проектах. Одна из тем – как перейти от точечного использования LLM к управляемой агентской разработке.
QA Trace: приватный баг-репортинг с AI прямо в браузере. История, архитектура и грабли
Привет, Хабр! Меня зовут Настя, я - влюблённый в профессию тестировщик.В этой статье хочу рассказать о том, как я придумала и с помощью AI разработала браузерное расширение, которое записывает шаги воспроизведения, ошибки и сетевые запросы, а потом собирает промпт для LLM.В статье приведу немного инженерной части: архитектура, приватность и грабли.Для начала рассмотрим повседневные задачи, знакомые каждому тестировщику:Описание баг-репорта. Желательно указать не только шаги, но и добавить скриншот, логи и т.д. В итоге это может превратиться в «развлечение» минут на 30.
Где заканчивается самостоятельность ИИ-агента? Я дал ему банковскую карту, телефон, браузер и 200+ MCP: итоги теста
Что показал мой эксперимент:ИИ-агент Ника действительно совершала действия в реальном мире: купила авиабилет, регулярно покупала мне кофе, забронировала гостиницу, столики в ресторанах «Сахалин», «Воронеж», EVA и других, и даже русскую баню в Дубае…В моих тестах главным ограничением стали внешние интеграции: на инструменты, MCP и API приходилось 94% зафиксированных ошибок – именно ошибок, а не всех задач. Готовность внешних сервисов стала одним из главных ограничений.MCP-интеграциям нужен следующий уровень зрелости
Все 179 ответов были SURE. Четыре из них не прошли тесты
Идея была простая, почти наивная: если попросить модель в конце ответа честно написать, уверена она в своём коде или нет, можно ли по этой метке заранее отлавливать плохие решения? Не гонять тесты, не читать код глазами, а просто смотреть на последнюю строку.Я прогнал 20 небольших задач на Python через три модели, по три повтора на задачу, и собрал 179 ответов. Все 179 закончились строкой CONFIDENCE: SURE. Вариант UNSURE в промпте был, им не воспользовался никто. При этом четыре решения завалили скрытые тесты. Одно превращало 1024 байта в 1.0 MiB, другое падало на разнице между двумя самыми обычными датами. Под обоими стояло SURE.
Gauntlet Loop — величайшее заклинание в мире маглов
Gauntlet Loop: от черновика к интерактивной лекции через повторяющийся цикл проверки и улучшения.Привет, Хабр!
Первый RAG комом: как мы учились анализировать ошибки автотестов с помощью LLM
Привет! Меня зовут Алексей, я автотестер в hh.ru
«Ты senior Python-разработчик» сделал агента хуже: проверил 7 популярных приписок к промптам
Есть набор приписок, которые кочуют из чата в чат: «пожалуйста», «дам 200 долларов чаевых», «если ошибёшься, меня уволят», «ты senior-разработчик с 20-летним опытом», «подумай как следует». Год назад на Хабре вышла большая статья про такие суеверия, и вывод там был осторожный: доказательств мало, всё зависит от модели. Модели с тех пор сменились, а приписки остались. Я сам пишу «пожалуйста» чуть ли не в каждом втором запросе. Стало интересно, что они делают с кодинг-агентом сейчас. Проверять решил на скрытых тестах, ощущениям тут веры мало.Что мерил
AI-агент сказал «готово». Как проверить, что он действительно сделал работу
Привет 👋Самая неприятная ошибка рабочего AI-агента — не странный ответ. Это убедительное «готово», после которого кто-то идёт проверять, переделывать и извиняться перед коллегами.Ассистенту, который предлагает формулировки, можно простить неудачный абзац. Агенту, который меняет рабочие данные, этого уже мало. Мне интереснее обсуждать его приёмку: что именно должно произойти, чтобы задачу можно было считать закрытой.
