Тестирование IT-систем. - страница 2

Агенту мало дать доступ к коду. Как мы перенесли процесс команды в хуки и гейты

Привет! Меня зовут Валерий Почтарёв, я развиваю инструменты антифрода и отвечаю за систему контроля доступов пользователей в Авито. Этот материал будет полезен тем, кто внедряет агентов в разработку и упирается в то, что они забывают процессы. Спойлер: мы заставили агентов работать предсказуемо, когда перенесли контроль на уровень детерминированных runtime-ограничений. 

продолжить чтение

В штате Нью‑Йорк запустят первую в стране государственную программу тестирования ИИ‑систем

В американском штате Нью‑Йорк запустят первую в США государственную программу независимого тестирования систем искусственного интеллекта и подготовки нового поколения экспертов безопасности в области нейросетей. Об этом сообщила губернатор штата Кэти Хокул.

продолжить чтение

Как аналитики заменили тестировщиков и приручили ИИ

Привет, Хабр! На нашем ИТ-митапе для технического комьюнити эксперт ГК «КОРУС Консалтинг» выступила с темой «Автоматизация тестирования с помощью ИИ: идеи, гипотезы, результаты».О чем говорили:Почему генерация тестов «из выгрузки» — это тавтология, а тесты по API часто дают ложные результаты.Как команда пришла к рабочей схеме: истину задаёт человек, а проверять нужно через реальный интерфейс.Что такое «полуавтомат» в тестировании, где машина готовит, а человек подтверждает.

продолжить чтение

О Дух Машины, возьми наши деньги и забери у нас ручное тестирование

У нас было 15 000 ₽ в месяц, команда из пяти человек и катастрофическая нехватка времени на ручное тестирование. И мы призвали Духа Машины. 

продолжить чтение

Атаки на ИИ-агентов: разбираем проект таксономии NIST

9 ноября 2026 года Национальный институт стандартов и технологий США (NIST) опубликовал первый публичный проект SP 2400-102 E2026. Авторы развивают таксономию атак на системы машинного обучения 2025 года и посвящают отдельную главу агентам ИИ. Замечания принимаются до 18 декабря 2026 года.

продолжить чтение

ИИ‑агент уверенно ошибается, а ИИ‑проверяющий говорит: всё в порядке

ИИ‑агент, тест и ИИ‑проверяющий: три разных ошибки в одном эксперименте

продолжить чтение

Как мы тестировали RAG: нашёл документ, но всё равно ошибся

В прошлой статье я рассказывал, как наш трёхнедельный RAG-пилот по технической документации растянулся на три месяца. Мы собирались научить корпоративный AI отвечать на вопросы инженеров и менеджеров, а вместо этого обнаружили, что сначала нужно разобраться в собственных документах.С тех пор мы продвинулись. Собрали базу знаний, настроили поиск, подготовили сотни контрольных вопросов и наконец начали испытывать ассистента на реальных инженерных задачах.Промежуточный результат — 84% правильных ответов на тестовом наборе из 188 вопросов

продолжить чтение

Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBench

Мы поменяли требования в задачах кодингового бенчмарка и увидели, как модели отговаривают себя их выполнять.Иногда агент прекрасно понимал новое требование. Он описывал, что нужно изменить, прикидывал реализацию, а потом решал, что скрытые тесты, скорее всего, ждут чего-то другого. В одном прогоне модель правильно реализовала изменение, спросила у другой модели исходное решение бенчмарка и, получив его, удалила свой правильный код.

продолжить чтение

Как ИИ-помощник получает контекст 1С и проверяет расширения

Большая языковая модель не знает, как устроена конкретная информационная база. Она не видит модули конфигурации, активные расширения, права пользователя и данные документа, пока не получит к ним управляемый доступ. Поэтому практическая задача состоит не только в выборе модели. Нужно собрать для нее релевантный контекст, ограничить действия и встроить проверку результата. Разберем, как этот процесс устроен в ИИ-помощнике для 1С и где по-прежнему требуется специалист.Почему обычного чата недостаточно

продолжить чтение

База знаний на максималках: как ИИ-агенты с помощью QA сами наполняют общую память тестирования

Всем привет! Меня зовут Олег Малышев

продолжить чтение