OpenAI покупает стартап по тестированию безопасности ИИ

OpenAI объявила о приобретении Promptfoo — платформы, которая занимается тестированием безопасности и надежности систем на базе искусственного интеллекта ^[1]. После закрытия сделки технологии компании будут интегрированы в продукт Frontier — корпоративную платформу OpenAI для разработки и эксплуатации AI-агентов.

Promptfoo основали Иан Уэбстер и Майкл Д’Анджело в 2024 году. За короткое время команда создала популярный CLI-инструмент с открытым исходным кодом и набор решений для проверки поведения ^[2] языковых моделей. Сегодня эти инструменты используют более 25% компаний из списка Fortune 500. Основная специализация стартапа — red-teaming для ИИ: контролируемые попытки «взломать» систему, чтобы выявить уязвимости до того, как ими воспользуются реальные злоумышленники.

После интеграции Promptfoo в Frontier развитие платформы пойдет по нескольким направлениям. Во-первых, security-тестирование станет встроенной частью системы. Платформа сможет автоматически проверять приложения на prompt injection, jailbreak-атаки, утечки данных и некорректное использование инструментов агентами.

Во-вторых, проверки безопасности будут встроены прямо в процесс разработки. Разработчики смогут выявлять риски и исправлять их в ходе работы над продуктом, а не только на финальном этапе перед запуском.

Третье направление — аудит и соответствие требованиям регулирования. В Frontier появятся инструменты отчетности, которые помогут компаниям документировать тестирование своих AI-систем и подтверждать соответствие требованиям по управлению рисками искусственного интеллекта.

Интерес ^[3] OpenAI к подобным решениям связан с быстрым развитием AI-агентов. По мере того как они получают доступ к корпоративным данным, внутренним сервисам и внешним инструментам, цена любой ошибки ^[4] становится значительно выше. Обычных метрик качества уже недостаточно — компаниям нужны полноценные системы проверки поведения ^[5] агентов в сложных и нестандартных ситуациях.

Promptfoo как раз и специализировалась на подобных задачах, причем делала это в формате open source. OpenAI заявляет, что планирует продолжать развивать открытую часть проекта параллельно с интеграцией технологий стартапа в свою корпоративную платформу.

Сумма сделки официально не раскрывается. Однако по открытым данным, летом прошлого года Promptfoo оценивалась примерно в 86 миллионов долларов.

Делегируйте часть рутинных задач вместе с BotHub! ^[6] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[7] вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас.