OpenAI покупает стартап Promptfoo для защиты AI-агентов

OpenAI покупает стартап Promptfoo, который занимается безопасностью языковых моделей и AI-агентов. Компания разработала инструмент, позволяющий проверять LLM на уязвимости, вредоносные сценарии и ошибки ^[1] в поведении ^[2] моделей. Такой аудит помогает компаниям понимать, как их системы реагируют на сложные или потенциально опасные запросы.

Promptfoo появился в 2024 году и за короткое время успел привлечь около 23 миллионов долларов инвестиций. По данным самого стартапа, его инструменты уже используют примерно четверть компаний из списка Fortune 500 для тестирования своих AI-систем. Последняя оценка компании составляла около 86 миллионов долларов.

После сделки технологии Promptfoo планируют интегрировать в корпоративную платформу OpenAI Frontier. Эта платформа предназначена для разработки и управления AI-агентами в бизнес-среде. Инструменты стартапа должны усилить блок безопасности и позволить компаниям проверять своих агентов на уязвимости до их запуска в рабочую среду.

Сделка показывает, что по мере распространения AI-агентов всё больше внимания ^[3] уделяется не только их возможностям, но и контролю над тем, как они работают и какие риски могут создавать.

Делегируйте часть рутинных задач вместе с BotHub! ^[4] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[5] вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник