Компании OpenAI и Anthropic впервые обменялись доступом к своим моделям, чтобы провести независимое тестирование и выработать эталонные подходы к оценке безопасности ИИ. Исследователи временно получили взаимный доступ к API и протестировали конкурирующие системы.
Результаты показали различия в стратегиях. Так, модели Claude Opus 4 и Sonnet 4 от Anthropic отказывались отвечать в случаях неопределённости примерно в 70% запросов. В то же время модели OpenAI — o3 и o4-mini — чаще пытались давать ответы, но при этом генерировали больше ошибок и галлюцинаций.
По мнению руководителей обеих компаний, оптимальной стала бы комбинация этих подходов: чаще отказываться при сомнительных запросах, но при этом минимизировать вероятность ложной информации.
OpenAI и Anthropic планируют повторить подобные перекрёстные проверки и приглашают к сотрудничеству другие исследовательские лаборатории.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: cognitronn
