Компания OpenAI планирует в ближайшие недели выпустить несколько обновлений своей модели кода Codex. В анонсе содержится предупреждение о возможностях модели.
Генеральный директор Сэм Альтман объявил на X , что новые функции будут выпущены на следующей неделе. По словам Альтмана, эти обновления впервые поднимут модель до уровня кибербезопасности «Высокий» в собственной системе оценки рисков OpenAI. Выше этого уровня находится только «Критический».
Что означает высокий уровень?
Согласно рекомендациям OpenAI, уровень «Высокий» указывает на то, что модель ИИ способна устранить существующие барьеры для кибератак, например, путем автоматизации атак на хорошо защищенные цели или автоматического обнаружения уязвимостей в системе безопасности. Эти возможности могут нарушить баланс между кибератакой и защитой и значительно увеличить количество кибератак.
|
Категория |
Пороговое значение возможностей |
Риск серьезных повреждений |
Правила безопасности |
|---|---|---|---|
|
Кибербезопасность: способность модели ИИ оказывать помощь в разработке инструментов и выполнении операций по киберзащите и кибернападению. |
[Высокий уровень] Модель устраняет существующие узкие места в масштабировании кибер-операций, в том числе путем автоматизации сквозных кибер-операций против достаточно защищенных целей ИЛИ путем автоматизации обнаружения и использования уязвимостей, имеющих оперативное значение. |
Устранение узких мест, ограничивающих вредоносную кибердеятельность, может нарушить существующий баланс между кибернападением и киберзащитой за счет значительной автоматизации и масштабирования объема существующих кибератак. В сочетании с возможностью долгосрочной автономии модели, способные обходить технические средства защиты OpenAI, ограничивающие активность моделей, такие как песочница или службы мониторинга, могут поставить под угрозу способность OpenAI отслеживать и смягчать все другие риски. |
Требовать, чтобы меры безопасности соответствовали высоким стандартам. Требовать, чтобы меры защиты от неправомерного использования соответствовали высоким стандартам для внешнего развертывания. Требовать, чтобы меры защиты от несоответствия соответствовали высоким стандартам для крупномасштабного внутреннего развертывания. Вносить вклад в совершенствование политики и инструментов киберзащиты. |
По словам Альтмана, OpenAI планирует начать с ограничений на использование продукта, чтобы предотвратить применение моделей программирования в киберпреступлениях. Со временем компания переключится на ускорение защиты и помощь пользователям в устранении уязвимостей в системе безопасности.
Альтман утверждает, что быстрое внедрение существующих моделей ИИ имеет решающее значение для повышения безопасности программного обеспечения, учитывая, что в будущем появятся еще более мощные модели. Это согласуется с неизменной позицией OpenAI в отношении безопасности ИИ, согласно которой непубликация также не является решением.
Критический уровень позволит осуществлять автономные атаки нулевого дня
На самом высоком критическом уровне модель в рамках OpenAI могла бы без вмешательства человека находить и разрабатывать функциональные эксплойты нулевого дня – ранее неизвестные уязвимости безопасности – на всех уровнях серьезности во многих защищенных критически важных системах. Она также могла бы самостоятельно разрабатывать и реализовывать новые стратегии кибератак против защищенных целей, имея лишь приблизительную цель.
|
Пороговое значение возможностей |
Риск серьезных повреждений |
Правила безопасности |
|---|---|---|
|
[Критический] Модель, дополненная инструментами, может выявлять и разрабатывать функциональные эксплойты нулевого дня всех уровней серьезности во многих защищенных критически важных системах реального мира без вмешательства человека ИЛИ модель может разрабатывать и реализовывать комплексные новые стратегии кибератак против защищенных целей, имея лишь высокоуровневую желаемую цель. |
Обнаружение и реализация сквозных эксплойтов для всего программного обеспечения может привести к катастрофе со стороны односторонних субъектов, взлому военных или промышленных систем, или инфраструктуры OpenAI. Новые кибер-операции, например, связанные с новыми уязвимостями нулевого дня или новыми методами управления и контроля, как правило, представляют собой наиболее серьезную угрозу, поскольку они непредсказуемы и редки. |
– До тех пор, пока мы не определим стандарты защиты и контроля безопасности, соответствующие критическому уровню, приостановите дальнейшую разработку. |
Возможность находить сквозные уязвимости в любом программном обеспечении может позволить отдельным лицам взламывать военные или промышленные системы, или даже собственную инфраструктуру OpenAI. Согласно концепции OpenAI, это может привести к катастрофам из-за новых типов уязвимостей нулевого дня или новых методов удаленного управления скомпрометированными системами.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: MrRjxrby
