В Anthropic предотвратили попытки создания биологического оружия

Anthropic предотвратила несколько попыток учёных использовать её передовые модели искусственного интеллекта ^[1] для проведения исследований, которые могли привести к созданию биологического оружия. Об этом сообщила ^[2] New York Times со ссылкой на отчёт ^[3] американской компании.

При этом Anthropic признаётся, что не может определить, служили ли эти исследования законным или злонамеренным целям. В некоторых случаях добросовестные биологические исследования могут способствовать созданию опасных патогенов, а не только вакцин.

Ввиду этой неопределённости Antropic предпочла действовать на упреждение, поскольку последствия упущенной злонамеренной деятельности могут быть серьёзными.

«Вы не видите, как кто‑то в стиле комиксов говорит: „Эй, я хочу создать биологическое оружие, чтобы всех убить“. Это невероятно сложная ситуация», — рассказал в интервью руководитель отдела анализа киберугроз Anthropic Джейкоб Кляйн.

Потенциальная способность передовых языковых моделей развивать известные и совершенно новые биологические патогены стала одной из самых серьёзных проблем, связанных с ИИ. Технология развивается настолько стремительно, что даже ведущие разработчики ИИ сомневаются в возможности контролировать его полностью.

Старший научный ^[4] сотрудник некоммерческого института Council on Strategic Risks Эндрю Вебер назвал выводы отчёта «ужасающими примерами того, как спонсируемые государством разработчики биологического оружия используют быстро развивающиеся возможности» ведущих ИИ‑моделей.

В отчёте Anthropic описывает ряд случаев неправомерного использования её ИИ‑моделей за последние восемь месяцев. Некоторые примеры были похожи на предыдущие разоблачения от Anthropic и других лабораторий ИИ, включая предполагаемые случаи слежки со стороны субъектов, связанных с Ираном и Китаем. Разработчик Claude также пишет о случаях использования чат‑бота российскими государственными СМИ для создания контента.

Новым задокументированным видом злоупотреблений стала разработка через Claude программного обеспечения для проектирования и создания обычного вооружения. Речь идёт об огнестрельном и ракетном оружии, боевых беспилотниках и бомбах. Отчёт рассматривает три случая в Китае, два в России и один в Йемене.

В части про биологическое оружие Anthropic не раскрыла имена исследователей или учреждения, страны их принадлежности и упомянутые биологические агенты из‑за неопределённости относительно целей работы.

При этом компания подчеркнула, что эти учёные обошли систему контроля, предназначенную для предотвращения доступа к ИИ‑моделям пользователей из заблокированных регионов. Они пытались «завуалировать цель своих исследований, чтобы обойти меры безопасности», пояснили в Anthropic.

В одном из примеров учёный попросил Claude помочь в написании заявки на грант для проведения исследований вируса чикунгунья. Подобные работы, называемые исследованиями по усилению функций вирусов, могут быть законными и привести к разработке вакцины. Однако они также могут создавать супербактериальные версии вирусов. Упомянутый учёный хотел внести в вирус мутации, которые сделали бы его более опасным при многократном заражении лабораторных животных.

Прошлогодний анализ Anthropic показал, что её более старые модели не были способны оказывать существенную помощь в проведении опасных биологических исследований. Нынешние модели компании лучше подходят для выполнения сложных научных исследований, что послужило поводом для ужесточения мер безопасности. В частности, Anthropic ограничила доступ к широкому спектру биологических исследований двойного назначения.