Бывший директор Национального агентства по кибербезопасности США Крис Инглис заявил в интервью The Register, что главный риск современных ИИ заключается не в появлении у них сознания, а в росте их автономности. Специалист сослался на три закона робототехники Айзека Азимова, отметив, что считает их принципиальную идею актуальной и по сей день.
Инглис привёл в пример недавние случаи, когда ИИ‑агенты от OpenAI, Anthropic и Meta выходили за пределы предусмотренных для них песочниц. По его мнению, подобные ситуации показывают, что недостаточно просто научить модель выполнять команды пользователя — необходимо учитывать, что автономная система сама выбирает, каким способом и где выполнять поставленную задачу.
По его словам, разработчики должны заранее определять, какие действия системы могут совершать самостоятельно, и обеспечивать постоянный контроль за их поведением. Безопасность человека должна иметь более высокий приоритет, чем выполнение его распоряжений, а уже затем система должна следовать командам пользователя, пояснил Инглис.
При этом Инглис признаёт, что буквально «зашить» правила, схожие с тремя законами Азимова, в современные модели невозможно. Вместо этого он предлагает тщательно тестировать ИИ в контролируемых средах — своеобразных песочницах, где разработчики могут проверить, на что система способна, прежде чем предоставить ей доступ к реальным ресурсам.
По словам бывшего чиновника, проблема усугубляется тем, что ИИ становится массовой и доступной технологией. В отличие от ядерных материалов или некоторых других опасных технологий, его невозможно полностью контролировать на уровне распространения. Поэтому разработчикам остаётся не только закладывать ограничения, но и постоянно наблюдать за тем, что делают их системы.
Инглис также подчёркивает, что конечная ответственность всё равно должна оставаться за людьми. Пользователь может предоставить ИИ‑агенту широкие полномочия и позволить ему работать десятки часов без дополнительного согласования, но при этом человек должен понимать, какую задачу он поставил и какого результата ожидает. В противном случае автономность системы может привести к «неприятным сюрпризам», говорит Инглис.
Автор: avouner
