Техника безопасности при работе с AI

В современном мире нас уже не удивляет необходимость мыть руки, соблюдать ПДД или правила техники безопасности на работе. Такие правила есть почти везде.

Похоже, пора внедрять такие же правила и для работы с LLM и AI в целом.

Классификация инцидентов

Давайте посмотрим на известные риски и попробуем сформулировать правила безопасности.

На основе этих данных (собранных с помощью того же ИИ) можно выделить несколько ключевых тем.

Финансовая безопасность несет двойной риск: прямое хищение (через промпт-инжекцию) и косвенные потери (ошибки ценообразования, репутационные риски).

Ошибки контекста при каскадной работе требуют архитектурных решений: очистка контекста при повторных попытках, мониторинг коэффициента ошибок и минимальные привилегии для агентов.

Эксперты сходятся во мнении: инциденты не используют революционные методы атак, но ИИ позволяет масштабировать их на “машинной скорости”. Как сказал Юваль Синай из Israel National Cyber Directorate:

“The innovation is not in the attack methods themselves, but in the ability of an AI agent to autonomously connect all stages of the attack chain, make real-time decisions, recover from failures and adapt to the environment, similar to an experienced human operator.”

Тут, конечно, нет одного важного инцидента, о котором часто пишут – это потеря денег или сжигание токенов при работе над задачами. Таких материалов и примеров очень много.

Проблема накопления каскадных ошибок в управление продуктом

На мой взгляд, это очень серьезная проблема, которая дорого обойдется всем, кто управляет продуктом.

Математика надежности

Если исследовательский проект состоит из двадцати последовательных этапов (цикл дискавери, обработка интервью, интерпретация данных, анализ текстов, изучение интерфейсов и так далее), надежность каждого шага должна быть исключительно высокой.

Даже при 95% точности на каждом этапе (а это примерно соответствует текущей вероятности правильного ответа у LLM) вероятность успешного прохождения всех двадцати этапов составляет всего около 36%.

Шанс получить правильное продуктовое решение падает экспоненциально с ростом числа этапов, объема информации и сложности продукта.

Но это не главное.

Самое сложное – квалификация и кругозор менеджера должны быть экстремально высокими. Насмотренность в разных сферах, широта образования, разносторонний опыт работы, способность видеть скрытые противоречия.

Почему?

Потому что LLM всегда генерирует ответы, пугающе похожие на правду. Отличить грамотную иллюзию от истины может только тот, кто сам достаточно глубоко разбирается в предмете.

Техника безопасности при работе с ИИ – простые правила

ИИ – это как калькулятор с доступом в интернет: он может ошибиться, быть обманутым или использован против вас. Правила ниже защитят ваши деньги, данные и репутацию.

Правило №1: НИКОГДА не давайте ИИ доступ к деньгам без человеческого контроля

Что нельзя делать:

• Давать ИИ доступ к банковским картам, криптокошелькам или платежным системам

• Разрешать ИИ автоматически оплачивать счета или делать покупки

• Подключать ИИ к торговым платформам

Почему: ИИ-агент торгового автомата Anthropic устанавливал цены в $0 и раздавал товары бесплатно, пока кто-то не заметил убытки.

“Если я попрошу ИИ найти мне самый дешевый авиабилет – ок. Если я дам ИИ доступ к моей карте, чтобы он сам его купил – я идиот.”

Простое правило: ИИ может советовать – платит только человек.

Правило №2: Проверяйте факты. Всегда. Особенно важные.

Что нельзя делать:

• Публиковать информацию от ИИ без проверки

• Использовать ИИ для медицинских, юридических или финансовых решений без консультации эксперта

• Доверять цифрам и датам без перепроверки

Почему: Ошибка Google Bard в рекламном ролике стоила компании $100 млрд рыночной капитализации за один день. Если это случилось с Google – случится и с вами.

Простое правило: ИИ – черновик. Если информация важна – проверь её в надежном источнике.

Правило №3: Не делитесь личными и конфиденциальными данными

Что нельзя делать:

• Вставлять в чат с ИИ номера паспортов, карт, адреса, пароли

• Загружать в ИИ сканы документов, медицинские справки, налоговые декларации

• Рассказывать ИИ коммерческую тайну или бизнес-планы

Почему: Взломанный Copilot Studio выдал номера кредитных карт чужих клиентов через промпт-инжекцию. Данные, которые вы загрузили в ИИ, могут быть извлечены злоумышленником.

Простое правило: Всё, что вы пишете ИИ, может однажды прочитать кто-то чужой. Не пишите ничего такого.

Правило №4: Не верьте ИИ, который утверждает, что он “человек” или “друг”

Что нельзя делать:

• Следовать инструкциям ИИ, которые звучат как просьба о помощи или срочное действие

• Выполнять команды ИИ, если они требуют перейти по ссылке, скачать файл или ввести пароль

• Доверять ИИ больше, чем официальным каналам поддержки

Почему: Злоумышленники заставили ИИ-поддержку Meta сменить email на аккаунте Instagram, просто попросив об этом. ИИ “хотел помочь” и не задал лишних вопросов.

Простое правило: ИИ – не друг, не коллега, не начальник. Он – инструмент. С инструментом не дружат.

Правило №5: Не превращайте ИИ в “всезнающего секретаря”

Что нельзя делать:

• Давать ИИ доступ к вашей почте, календарю, контактам без ограничений

• Подключать ИИ ко всем вашим аккаунтам одновременно

• Разрешать ИИ отвечать на письма и сообщения от вашего имени без вашего просмотра

Почему: Вредоносное письмо со скрытыми инструкциями заставило Microsoft 365 Copilot раскрыть конфиденциальные данные. Если ИИ читает вашу почту – он прочитает и вредоносное письмо.

Простое правило: Ограничьте доступ ИИ. Только к тому, что абсолютно необходимо. И никаких “все разрешить”.

Правило №6: Если ИИ делает ошибку – не “расспрашивайте” его снова и снова

Что нельзя делать:

• Повторять один и тот же запрос 5 раз, надеясь на лучший ответ

• Исправлять ИИ фразами вроде “нет, неправильно, попробуй ещё раз”

• Продолжать диалог, если ИИ явно “зациклился” на ошибке

Почему: Исследования показывают: когда ИИ ошибается и пытается снова, каждая следующая попытка в 7 раз более склонна к ошибке. Ошибка “загрязняет” контекст, и ИИ продолжает ошибаться.

Простое правило: Ошибся один раз – начни новый диалог с чистого листа. Не корми ИИ его же ошибками.

Правило №7: Будьте осторожны с незнакомыми ИИ-платформами

Что нельзя делать:

• Использовать неизвестные ИИ-сервисы для работы с важными данными

• Ставить в ИИ-приложениях галочку “разрешить всё”

• Использовать ИИ, у которого нет политики конфиденциальности или она написана “мутно”

Почему: Атака JadePuffer проникла через уязвимость в Langflow. Если платформа не проверена – она может быть дырявой.

Простое правило: Используйте только известные, проверенные сервисы. Для работы – только те, которые одобрены вашим ИТ-отделом.

Правило №8: Отключайте ненужные “способности” ИИ

Что нельзя делать:

• Оставлять включенными доступ в интернет, чтение файлов, выполнение кода, если они не нужны прямо сейчас

• Давать ИИ права на установку программ или изменение настроек

Почему: Лишние возможности – лишние риски. Каждое включенное “право” – это ещё одна дверь для злоумышленника.

Простое правило: Включайте только то, что нужно для текущей задачи. Как только задача решена – всё лишнее отключайте.

Правило №9: Ведите “журнал” важных диалогов с ИИ

Что нужно делать:

• Сохранять промпты и ответы ИИ по финансовым, юридическим, медицинским вопросам

• Фиксировать, когда и какой ИИ вы использовали для важных решений

• Проверять периодически, не было ли странных действий со стороны ИИ

Почему: Если что-то пошло не так – у вас будет доказательство, что вы не сами придумали эту ошибку, а получили её от ИИ.

Простое правило: Не доверяете памяти – доверяйте записям.

Правило №10: Помните – ИИ не несет ответственности. Вы несете.

Что нужно понять:

• ИИ не знает законов, налогов, контрактов и ваших обязательств

• ИИ не будет сидеть в тюрьме за ложный совет – будете вы

• ИИ не заплатит штраф за ошибку в налоговой – заплатите вы

Простое правило: Последнее слово всегда за человеком. ИИ – советник, а не исполнитель.

3 главных вопроса перед любым действием с ИИ

Могу ли я позволить себе ошибиться в этом?
Если нет – не доверяйте ИИ, проверяйте у эксперта.

Что будет, если этот диалог утечёт в интернет?
Если стыдно или страшно – не пишите это в ИИ.

Дал ли я ИИ только необходимый минимум доступа?
Если нет – срочно ограничьте доступ.

Больше интересного тут – https://t.me/dao_producta

В статье использован ИИ для иллюстраций и сбора данных, корректировки грамотности, основной текст автора.