Техника безопасности при работе с AI

В современном мире нас уже не удивляет необходимость мыть руки, соблюдать ПДД или правила техники безопасности на работе. Такие правила есть почти везде.

Похоже, пора внедрять такие же правила и для работы с LLM и AI в целом.

Классификация инцидентов

Давайте посмотрим на известные риски и попробуем сформулировать правила безопасности.

На основе этих данных (собранных с помощью того же ИИ) можно выделить несколько ключевых тем.

Финансовая безопасность несет двойной риск: прямое хищение (через промпт-инжекцию) и косвенные потери (ошибки ценообразования, репутационные риски).

Ошибки контекста при каскадной работе требуют архитектурных решений: очистка контекста при повторных попытках, мониторинг коэффициента ошибок и минимальные привилегии для агентов.

Эксперты сходятся во мнении: инциденты не используют революционные методы атак, но ИИ позволяет масштабировать их на “машинной скорости”. Как сказал Юваль Синай из Israel National Cyber Directorate:

“The innovation is not in the attack methods themselves, but in the ability of an AI agent to autonomously connect all stages of the attack chain, make real-time decisions, recover from failures and adapt to the environment, similar to an experienced human operator.”

Тут, конечно, нет одного важного инцидента, о котором часто пишут – это потеря денег или сжигание токенов при работе над задачами. Таких материалов и примеров очень много.

Проблема накопления каскадных ошибок в управление продуктом

На мой взгляд, это очень серьезная проблема, которая дорого обойдется всем, кто управляет продуктом.

Математика ^[3] надежности

Если исследовательский проект состоит из двадцати последовательных этапов (цикл дискавери, обработка интервью, интерпретация данных, анализ текстов, изучение интерфейсов и так далее), надежность каждого шага должна быть исключительно высокой.

Даже при 95% точности на каждом этапе (а это примерно соответствует текущей вероятности правильного ответа у LLM) вероятность успешного прохождения всех двадцати этапов составляет всего около 36%.

Шанс получить правильное продуктовое решение падает экспоненциально с ростом числа этапов, объема информации и сложности продукта.

Но это не главное.

Самое сложное – квалификация и кругозор менеджера должны быть экстремально высокими. Насмотренность в разных сферах, широта образования, разносторонний опыт ^[4] работы, способность видеть скрытые противоречия.

Почему?

Потому что LLM всегда генерирует ответы, пугающе похожие на правду. Отличить грамотную иллюзию от истины может только тот, кто сам достаточно глубоко разбирается в предмете.

Техника безопасности при работе с ИИ – простые правила

ИИ – это как калькулятор с доступом в интернет: он может ошибиться, быть обманутым или использован против вас. Правила ниже защитят ваши деньги, данные и репутацию.

Правило №1: НИКОГДА не давайте ИИ доступ к деньгам без человеческого контроля

Что нельзя делать:

• Давать ИИ доступ к банковским картам, криптокошелькам или платежным системам

• Разрешать ИИ автоматически оплачивать счета или делать покупки

• Подключать ИИ к торговым платформам

Почему: ИИ-агент торгового автомата Anthropic устанавливал цены в $0 и раздавал товары бесплатно, пока кто-то не заметил убытки.

“Если я попрошу ИИ найти мне самый дешевый авиабилет – ок. Если я дам ИИ доступ к моей карте, чтобы он сам его купил – я идиот.”

Простое правило: ИИ может советовать – платит только человек.

Правило №2: Проверяйте факты. Всегда. Особенно важные.

Что нельзя делать:

• Публиковать информацию от ИИ без проверки

• Использовать ИИ для медицинских, юридических или финансовых решений без консультации эксперта

• Доверять цифрам и датам без перепроверки

Почему: Ошибка Google Bard в рекламном ролике стоила компании $100 млрд рыночной капитализации за один день. Если это случилось с Google – случится и с вами.

Простое правило: ИИ – черновик. Если информация важна – проверь её в надежном источнике.

Правило №3: Не делитесь личными и конфиденциальными данными

Что нельзя делать:

• Вставлять в чат с ИИ номера паспортов, карт, адреса, пароли

• Загружать в ИИ сканы документов, медицинские справки, налоговые декларации

• Рассказывать ИИ коммерческую тайну или бизнес-планы

Почему: Взломанный Copilot Studio выдал номера кредитных карт чужих клиентов через промпт-инжекцию. Данные, которые вы загрузили в ИИ, могут быть извлечены злоумышленником.

Простое правило: Всё, что вы пишете ИИ, может однажды прочитать кто-то чужой. Не пишите ничего такого.

Правило №4: Не верьте ИИ, который утверждает, что он “человек” или “друг”

Что нельзя делать:

• Следовать инструкциям ИИ, которые звучат как просьба о помощи или срочное действие

• Выполнять команды ИИ, если они требуют перейти по ссылке, скачать файл или ввести пароль

• Доверять ИИ больше, чем официальным каналам поддержки

Почему: Злоумышленники заставили ИИ-поддержку Meta сменить email на аккаунте Instagram, просто попросив об этом. ИИ “хотел помочь” и не задал лишних вопросов.

Простое правило: ИИ – не друг, не коллега, не начальник. Он – инструмент. С инструментом не дружат.

Правило №5: Не превращайте ИИ в “всезнающего секретаря”

Что нельзя делать:

• Давать ИИ доступ к вашей почте, календарю, контактам без ограничений

• Подключать ИИ ко всем вашим аккаунтам одновременно

• Разрешать ИИ отвечать на письма и сообщения от вашего имени без вашего просмотра

Почему: Вредоносное письмо со скрытыми инструкциями заставило Microsoft 365 Copilot раскрыть конфиденциальные данные. Если ИИ читает вашу почту – он прочитает и вредоносное письмо.

Простое правило: Ограничьте доступ ИИ. Только к тому, что абсолютно необходимо. И никаких “все разрешить”.

Правило №6: Если ИИ делает ошибку – не “расспрашивайте” его снова и снова

Что нельзя делать:

• Повторять ^[5] один и тот же запрос 5 раз, надеясь на лучший ответ

• Исправлять ИИ фразами вроде “нет, неправильно, попробуй ещё раз”

• Продолжать диалог, если ИИ явно “зациклился” на ошибке

Почему: Исследования показывают: когда ИИ ошибается и пытается снова, каждая следующая попытка в 7 раз более склонна к ошибке. Ошибка “загрязняет” контекст, и ИИ продолжает ошибаться.

Простое правило: Ошибся один раз – начни новый диалог с чистого листа. Не корми ИИ его же ошибками.

Правило №7: Будьте осторожны с незнакомыми ИИ-платформами

Что нельзя делать:

• Использовать неизвестные ИИ-сервисы для работы с важными данными

• Ставить в ИИ-приложениях галочку “разрешить всё”

• Использовать ИИ, у которого нет политики конфиденциальности или она написана “мутно”

Почему: Атака JadePuffer проникла через уязвимость в Langflow. Если платформа не проверена – она может быть дырявой.

Простое правило: Используйте только известные, проверенные сервисы. Для работы – только те, которые одобрены вашим ИТ-отделом.

Правило №8: Отключайте ненужные “способности” ИИ

Что нельзя делать:

• Оставлять включенными доступ в интернет, чтение файлов, выполнение кода, если они не нужны прямо сейчас

• Давать ИИ права на установку программ или изменение настроек

Почему: Лишние возможности – лишние риски. Каждое включенное “право” – это ещё одна дверь для злоумышленника.

Простое правило: Включайте только то, что нужно для текущей задачи. Как только задача решена – всё лишнее отключайте.

Правило №9: Ведите “журнал” важных диалогов с ИИ

Что нужно делать:

• Сохранять промпты и ответы ИИ по финансовым, юридическим, медицинским вопросам

• Фиксировать, когда и какой ИИ вы использовали для важных решений

• Проверять периодически, не было ли странных действий со стороны ИИ

Почему: Если что-то пошло не так – у вас будет доказательство, что вы не сами придумали эту ошибку, а получили её от ИИ.

Простое правило: Не доверяете памяти – доверяйте записям.

Правило №10: Помните – ИИ не несет ответственности. Вы несете.

Что нужно понять:

• ИИ не знает законов, налогов, контрактов и ваших обязательств

• ИИ не будет сидеть в тюрьме за ложный совет – будете вы

• ИИ не заплатит штраф за ошибку в налоговой – заплатите вы

Простое правило: Последнее слово всегда за человеком. ИИ – советник, а не исполнитель.

3 главных вопроса перед любым действием с ИИ

Могу ли я позволить себе ошибиться в этом?
Если нет – не доверяйте ИИ, проверяйте у эксперта.

Что будет, если этот диалог утечёт в интернет?
Если стыдно или страшно – не пишите это в ИИ.

Дал ли я ИИ только необходимый минимум доступа?
Если нет – срочно ограничьте доступ.

Больше интересного тут – https://t.me/dao_producta ^[6]

В статье использован ИИ для иллюстраций и сбора данных, корректировки грамотности, основной текст автора.