Исследование TrendAI: агентный ИИ в финансах — рост автономии на фоне усиливающихся рисков и пробелов в управлении

Исследование TrendAI (подразделение Trend Micro) фиксирует важный сдвиг в финансовой индустрии: внедрение искусственного интеллекта ^[1] перестало быть экспериментом и стремительно становится операционной нормой. Однако вместе с этим формируется системный разрыв между скоростью внедрения агентного ИИ и зрелостью механизмов его контроля. Именно этот разрыв сегодня становится ключевым источником новых рисков для финансовых организаций.

Финансовый сектор — один из наиболее активных потребителей технологий ИИ, особенно в таких областях, как автоматическое выявление мошенничества, комплаенс-процедуры, кредитный скоринг и управление рисками. Агентные ИИ-системы, способные самостоятельно принимать решения и выполнять действия, всё чаще используются не как вспомогательные инструменты, а как полноценные участники бизнес-процессов.

Однако данные исследования, охватывающего 407 организаций в сфере финансовых услуг, страхования и бухгалтерского учёта, показывают, что институциональная готовность к такому уровню автономии остаётся ограниченной. Почти треть компаний (31%) не обладают достаточными инструментами наблюдаемости и аудита действий ИИ-агентов. Это означает, что в ряде случаев организации не могут в полной мере отследить, почему система приняла то или иное решение и как именно она его сформировала.

Подобная непрозрачность становится особенно критичной в условиях перехода к более автономным системам, где ИИ не просто анализирует данные, но и инициирует действия — например, блокирует транзакции, формирует отчётность или запускает процедуры проверки клиентов.

Давление на внедрение и ускоренная цифровизация

Одним из ключевых факторов, ускоряющих внедрение агентного ИИ, является конкурентное давление. Более двух третей (68%) организаций признают, что ощущают необходимость ускоренного принятия ИИ-решений, даже несмотря на сохраняющиеся опасения в области безопасности и регулирования.

При этом 15% респондентов оценивают связанные риски как «экстремальные». Тем не менее, это не останавливает процесс внедрения, что указывает на смещение приоритетов в сторону технологического лидерства ^[2] и повышения эффективности, иногда в ущерб зрелости управления рисками.

Как подчёркивает Bharat Mistry, Field CTO в TrendAI, ключевая проблема заключается не в отсутствии понимания рисков, а в недостатке инструментов контроля. Разрыв между скоростью внедрения и качеством управления продолжает увеличиваться, формируя «серую зону» операционной неопределённости.

Недостаточная зрелость управления ИИ

Одним из наиболее тревожных выводов исследования является низкий уровень формализации управления ИИ. Лишь 21% организаций заявляют о наличии комплексных политик governance для ИИ-систем. Это означает, что в большинстве случаев отсутствуют единые стандарты того, как ИИ должен внедряться, контролироваться и при необходимости ограничиваться.

Параллельно только 32% компаний уверенно понимают применимые регуляторные требования в области ИИ. Это создаёт дополнительную неопределённость, особенно в условиях быстро развивающегося законодательства и различий между юрисдикциями.

В результате 44% организаций называют регуляторную неопределённость одним из ключевых барьеров для дальнейшего масштабирования ИИ.

Изменение структуры рисков

По мере роста автономности систем меняется и профиль угроз. Если ранее основной фокус был направлен на классические риски кибербезопасности, то теперь на первый план выходят специфические угрозы, связанные с поведением ^[3] самих ИИ-агентов.

Наиболее значимой проблемой для 40% организаций остаётся утечка конфиденциальных данных. Однако почти столь же важными становятся:

• расширение поверхности кибератак (34%),

• риски неконтролируемых действий автономных систем (32%).

Отдельно выделяется проблема атак на ИИ-модели, в частности prompt injection, когда злоумышленники воздействуют на систему через специально сформированные входные данные. Несмотря на растущую актуальность этого класса угроз, лишь 30% организаций рассматривают его как серьёзный риск, что указывает на сохраняющийся разрыв между теоретической и практической осведомлённостью.

Контрольные механизмы и вопрос «экстренного выключения»

Одним из наиболее показательных результатов исследования является отношение компаний к механизмам аварийного контроля. Только 40% поддерживают идею внедрения так называемых «kill switches» — механизмов экстренного отключения ИИ-систем при выявлении аномального поведения ^[4].

При этом 46% компаний не имеют чёткой позиции по этому вопросу. Такая неопределённость демонстрирует отсутствие консенсуса относительно того, где должна проходить граница человеческого вмешательства в автономные системы.

Вывод: технологическая зрелость опережает управленческую

Общий вывод исследования TrendAI заключается в том, что финансовая индустрия переживает этап, когда технологическая зрелость начинает опережать управленческую. Организации активно внедряют агентный ИИ и интегрируют его в критически важные бизнес-процессы, однако системы контроля, аудита и регулирования остаются недостаточно развитыми.

Это создаёт фундаментальное напряжение: с одной стороны — стремление к эффективности и автоматизации, с другой — растущая сложность управления автономными системами, которые действуют с высокой степенью независимости.

В долгосрочной перспективе ключевым фактором успеха станет не только способность внедрять ИИ, но и способность выстраивать прозрачные, проверяемые и регулируемые механизмы его контроля. Именно эта управленческая зрелость, а не скорость внедрения, будет определять устойчивость финансовых организаций в эпоху агентного искусственного интеллекта.

Источник: Fintech Magazine ^[5]

Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» ^[6] — мы регулярно рассказываем о новостях про финтех, стейблкоины и AI, а также делимся полезными мастридами и актуальными событиями.