Аргументы в пользу внедрения аудита в системы ИИ перед масштабированием

Структуры оркестрации для сервисов ИИ выполняют множество функций на предприятиях. Они не только определяют, как взаимодействуют приложения или агенты, но и позволяют администраторам управлять рабочими процессами и агентами, а также проводить аудит своих систем.

По мере того как предприятия начинают масштабировать свои ИИ-сервисы и внедрять их в производство, создание управляемого, отслеживаемого, проверяемого и надёжного конвейера ^[1] гарантирует, что их агенты будут работать именно так, как должны. Без таких средств контроля организации могут не знать, что происходит в их ИИ-системах, и обнаружить проблему слишком поздно, когда что-то пойдёт не так или они не будут соблюдать нормативные требования.

Кевин Кайли, президент компании Airia ^[2], занимающейся корпоративной оркестрацией, в интервью VentureBeat сказал, что фреймворки должны обеспечивать возможность аудита и отслеживания.

«Очень важно иметь возможность наблюдать за происходящим и возвращаться к журналу аудита, чтобы снова увидеть, какая информация была предоставлена и в какой момент, — сказал Кайли. — Вы должны знать, был ли это злоумышленник, внутренний сотрудник, который не знал, что делится информацией, или это была галлюцинация. Вам нужна запись об этом».

В идеале надёжность и возможность аудита должны быть встроены в системы ИИ на самом раннем этапе. Понимание потенциальных рисков, связанных с новым приложением или агентом ИИ, и обеспечение их соответствия стандартам перед развёртыванием поможет развеять опасения по поводу внедрения ИИ в производство.

Однако изначально организации не разрабатывали свои системы с учётом возможности отслеживания и аудита ^[3]. Многие пилотные программы ИИ начинались как эксперименты без уровня оркестрации или аудиторского следа.

Главный вопрос, с которым сейчас сталкиваются предприятия, заключается в том, как управлять всеми агентами и приложениями, обеспечивать надёжность своих конвейеров ^[4] и, если что-то пойдёт не так, понимать, что именно пошло не так, и отслеживать эффективность ИИ.

Выбор правильного метода

Однако, по словам экспертов, прежде чем создавать какое-либо приложение на основе ИИ, организациям необходимо проанализировать свои данные ^[5]. Если компания знает, к каким данным она разрешает доступ системам ИИ и с какими данными она настраивала модель, у неё есть отправная точка для сравнения долгосрочной эффективности.

«Когда вы запускаете некоторые из этих систем ИИ, возникает вопрос: какие данные я могу использовать, чтобы убедиться, что моя система работает правильно?» — сказал в интервью VentureBeat Ирийкс Гарнье, вице-президент по продуктам DataDog ^[6]. «На самом деле это очень сложно — понять, что у меня есть правильная система для проверки решений на основе ИИ».

Как только организация идентифицирует и находит свои данные, ей необходимо создать версию набора данных — по сути, присвоить метку времени или номер версии, — чтобы сделать эксперименты воспроизводимыми и понять, что именно изменилось в модели. Эти наборы данных и модели, любые приложения, использующие эти конкретные модели или агенты, авторизованные пользователи и базовые показатели времени выполнения могут быть загружены на платформу оркестрации или наблюдения.

Как и при выборе базовых моделей для построения, командам, занимающимся оркестрацией, необходимо учитывать прозрачность и открытость. Хотя некоторые системы оркестрации с закрытым исходным кодом имеют множество преимуществ, более открытые платформы также могут предложить преимущества, которые ценят некоторые предприятия, например, более наглядное представление о системах принятия решений.

Платформы с открытым исходным кодом, такие как MLFlow ^[7], LangChain ^[8] и Grafana ^[9], предоставляют агентам и моделям подробные и гибкие инструкции и возможности мониторинга. Предприятия могут разрабатывать свои конвейеры ИИ с помощью единой комплексной платформы, такой как DataDog, или использовать различные взаимосвязанные инструменты от AWS ^[10].

Еще один момент, который следует учитывать предприятиям, — это подключение системы, которая сопоставляет действия агентов и ответы приложений с инструментами обеспечения соответствия требованиям или ответственными политиками в области ИИ. AWS и Microsoft ^[11] предлагают сервисы, которые отслеживают инструменты ИИ и то, насколько точно они соблюдают ограничения и другие политики, установленные пользователем.

Кайли сказал, что при создании этих надёжных конвейеров предприятия должны учитывать один момент, связанный с выбором более прозрачной системы. По мнению Кайли, отсутствие понимания того, как работают системы ИИ, не сработает.

«Независимо от того, в какой сфере вы работаете, у вас будут ситуации, в которых вам нужна гибкость, а закрытая система не подойдёт. Есть поставщики с отличными инструментами, но это своего рода чёрный ящик. Я не знаю, как они принимают эти решения. У меня нет возможности перехватывать или вмешиваться в процесс там, где мне это нужно», — сказал он.

Пользуясь случаем, хочу порекомендовать BotHub  ^[12]— платформу, где можно протестировать все популярные модели без ограничений. Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[13] вы можете получить 100 000 бесплатных токенов для первых задач и уже сейчас начать работать!

Источник ^[14]