Проблема «черного ящика»: как заставить ИИ объяснять свои решения
Начну с реального случая: в 2023 году американский юрист Стивен Шварц использовал ChatGPT
Управление ИИ (AI Governance) в 2025: пять главных вызовов и пути их преодоления
Пять Главных Вызовов Управления ИИ и Пути их преодоления
Объяснимый ИИ в ML и DL
Объяснимый ИИ — очень важный аспект в ML и DL. Он заключается в том, чтобы интерпретировать модель так, чтобы можно было около прозрачно объяснить ее решения. Потому что это довольно частая необходимость как у конечного заказчика, ведь для них это просто «черный ящик», так и у разработчиков непосредственно (например, для отладки модели). На русском языке таких статей не так много (для тех, кто знает английский проблем с этим нет, на нем таких статей много, например, Kaggle), поэтому я решил, что статья покажется актуальной, и сегодня я попробую рассказать про это и показать на конкретном примере, как его можно реализовать.
AutoEncoders and hidden states Analysis
Привет, друзья!Я продолжаю цикл туториалов, посвященных области explainable AI. Так, уже были разобраны метод Logit Lens на примере ViT, зондирование gpt2, CAM на примере Yolo NAS — всё можно найти по статьям в профиле. В этом же туториале мы разберем идею применения автокодировщиков для анализа и извлечения признаков из скрытых состояний модели.В туториале, вы:Изучите или повторите, как работает извлечение признаков в Visual Transformers;Построите и примените автокодировщик для сжатия скрытых представлений, выученных моделью ViT в задаче классификации котиков и собачек;Сравните Vit и PCA в данной задаче.
Logit Lens & ViT model: туториал
Привет!В этом туториале разобран метод для анализа внутренних представлений "логит-линза" (Logit Lens).В результате практики по туториалу, вы:Изучите подход и концепцию Logit Lens;Реализуете Logit Lens для Visual Transformer;Познакомитесь с анализом результатов применения логит-линзы.Приступим! Как всегда, весь код будет на гитхаб — step by step.Logit Lens: о методеМетод Logit Lens был предложен на Lessworng в 2020 году на примере модели GPT-2.
Анализ обработки признаков в YOLO NAS S при помощи CAM
Методы объяснения моделей — практичный инструмент для понимания модели, оценки её точности и стабильности. Однако, часто можно столкнуться с ситуацией, когда фреймворк, в котором метод реализован, просто не "дружит" с реализацией модели. В этом туториале хочу подробно показать CAM (class activation map) для объяснения моделей зрения. Почему CAM?Class Activation Maps (CAM) — базовый инструмент для визуализации того, какие области изображения наиболее важны для модели при принятии решения. Он позволяет понять:Какие признаки извлекает модель на разных слоях свертки;
