Поиск аномалий: статистика или ML? Выбираем лучшее
Поиск аномалий(Outlier Detection) является важной темой в машинном обучении. Алгоритмы такого типа актуальны и используются повсеместно: Кибербез, Банковские системы, предобработка данных, медицина, анализ логов, контроль качества и это лишь малая часть всего списка.Сегодня мы с вами познакомимся с двумя такими алгоритмами, сравним их и посмотрим результаты нашей работы.В нашем исследовании оценивать алгоритмы мы будем по метрикам Recall(реальная доля тех, кого правильно пометили как аномалию), Precision(Показывает долю истинно положительных результатов среди всех, которые модель пометила как положительные)
Алгоритм поиска аномалий Isolation Forest
Привет, Хабр! Меня зовут Михаил Васильев, я старший специалист по машинному обучению в компании Makves (входит в группу компаний «Гарда»). Эта статья — вторая в цикле, посвященном поиску аномалий. В первой статье мы поговорили о том, что такое аномалии и почему их сложно искать, а также по шагам разобрали алгоритмы HBOS и ECOD. Сегодня предлагаю разобрать еще один интересный алгоритм: Isolation Forest, а также немного углубиться в проблематику задачи.Виды аномалий В некоторых работах используют следующую классификацию аномалий: •
Выявляем аномалии с помощью Isolation Forest
Привет, Хабр!Сегодня мы будем рассматривать один из самых мощных алгоритмов детектирования аномалий, который называется Isolation Forest.Чтобы понять суть, представьте себе огромный лес. Вы идёте по нему, случайно выбирая направления. Чем быстрее вы натыкаетесь на редкое дерево, тем более аномальным оно является. Isolation Forest использует эту же идею, только вместо деревьев у нас данные, а вместо леса — решающие деревья (метафора века).Основная идеяОбычные алгоритмы машинного обучения, например, SVM или нейросети, пытаются описать нормальное распределение данных
