поиск аномалий.

Данные без противоречий: синтетика с известным ответом

Цикл “Данные без противоречий” - про TDCV2, открытый конструктор тестовых данных, который я пишу сам. Работает он так: вы описываете конфигом, какой файл вам нужен, а конструктор порождает его целиком - от двух строк до сотен тысяч. Нужно это, когда надо наполнить базу, проверить отчёт или показать демо, а настоящие данные брать нельзя. От генераторов случайных значений он отличается одним: следит, чтобы данные не противоречили сами себе - про это весь цикл.○ Часть 1 - Связи между полями ○ Часть 2 - Свободный формат вывода ○ Часть 3 -

продолжить чтение

Хотел выбрать булочную по отзывам, а написал анализатор аномалий с embeddings и графами

Недавно переехал. После каждого переезда я делаю одно и то же: открываю Яндекс Карты и смотрю, какие магазины рядом, где поесть и куда стоит зайти.Рейтинг заведения сам по себе мне мало что говорит. У большинства мест, которые мне попадаются, он выше четырёх. Поэтому я читаю сами отзывы: ставлю фильтр «сначала отрицательные», и картина иногда меняется сильно. В общей ленте всё выглядит отлично, а в негативных отзывах появляются подробности, которых по звёздам не заметишь.Листая карты в очередной раз, наткнулся на отзыв на булочную. Он начинался так:да вот хороший вариант ответа

продолжить чтение

Иллюзия 99% F1 в Time Series: как искажаются метрики в детекции аномалий и что показывает реальный тест 14 архитектур

Я занимаюсь внедрением ML в промышленности, поэтому задача детекции аномалий во временных рядах для меня близка и имеет огромную важность. В рамках исследовательского проекта мы искали адекватное SOTA-решение для мониторинга телеметрии (водоочистка, турбины, химические установки).Изучая свежие работы с конференций уровня A*, я обратил внимание на статью про Sub-Adjacent Transformer (SAT). В аннотации авторы заявляли метрику F1 в районе 99%.

продолжить чтение

Поиск аномалий: статистика или ML? Выбираем лучшее

Поиск аномалий(Outlier Detection) является важной темой в машинном обучении. Алгоритмы такого типа актуальны и используются повсеместно: Кибербез, Банковские системы, предобработка данных, медицина, анализ логов, контроль качества и это лишь малая часть всего списка.Сегодня мы с вами познакомимся с двумя такими алгоритмами, сравним их и посмотрим результаты нашей работы.В нашем исследовании оценивать алгоритмы мы будем по метрикам Recall(реальная доля тех, кого правильно пометили как аномалию), Precision(Показывает долю истинно положительных результатов среди всех, которые модель пометила как положительные)

продолжить чтение

Алгоритм поиска аномалий Isolation Forest

Привет, Хабр! Меня зовут Михаил Васильев, я старший специалист по машинному обучению в компании Makves (входит в группу компаний «Гарда»). Эта статья — вторая в цикле, посвященном поиску аномалий. В первой статье мы поговорили о том, что такое аномалии и почему их сложно искать, а также по шагам разобрали алгоритмы HBOS и ECOD. Сегодня предлагаю разобрать еще один интересный алгоритм: Isolation Forest, а также немного углубиться в проблематику задачи.Виды аномалий В некоторых работах используют следующую классификацию аномалий: •

продолжить чтение