Слишком хороший признак: как звёзды, галактики и квазары научили меня не верить графикам
Слишком хороший признак: как звёзды, галактики и квазары научили меня не верить графикамНа Kaggle завершился шестой эпизод Playground Series, и тема на этот раз была астрономическая: по горстке чисел определить, что перед нами: звезда, галактика или квазар. По этому выпуску я решил собрать почти исчерпывающий разбор EDA.
Почему +0.3% к ROC‑AUC почти всегда шум, и как это проверить
Вы поменяли набор признаков, прогнали кросс‑валидацию, ROC‑AUC вырос с 0.871 до 0.874. Изменение уезжает в продакшен как улучшение, в чате ставят плюсы, через месяц на свежих данных «улучшенная» модель работает не лучше прежней, а иногда хуже. Прирост на третьем знаке утонул в шуме самой процедуры валидации, и отличить его от настоящего сдвига по одному числу было нельзя с самого начала.
Pipeline в машинном обучении: как создавать сложные модели без боли и утечек данных
Привет, Хабр! Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги. И сегодня мы поговорим об использовании Pipeline для задач машинного обучения. Давайте представим, что вы решили построить дом. Можно нанять отдельных рабочих для фундамента, стен, крыши и коммуникаций, а затем попытаться координировать их работу самостоятельно. А можно нанять генерального подрядчика, который возьмет на себя все этапы, гарантирует качество на каждом шаге и сдаст готовый дом «под ключ».
Переобучение нейросети в машинном обучении: что такое переобучение и как его выявить
Доброго времени суток, Хабр!В предыдущей своей статье я рассматривал разные парадигмы обучения моделей. Однако не всегда при обучении все происходит гладко.Бывают ситуации, когда на обучающих данных модель работает идеально, но при проверке на новых данных точность резко снижается. Это явление называется переобучением.Сегодня в статье расскажу об переобучении моделей, как обнаружить это явление и избежать его. Примите стратегически удобное положения, а я приступаю к своему повествованию.
Кросс-валидация на временных рядах: как не перемешать время
Привет, Хабр!Сегодня рассмотрим то, что чаще всего ломает даже круто выглядящие модели при работе с временными рядами — неправильная кросс-валидация. Разберем, почему KFold тут не работает, как легко словить утечку будущего, какие сплиттеры реально честны по отношению ко времени, как валидировать фичи с лагами и агрегатами.Почему KFold — плохая идея для time-seriesKFold — штука классная… но только если твои данные не зависят от времени. Он был создан для мира, где каждый объект независим. Для задач классификации изображений или анализа табличных данных KFold
Советы по эффективному обучению ML-моделей
В ML-проектах достижение оптимальной эффективности моделей требует внимания к различным этапам процесса обучения. Но, прежде чем заниматься техническими аспектами обучения моделей, важно правильно описать решаемую задачу, важно понять особенности среды, в которой существует эта задача, важно хорошо проанализировать имеющийся набор данных.
