Переобучение нейросети в машинном обучении: что такое переобучение и как его выявить
Доброго времени суток, Хабр!В предыдущей своей статье я рассматривал разные парадигмы обучения моделей. Однако не всегда при обучении все происходит гладко.Бывают ситуации, когда на обучающих данных модель работает идеально, но при проверке на новых данных точность резко снижается. Это явление называется переобучением.Сегодня в статье расскажу об переобучении моделей, как обнаружить это явление и избежать его. Примите стратегически удобное положения, а я приступаю к своему повествованию.
Кросс-валидация на временных рядах: как не перемешать время
Привет, Хабр!Сегодня рассмотрим то, что чаще всего ломает даже круто выглядящие модели при работе с временными рядами — неправильная кросс-валидация. Разберем, почему KFold тут не работает, как легко словить утечку будущего, какие сплиттеры реально честны по отношению ко времени, как валидировать фичи с лагами и агрегатами.Почему KFold — плохая идея для time-seriesKFold — штука классная… но только если твои данные не зависят от времени. Он был создан для мира, где каждый объект независим. Для задач классификации изображений или анализа табличных данных KFold
Советы по эффективному обучению ML-моделей
В ML-проектах достижение оптимальной эффективности моделей требует внимания к различным этапам процесса обучения. Но, прежде чем заниматься техническими аспектами обучения моделей, важно правильно описать решаемую задачу, важно понять особенности среды, в которой существует эта задача, важно хорошо проанализировать имеющийся набор данных.
