От нестационарности к прогнозу: пайплайн анализа и моделирования временных рядов
Привет, Хабр! Я Михаил Зуев — Data Scientist из команды расходов корпоративного и инвестиционного бизнеса Сбера. Мы много предсказываем, классифицируем и прогнозируем. Впервые столкнувшись с последним и проведя исследование по этой теме, я столкнулся с большим количеством неструктурированной информации. Эта статья — одновременно описание моего пути и небольшое упорядоченное наставление по анализу и прогнозированию временных рядов, которое я сам хотел бы получить.Начнём с теории.Временной ряд (он же time series
Как мы разработали гибкий пайплайн для прогноза временных рядов любых метрик
Практически каждый ML‑разработчик сталкивался с прогнозированием временных рядов, ведь окружающие нас сущности и метрики зачастую зависят от времени.
Кросс-валидация на временных рядах: как не перемешать время
Привет, Хабр!Сегодня рассмотрим то, что чаще всего ломает даже круто выглядящие модели при работе с временными рядами — неправильная кросс-валидация. Разберем, почему KFold тут не работает, как легко словить утечку будущего, какие сплиттеры реально честны по отношению ко времени, как валидировать фичи с лагами и агрегатами.Почему KFold — плохая идея для time-seriesKFold — штука классная… но только если твои данные не зависят от времени. Он был создан для мира, где каждый объект независим. Для задач классификации изображений или анализа табличных данных KFold
Обнаружение аномалий в данных временных рядов с помощью статистического анализа
Настройка оповещений для различных метрик не всегда представляет из себя тривиальную задачу. В некоторых случаях может быть вполне достаточно простого порогового значения, например, для отслеживания свободного места на диске устройства. Вы можете просто установить оповещение о том, что осталось 10% свободного места, и все готово. То же самое касается и мониторинга доступной памяти на сервере.
5 техник, применяемых в анализе временных рядов, которые должен знать каждый. Часть 2
В этом руководстве мы будем разбираться, как повысить качество прогнозирования с помощью машинного обучения, используя точные методы разделения данных, перекрестную проверку временных рядов, конструирование признаков и многое другое!Конструирование признаков для временных рядов: создание идеального рецепта данныхВ отличие от традиционных наборов данных, где объекты часто остаются статичными, данные временных рядов обладают уникальными временными паттернами, которые необходимо использовать для извлечения значимых признаков.
Коротко про библиотеку TSFresh
Привет, Хабр!Сегодня в коротком формате познакомимся с библиотекой TSFresh. TSFresh берет на себя две основные задачи:Извлечение признаков: функция extract_features() генерирует огромный набор статистик по заданным временным рядам. Внутри неё используются так называемые FeatureCalculators — функции, рассчитывающие конкретные признаки. Например, автокорреляция, энтропия, число нулевых пересечений.Отбор признаков: функция select_features()
