Одно имя метрики, разные эксперименты: почему состав выборки надо хешировать
Рядом с метрикой принято хранить версию модели и версию данных. Этого мало. Между двумя запусками может смениться правило, по которому объекты попадают в оценку, и тогда одно и то же имя метрики описывает два разных эксперимента.У меня это вылезло на прогнозе загруженности парковок. Часть датчиков молчит: вместо занятости они круглосуточно отдают одно и то же число. Такие парковки надо выкидывать и из обучения, и из замера, иначе модель учится предсказывать константу, а метрика выходит красивее заслуженного.
Метрика стала хуже на 20%, и вот почему так правильно
Мы прогнозируем загруженность московских парковок на сутки вперёд. В скрипте, который обучает модель, лежал такой список:# --- Список аномальных парковок (замороженные > 24ч, exclude from training) --- ANOMALOUS_PARKING_IDS = [7, 8, 11, 12, 14, 21, 24, 31, 32, 37, 47, 49, 50, 51, 52, 53, 54, 56, 58, 61, 66, 70, 72, 81, 82, 84, 95, 100, 106, 113, 121, 122, 128, 133, 134, 136, 146, 149, 162] Тридцать девять парковок, которые год назад отдавали одно и то же значение сутками. Логика понятная: на замороженном ряде модель учится предсказывать константу, поэтому такие парковки из обучения убрали.
