Почему дефолтный Feature Importance в бустинге врёт
Недавно для я озадачился проектом — создать автономного ML‑агента для табличных данных. На этапе отбора признаков логика Feature Selection казалась очевидной. Агент строит быстрый бейзлайн на LightGBM, смотрит на feature_importances_, отсекает часть и вперёд.Агент после работы отчитался: размерность снижена. Но на тесте RMSE деградировала.Когда я полез в логи, картина оказалась неприятной:Случайный client_id (тысяча уникальных числовых ID) стоял в топ-4 по важности.Реальный признак со слабой дисперсией, но сильным нелинейным влиянием, модель выбросила как аутсайдера.
