Разбираемся в ML без воды: от базы до Attention. Часть 10: Бэггинг и случайный лес
В предыдущей части мы изучали дерево решений и, несмотря на его замечательные свойства, наткнулись на один огромный недостаток — нестабильность. Казалось бы, это лечится достаточно просто: зафиксировать все, что отвечает за рандом и не модифицировать датасет. Такой подход избавит нас от проблемы, но это даже не костыль, а полноценная инвалидная коляска, ведь данное решение буквально закрывает для нас все двери для развития данных. Например, мы в 2026 создадим идеальную модель, предсказывающую цены на квартиры, а в 2027 из-за изменение рынка наша идеальная модель полетит в мусорное ведро.
Поиск черной кошки в 2000-мерной темной комнате. Турнир алгоритмов машинного обучения
ЭпиграфЭксперимент завершен. Результаты выглядят так, будто я немного сломал законы физики привычного табличного ML.Может быть это соревнование, которого не должно было быть?Это приглашение к репликации.Спрятать иголку в стоге сена? Да!Добро пожаловать на мой маленький тестовый полигон.
Использование термодинамической помощи случайным лесам для многоклассификационных задач (с кодом Python)
Метод SHAP (SHapley Additive exPlanations), опирающийся на классическую теорию игр, утвердился в качестве стандарта для оценки значимости признаков в моделях машинного обучения. В задачах бинарной классификации процесс построения графиков waterfall plot или beeswarm plot достаточно тривиален и подробно описан в документации.Однако при переходе к многоклассовой классификации возникают сложности, связанные с изменением размерности выходных данных. Прямое применение стандартного кода к многомерным выходным данным часто приводит к ошибкам несовпадения размерностей или некорректной интерпретации результатов.
Вся суть ансамблей на примере Случайного Леса и Градиентного Бустинга
Введение Изучая классическое машинное обучение, я постоянно натыкался на парадокс: материалов много, а интуитивно понятных объяснений, почему ансамбли — это так мощно, на удивление мало.Я хочу это исправить. В этой статье мы разложим по полочкам саму концепцию ансамблей. А затем по логике ансамблей разберем двух "королей" этого подхода: Случайный Лес и Градиентный Бустинг.Концепция ансамблей в машинном обучении Ансамбли - это такая парадигма машинного обучения, в которой несколько слабых моделей обучаются решать одну задачу, и объединяются чтобы получить лучшие результаты.
Главное по ML-DL, часть 2: Вопрос → Краткий ответ → Разбор → Пример кода. SVD-PCA. Bias-variance. Деревья. Бустинг
У каждого наступает момент, когда нужно быстро освежить в памяти огромный пласт информации по всему ML. Причины разные - подготовка к собеседованию, начало преподавания или просто найти вдохновение.Времени мало, объема много, цели амбициозные - нужно научиться легко и быстро объяснять, но так же не лишая полноты!💻 Обращу внимание, самый действенный способ разобраться и запомнить - это своими руками поисследовать задачу! Это самое важное, оно происходит в секции с кодом. Поэтому попробуйте сами решить предложенную задачку и придумать свою!
Как я учил жёлтый ИИ торговать и обманывать друг друга
ВведениеЭта статья — продолжение предыдущего эксперимента, но с новым акцентом: теперь задача не просто привлекать внимание наблюдателя, а налаживать взаимодействие между существами — от сигналов к полноценной "торговле". Это шаг в сторону агентных симуляций, экономики и социодинамики в рамках игрового ИИ. У любого ИИ есть какая-то цель. Существа в предыдущем эксперименте должны были привлекать внимание пользователя. Но что, если убрать пользователя из уравнения? Что, если дать существам внутреннюю мотивацию и возможность обмениваться ресурсами
Модели машинного обучения: что могут спросить на интервью
Привет, Хабр!Сегодня рассмотрим некоторые вопросы, которые могут попасться на собеседовании на ML позиции. Как KNN ведёт себя при увеличении размерности данных? Начнём с KNN (k ближайших соседей). В малых размерностях (скажем, 2–3) расстояния между точками вполне осмысленны. Но когда число признаков вырастает до 100+, всё меняется. В такой ситуации расстояния между точками начинают стремиться к равенству — словно все объекты сидят за круглым столом, и каждый от каждого отстоит примерно на одинаковом расстоянии. Это называется проклятием размерности
