DREM для линейной регрессии: как развязать веса перцептрона и ускорить обучение
Ключевые слова: DREM, линейная регрессия, перцептрон, градиентный спуск, идентификация параметров.Зачем нужен еще один способ обучать линейную регрессию?Линейная регрессия обычно воспринимается как давно решенная задача. Если требуется получить точное решение, можно использовать метод наименьших квадратов. Если данных много или модель является частью более сложной архитектуры, например нейронной сети, можно использовать стохастический градиентный спуск, Adam или другой итерационный оптимизатор.
Разбираемся в ML без воды: от базы до Attention. Часть 3: Градиентный спуск
Во второй части мы рассмотрели аналитическое решение задачи линейной регрессии и наткнулись на ряд неприятностей — сингулярность, плохая обусловленность, вычислительная сложность и т.д.Логическим продолжением будет изучение (не побоюсь этого слова) сердца машинного обучения: градиентного спуска. ИтакГрадиентный спускТак как лучше уже не придумаешь, начнем с классического рассказа о пьяном альпинисте:
Разбираемся в ML без воды: от базы до Attention. Часть 2: Линейная регрессия
Итак, в предыдущей части мы остановились на поиске решения задачи линейной регрессии. Сформулировали в общем виде задачу машинного обучения, поняли суть параметров, рассмотрели функции ошибок и начали копать в сторону линейной регрессии. Ещё раз повторю, что этот цикл статей является лишь взглядом на ML с моей колокольни, так что он не обязательно является истиной во всех редакциях в последней инстанции. Так что буду рад всякому, кто исправит меня, коли сверну не туда.Что дальше?
Разбираемся в ML без воды: от базы до Attention. Часть 1։ Введение
Сколько статей на хабре про машинное обучение? Обозначим их количество за и напишем
Линейная регрессия: от теории до production
Линейная регрессия - это первый алгоритм, который осваивает аналитик, и последний, который он перестает использовать. Разберем, что это такое, как работает, где применяется и с какими подводными камнями вы обязательно столкнетесь.1 Что такое линейная регрессияЛинейная регрессия - это метод моделирования зависимости между зависимой переменной (target) и одной или несколькими независимыми переменными (features).
Бинарная классификация: как работает логистическая регрессия
Недавно мне предстояло написать реализацию LogisiticRegression для одного проекта в Школе 21, так что было необходимо разложить всё по полочкам и разобраться в бинарной классификации в целом. Хочу поделиться также этой информацией здесь, потому что не нашла статьи, которая была бы понятна и обширна лично в моём случае. Автор хочет отметить, что только начинает свой путь в машинном обучении. Если в статье найдутся неточности, то с радостью будет их заметить в комментарияхСегодня я бы хотела рассмотреть следующие аспекты:Сигмойдная функцияMLE и NLLРаспределение Бернулли
Статистика под капотом LinearRegression: почему мы минимизируем именно квадрат ошибки?
Введение Все ML-инженеры знают о линейной регрессии. Это та самая база, с которой начинает изучение алгоритмов любой новичок. Но вот парадокс: даже многие «прожженные» инженеры не всегда до конца понимают ее истинную работу под капотом.А именно — какая у «линейки» статистическая связь с Методом Максимального Правдоподобия (MLE) и почему она так сильно «любит» MSE и нормальное распределение. В этой статье мы как раз в этом и разберемся.Освежаем в памяти Линейную регрессиюЛинейная регрессия это как “Hello world” в мире классического машинного обучения.
Линейная регрессия в факторных моделях
Привет, Хабр!Когда мы говорим «факторная модель», многие вспоминают Python‑ноутбуки. Но если отмотать плёнку, бóльшая часть индустриальных движков для риска и ценообразования десятилетиями писалась на C++ поверх BLAS/LAPACK. Там же удобно делать устойчивые разложения: QR с переупорядочиванием столбцов, SVD, регуляризацию. Библиотеки вроде Eigen дали нормальный интерфейс к этим штукам, и регрессия перестала быть болью «Ax = b» руками. QR с перестановками колонок вообще стандарт для переобусловленных задач.
Линейная регрессия в ML для самых маленьких
В мире машинного обучения есть много всего интересного, но тем, кто только начинает свой путь в этой области часто бывает многое непонятно. В этой статье мы попробуем разобраться с линейной регрессией.
Как прямая помогает обучать машины
В контексте компьютеров, обучение — это всего лишь превращение плохих догадок в более качественные. В этом посте мы увидим, что всё начинается с прямой линии: линейная регрессия даёт первую догадку, а градиентный спуск продолжает её улучшать.Давайте начнём с чего-то близкого нам: цен на недвижимость. Большие дома стоят больше, маленькие — меньше. Подобный паттерн можно заметить даже без анализа: чем больше места, тем дороже.Если создать график цен, то его форма будет очевидной: идущая вверх нечёткая кривая с долей шума, но вполне определённым трендом.
