sgd.
Разбираемся в ML без воды: от базы до Attention. Часть 7: SVM и SGD
В шестой части мы разобрали логистическую регрессию и увидели, как линейная модель может разделять классы с помощью вероятностного подхода. В этой части поговорим о SVM — алгоритме, который ищет не просто разделяющую гиперплоскость, а оптимальную границу с максимальным зазором между классами. Если логистическая регрессия отвечала на вопрос "с какой вероятностью объект принадлежит классу?", то философия SVM звучит иначе "где провести наиболее устойчивую границу между классами?".Support vector machineSupport vector machine (SVM), или же метод опорных векторов
Я удалил backpropagation из нейросети. Она обучилась методами XIX века
Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все.
Нужно ли обучать YOLO с нуля? Практические выводы
Для меня машинное обучение - это прежде всего экспериментальная наука. Выигрывает не тот, кто придумал самую сложную архитектуру, а тот, кто быстрее проходит итерации (анализирует кривые потерь, меняет гипотезы и снова запускает обучение).И именно в этой постоянной гонке я всё чаще задаю себе один и тот же вопрос, а нужно ли вообще обучать модель с нуля?Когда я говорю «обучать с нуля», я имею в виду именно пустые веса. Не fine-tuning и не до обучение, а старт с нулевой инициализацией (PyTorch-модель без пред обученных параметров или YOLO с отключёнными pretrained-весами).
Бинарная классификация: как работает логистическая регрессия
Недавно мне предстояло написать реализацию LogisiticRegression для одного проекта в Школе 21, так что было необходимо разложить всё по полочкам и разобраться в бинарной классификации в целом. Хочу поделиться также этой информацией здесь, потому что не нашла статьи, которая была бы понятна и обширна лично в моём случае. Автор хочет отметить, что только начинает свой путь в машинном обучении. Если в статье найдутся неточности, то с радостью будет их заметить в комментарияхСегодня я бы хотела рассмотреть следующие аспекты:Сигмойдная функцияMLE и NLLРаспределение Бернулли
