Машинное обучение в бизнесе: подборка бесплатных курсов и материалов

Подборка посвящена A/B-тестированию, бутстрапу, кросс-валидации и ансамблевым методам — эти четыре темы образуют ядро практического Data Science. Они позволяют формулировать и проверять бизнес‑гипотезы, количественно оценивать неопределённость результатов, гарантировать обобщающую способность моделей машинного обучения ^[1] и существенно повышать их точность и стабильность. 

Всем привет! Это Данила Ляпин, наставник курса «Специалист по Data Science» ^[2]. Ниже вы найдете статьи с реальными кейсами, учебники, видеолекции, а также гайды с примерами кода и ноутбуками для практики. Здесь есть материалы и для специалистов с опытом ^[3], и для абсолютных новичков. 

«Выживет сильнейший: как с помощью A/B‑тестов проверяют гипотезы», Блог Практикума

Иллюстрированная статья для новичков, с которой можно начать знакомство с A/B-тестированием. Сначала вы узнаете, что такое A/B-тестирование и кому оно нужно, затем разберетесь, какие задачи можно решить с его помощью. Также вы рассмотрите три этапа работы: подготовку, непосредственно проведение тестирования и интерпретацию результатов.

Перейти → ^[4]

«Как устроено A/B-тестирование в Авито», Хабр AvitoTech

А/B эксперименты — ключевой инструмент принятия решений во всём бигтехе. Так, например, команда Авито собирает сотни метрик и детализирует их до бизнес-разрезов: вертикали, регионы, авторизованные пользователи и т. д. Делается это автоматизированно с помощью единой платформы для экспериментов. 

В статье один из сотрудников подробно рассказывает, как устроена платформа и делится другими интересными техническими деталями. Подача достаточно лёгкая — поймёт даже новичок. Также полезно будет заглянуть в комментарии, где автор развернуто отвечает на вопросы читателей.

Перейти → ^[5]

«Бутстреп и А/Б тестирование», Хабр X5Tech

Авторы рассказывают, что такое Bootstrap, когда он незаменим и в чём его недостатки. А также как с его помощью оценивать стандартное отклонение, строить доверительные интервалы и проверять гипотезы. 

Чтобы продемонстрировать процесс наглядно, предлагается легенда: вы работаете аналитиком в сервисе по доставке заказов, и вам нужно оценить, как быстро выполняются заказы. Авторы предлагают формулы, примеры кода и графики, которые помогут пошагово решить задачу.

Перейти → ^[6]

Bootstrapping and Resampling in Statistics with Example, MarinStatsLectures

В видео на простом примере объясняется основная идея бутстрапа, принцип его работы и отличие от параметрического подхода. Также преподаватель рассказывает, зачем этот метод нужен и в каких задачах особенно полезен. Видео на английском языке, есть автоматически-сгенерированные субтитры.

Bootstrap Hypothesis Testing in Statistics with Example, MarinStatsLectures

В видео объясняется, как применять метод бутстрапа для проверки гипотез. На примере веса цыплят на разных диетах преподаватель пошагово разбирает все элементы теста: нулевую гипотезу, выбор тестовой статистики, построение распределения через повторные выборки и вычисление p-value. Видео на английском языке, есть автоматически-сгенерированные субтитры.

Перейти → ^[7]

How to Calculate Bootstrap Confidence Intervals For Machine Learning Results in Python, Machine Learning Mastery

Короткая статья, в которой объясняется, как использовать бутстрап для расчёта доверительных интервалов при оценке качества моделей машинного обучения. Автор включил примеры с псевдокодом и практический пример на Python с использованием библиотеки scikit-learn. На английском языке.

Перейти → ^[8]

A/B Testing, Bytepawn

Коллекция статей о A/B-тестировании от практика с большим опытом. Автор разбирает продвинутые техники проведения экспериментов, делится кейсами из Google, Bing, Netflix и Alibaba и анализирует инструменты для A/B-тестирования. На английском языке.

Перейти → ^[9]

A/B Testing, GitBook

Глава из учебника по Data Science от Cornell University, в которой объясняется A/B-тестирование для сравнения двух распределений. На примере веса новорожденных у курящих и некурящих матерей авторы показывают, как провести пермутационный тест и построить доверительный интервал для разницы средних значений. Материал включает код на Python с визуализациями. На английском языке.

Перейти → ^[10]

«Кросс-валидация», Викиконспекты 

Короткая статья из вики ИТМО о кросс-валидации — методе оценки качества моделей машинного обучения. В ней даётся определение и разбираются основные разновидности: Hold-Out, k-fold, Leave-One-Out и другие варианты с их плюсами и минусами. Для каждого метода есть формулы и схемы разбиений. 

Перейти → ^[11]

«Кросс-валидация», Яндекс Образование

Глава из учебника по машинному обучению с большим количеством примеров, задачами для размышления и полезными ссылками. Подробно разбираются методы кросс-валидации: Hold-out, стратификация, k-Fold и stratified k-Fold, Leave-One-Out. Отдельные разделы посвящены частым ошибкам и даталикам — ситуациям, когда тестовые данные попадают в обучающую выборку.  ^[12]

Перейти →  ^[12]

Cross Validation in Machine Learning, Geeks for Geeks

Статья о кросс-валидации, в которой разбираются основные методы: Hold-out, Leave-One-Out, стратификация и k-Fold кросс-валидация с объяснениями, когда какой метод применять. Включает пошаговую реализацию k-Fold на scikit-learn, сравнительную таблицу методов и обсуждение преимуществ и недостатков каждого подхода. На английском языке.

Перейти → ^[13]

A Gentle Introduction to the Bootstrap Method, Machine Learning Mastery

Статья для новичков. Автор объясняет, как работает метод, что такое out-of-bag образцы и как выбирать параметры (размер выборки и количество повторений). Включён пример с датасетом из 6 наблюдений и готовый код. В конце автор делится учебниками и полезными ссылками. На английском языке.

Перейти →  ^[14]

An Introduction to the Bootstrap Method, Lorna Yen

Статья фокусируется на ключевых концепциях бутстрапа, а не на его применении. Автор объясняет метод ресемплинга, разбирает мотивацию ^[15], с которой Брэдли Эфрон ввёл бутстрап в 1979 году, и показывает общую идею метода. Статья требует базовых знаний статистики и содержит множество формул. В конце автор делится полезными книгами и другими ресурсами. На английском языке.

Перейти → ^[16]

A/B Testing – A complete guide to statistical testing, Towards Data Science

Подробный гид по статистическим тестам для A/B-тестирования. Автор объясняет разницу между дискретными метриками (кликабельность, конверсия, показатель отказов) и непрерывными (средний доход, длительность сессии), показывает, какой тест применять в каждом случае. 

Разбираются точный тест Фишера и критерий хи-квадрат Пирсона, z-критерий Фишера, t-критерий Стьюдента, t-критерий Уэлча, а также U-критерий Манна-Уитни для ненормальных распределений. Есть ссылка на ноутбук с примерами. На английском языке.

Перейти → ^[17]

«Бэггинг и случайный лес. Ключевые особенности и реализация с нуля на Python», Хабр Егора Захаренко

Статья о популярном алгоритме машинного обучения. Автор объясняет, почему случайный лес часто не уступает более сложным алгоритмам, какие у него есть преимущества и недостатки. Статья содержит формулы, примеры кода на Python и графики с визуализациями. Есть ссылка на ноутбук.

Перейти → ^[18]

«Ансамбли в машинном обучении», Яндекс Образование

Авторы подробно рассматривают ансамблевые методы машинного обучения, которые объединяют несколько моделей для повышения точности предсказаний: бэггинг, бустинг и стекинг. В конце предлагается сравнительная таблица, которая помогает определиться, какой метод использовать в разных случаях. ^[19]

Перейти →  ^[19]

Ensembles and random forest. Part 2. Random Forest, ML Course

Подробная статья о случайном лесе из открытого курса по машинному обучению. Авторы объясняют алгоритм построения леса, сравнивают его с решающими деревьями и бэггингом на примерах с кодом и визуализациями, разбирают ключевые параметры и их влияние на точность. Также в статье можно найти практический пример предсказания оттока клиентов, список плюсов и минусов алгоритма и полезные ресурсы. На английском языке.

Перейти →  ^[20]

Random Forest using GridSearchCV

Решение самой популярной задачи классификации на Kaggle — предсказание выживания на Титанике. В ноутбуке проведен EDA, построены визуализации, обучена модель случайного леса. Код на Python с использованием pandas, scikit-learn и seaborn. На английском языке.

Перейти → ^[21]