Нужно ли аналитику данных машинное обучение — и как его освоить

Нужно ли аналитику машинное обучение ^[1]? Ответ неоднозначный: всё зависит от места работы и планов в профессии.

Меня зовут Раф, я аналитик ценообразования в Авито (а раньше в Яндекс Лавке), преподаватель машинного обучения в Центральном университете, выпускник факультета компьютерных наук в НИУ ВШЭ и курса «Специалист по Data Science» ^[2] в Яндекс Практикуме. 

В этой заметке я расскажу, зачем аналитику машинное обучение, когда без него можно обойтись и как его освоить, если этого потребуют задачи.

Где не нужно машинное обучение

П��едположим, вы хорошо знаете классическую аналитику и совсем не разбираетесь в машинном обучении. Хорошая новость: есть много задач, где вы сможете проявить себя.

К ним относятся:

• визуализация, создание BI-отчётов и дашбордов для мониторинга,

• классическое A/B-тестирование и проверка гипотез (но за исключением продвинутых ML-методов проверки гипотез),

• аналитические оценки на основе исторических данных, построение пайплайнов обработки данных при помощи SQL и Pandas.

Где без машинного обучения не обойтись

Есть и плохая новость: многие задачи в аналитике требуют знания машинного обучения.

Вот некоторые примеры:

• кластеризация данных для выявления закономерностей,

• построение прогнозов для временных рядов, оценка важности признаков и их влияния на сложные метрики,

• обработка и анализ текстовых данных, картинок и видео,

• автоматизация процессов на основе AI-моделей (не скажу, что этим часто занимается аналитик, но всё-таки такое может быть).

Это значит, что знание машинного обучения критически важно в нескольких сферах.

• Маркетинговая аналитика. Машинное обучение помогает спрогнозировать отток или понять, какие пользователи принесут деньги бизнесу. Прогнозы в этой сфере часто необходимы, и без классического машинного обучения их будет делать непросто.

• Ценообразование и e-commerce. Прогноз спроса, выбор оптимальной цены, моделирование продаж при разных сценариях — заниматься этим «руками» достаточно сложно. Машинное обучение позволяет быстро понять, как изм��нятся показатели при определённой цене, и выбрать оптимальную стоимость.

• Антифрод. ML-модели используются для выявления аномалий, подозрительных транзакций и нечестных действий пользователей. Можно обойтись и простыми эмпирическими правилами, но всё-таки в машинном обучении существуют более элегантные подходы для детекций подозрительных объектов в данных.

• Рекомендательные системы. Подбор товаров или контента, составление персонализированных подборок — всё это станет гораздо проще с пониманием ML-моделей.

Например, мой опыт ^[3] работы в Авито сейчас почти не связан с машинным обучением, а в Яндекс Лавке оно требовалось примерно в 30% задач.

Как освоить машинное обучение

Если вы понимаете, что знание машинного обучения важно в вашей сфере, попробуйте освоить направление до того, как это отразится на задачах. Например, с помощью этих курсов и видео.

Основы машинного обучения, ФКН ВШЭ

На первом курсе я начинал с лекций курса «Интеллектуальный анализ данных» топового преподавателя ФКН ВШЭ — Евгения Соколова. Плюс этой программы в том, что лекции можно смотреть, даже не освоив программирование, а из математики ^[4] потребуются лишь определения матрицы и производной, всё остальное будет поясняться прямо на лекциях.

Из такого описания может показаться, что курс поверхностный, однако это совсем не так — спустя несколько лекций начнётся разбор сложных моделей, но вы уже будете к этому готовы.

Курс состоит из тр��х частей: «Основы машинного обучения», «Основы глубинного обучения» и «Прикладные задачи анализа данных».

Первая часть знакомит с классическим машинным обучением для табличных данных — от линейных и метрических моделей до подходов к обучению и обработке данных. Формирует фундаментальные навыки анализа данных и построения математических моделей. Именно такой курс по классическому машинному обучению будет наиболее актуален для аналитика, в отличие от глубинного обучения (которое обычно называется Deep Learning).

Плейлист на YouTube → ^[5]

Основы глубинного обучения, ФКН ВШЭ

Для самых ненасытных есть часть по ней��осетям, в которой разбирается оптимизация, обучение, архитектуры для текста и изображений. Плюс практический блок, посвящённый подготовке данных, подбору гиперпараметров и настройке модели под метрику.

Плейлист на YouTube → ^[6]

Прикладные задачи анализа данных, ФКН ВШЭ

Эта часть о том, как применять машинное обучение в реальности. Даёт практический опыт решения задач NLP, CV, временных рядов и рекомендательных систем.

Плейлист на YouTube → ^[7]

Инженер машинного обучения, Яндекс Практикум

Сам я учился на программе «Специалист по Data Science» ^[2], но в Практикуме есть и курс «Инженер машинного обучения» ^[8], на котором можно освоить направление и выполнить шесть проектов. Программа подходит аналитикам со знанием Python, SQL, Git, основ работы с данными и принципов классического машинного обучения.

Попробовать можно бесплатно: вводная часть «Создание пайплайна по подготовке данных и выводу ML-модели в продакшн» открыта всем желающим. Прохождение займёт пять часов — достаточно, чтобы понять, подходит ли курс и формат обучения.

Карьера в Data Science: типичные ошибки на собеседовании, Yandex for ML

Видео с разбором интервью от Валеры Бабушкина, одного из самых известных специалистов по Data Science в СНГ.

Топ вопросов Data Science собеседований: Classic ML, Alexandr Lokis

Неплохой пример сборника вопросов по машинному обучению с собеседований в двух частях.

Первая часть → ^[9]

Вторая часть → ^[10]

Data Science, черные ящики — и почему вам сильно повезло, ФКН ВШЭ

Замечательная лекция от Андрея Себранта, благодаря которой я отчасти вдохновился изучать анализ данных (и аналитику как его составляющую) на первом курсе университета. Рекомендую!

Нужно ли аналитику машинное обучение? Всё будет зависеть от вакансии и задач. На определённых местах работы (и, по моим ощущениям, их много) будет достаточно лишь хорошего знания классической аналитики.

Однако можно точно сказать, что понимание машинного обучения будет отличным преимуществом перед другими кандидатами и откроет перед вами новый инструментарий для решения задач.