Как оценить акцию без A-B-теста: от простых способов к сложным
Как правило, акции оценивают через А/В-тесты. Но что если теста не было, а оценить эффекты надо? Разберём несколько способов: простой Diff-in-Diff и сложный Propensity score matching с подбором похожих клиентов в контрольную группу.Итак, представьте: была проведена открытая акция для всех желающих — выделить группы заранее было невозможно. У нас есть пользователи, которые воспользовались акцией, или целевая группа, нам нужно подобрать для неё контроль.Для чего нужен контроль?
Как мы научились честно считать эффект промокодов: Causal Inference в онлайн-доставке X5 Digital
Привет, Хабр! Меня зовут Кореньков Александр, и я работаю в команде «Выгода и вовлечение» в направлении продуктовой аналитики онлайн-доставки в компании X5 Digital. Занимаюсь машинным обучением на стыке с продуктовой аналитикой: оцениваю эффективность маркетинговых механик и рекламных каналов, а после стараюсь помочь бизнесу принимать верные решения, основанные не на ощущениях, а на данных и результатах их анализа.
Propensity Score Matching (PSM): как обойтись без A-B-теста и всё равно узнать правду
На практике часто возникает необходимость объективно оценить, как то или иное событие влияет на ключевые метрики бизнеса. Это большая и широкая задача, которая часто решается с помощью проведения A/B-тестов. Но что делать, если провести честный рандомизированный эксперимент невозможно?В таких ситуациях полезен метод Propensity Score Matching (PSM), который компенсирует отсутствие случайного распределения за счёт подбора сопоставимых групп для сравнения, снижает влияние скрытых факторов и обеспечивает более точную оценку причинно-следственного эффекта.
