Автоматизация A-B-экспериментирования
Я сейчас работаю над автоматизированной системой A/B-экспериментирования заголовков и/или обложек статей и новостей на одной медиа-платформе в одиночку. Решил рассказать вам, как эта система работает и показать некоторые технические нюансы. Сразу оговорюсь, что название и сферу упоминать не стану, система находится в разработке, но есть, что рассказать.Немного об экспериментах
Data Drift в ML Страхового Дома ВСК: от PSI-анализа до пересборки фичей и сравнения моделей
Автор: Мацера Максим, главный исследователь данных в Страховом Доме ВСК
Несогласованность эффектов или «Где деньги, Лебовски?»
Приветствуем всех читателей! Сегодня мы, Никита и Маша из команды Ad-Hoc аналитики X5 Tech, расскажем о проблеме несогласованности оценок эффектов в A/B-тестировании и Causal Inference и предложим эффективный способ ее решения.1. Предыстория
Многорукие бандиты: когда классическое тестирование не работает
Привет, Хабр! Мы команда ЖЦК, занимаемся машинным обучением в ВТБ. Сегодня расскажем про алгоритмическую магию, которая творится прямо у нас под носом. Авторами проекта этой магии в ВТБ стали дата-сайентисты Дмитрий Тимохин, Василий Сизов, Александр Лукашевич и Егор Суравейкин
За гранью A-B: Синтетический контроль для оценки офлайн и онлайн экспериментов там, где A-B-тест невозможен
Привет! Я Настя — лид A/B Платформы в Wildberries. На протяжении всего карьерного пути меня интересует тема оценки эффектов. Для этого существуют различные инструменты, в числе которых как A/B‑тестирование, так и альтернативные способы, например, различные вариации Causal Inference.В этой статье я хочу поделиться примером проведения двух квази‑тестов в Wildberries с использованием Синтетического контроля (Synthetic Control), когда не получалось провести A/B‑тест, но все‑равно хотелось оценить эффект от изменений.Почему не А/B-тестирование?
