Маленькая выборка, большая дисперсия: как мы собирали A-B-группы генетическим алгоритмом
Привет, Хабр! На связи Анастасия Шулакова и Георгий Геймбух, аналитики поддержки Авито. Мы помогаем командам развивать внутренние инструменты для специалистов так, чтобы пользователи получали ответы быстрее, а поддержка оставалась управляемой по качеству и стоимости.
Как мы получили p-value < 0.001 на 10 наблюдениях в группе: ультимативный гайд по A-B на малых выборках
Всем привет! Я Андрей Романов, тимлид команды аналитики Sales Tech в Авито, а также преподаватель и ментор по А/B-тестированию. В последние годы я регулярно работаю с A/B-тестами на малых выборках: когда в группе не тысячи пользователей, а 10–40 менеджеров, регионов или других экспериментальных единиц. На этом опыте я собрал практический гайд: что можно сделать до запуска, во время дизайна и после эксперимента, чтобы выжать максимум из ограниченных данных.
Трансформеры для персональных рекомендаций на маркетплейсе: от гипотез до A-B-тестирования
Всем привет! На связи Ваня Ващенко, и я лид по развитию нейросетевых моделей в команде персональных рекомендаций Wildberries. Раньше я развивал B2C-рекомендации и нейросети кредитного скоринга в крупнейшем банке, а теперь вы видите результаты работы нашей команды каждый раз, когда заходите на главную страницу любимого маркетплейса. Сегодняшний рассказ — о том, как мы развиваем WildBERT.WildBERT основан на классической архитектуре Bidirectional Encoder Representations from Transformers (BERT), улучшенной под задачи и проблемы, с которыми сталкивается маркетплейс. Скорее, это не одна конкретная модель, а концепция, которую мы применяем в разных процессах:
Как аналитики Авито с помощью ML помогают людям выбирать хорошие авто с пробегом
Привет! Меня зовут Илья Комутков, я старший аналитик в Автотеке — сервисе по проверке истории автомобилей с пробегом. В статье расскажу, как мы улучшаем проверку машин и создаём алгоритм рекомендаций по дальнейшим действиям для покупателей. Текст будет интересен начинающим или middle-аналитикам, которые уже умеют работать с SQL, python, ML, но ещё не решали многоэтапные задачи, влияющие на бизнес, и ищут способы применить свои навыки в работе.
Несогласованность эффектов или «Где деньги, Лебовски?»
Приветствуем всех читателей! Сегодня мы, Никита и Маша из команды Ad-Hoc аналитики X5 Tech, расскажем о проблеме несогласованности оценок эффектов в A/B-тестировании и Causal Inference и предложим эффективный способ ее решения.1. Предыстория
Линеаризация в офлайн-тестах: как не стереть сигнал вместе с шумом
Если хочешь навести порядок в шуме — сначала разберись, не затёр ли ты в нём сам сигнал.
GlowByte и комьюнити «Сарафан» провели дискуссию о CVM-трендах
27 мая в Москве GlowByte и комьюнити “Сарафан” провели мероприятие “Лето в белом”
