Метрики, которые врут: ошибка выжившего, p-hacking и другие ловушки данных
Когда метрика наконец пошла вверх, хочется сразу найти причину: что сработало, какую гипотезу закрепить, куда теперь докинуть ресурсов. Но сначала стоит понять, из каких пользователей и событий собран показатель.Например, retention растёт — звучит хорошо. Но если в расчёт попали только те, кто уже вернулся хотя бы раз, то из картины выпали все, кто открыл продукт один раз и ушёл. А без них нельзя сказать, что продукт стал лучше удерживать новую аудиторию.
Разобрал 1233 статьи Хабра: всё, что советуют авторам, объясняет 6% результата
Полгода назад я начал писать на Хабр дважды в неделю. За это время накопился 21 материал с очень разным результатом: от 120 тысяч охвата и 647 закладок до полутора тысяч охвата и нуля закладок. Разброс в восемьдесят раз при одинаковом подходе к работе меня и заинтересовал.Стандартный способ разобраться — посмотреть на успешные статьи и понять, что у них общего. Я так и сделал: собрал 200 материалов с высоким рейтингом, посчитал в них всё, что считается, и вывел формулу. Формула получилась красивая и совпадала с тем, что обычно советуют авторам.
Зависимости, которых не существует: как фильтрация искажает данные и что такое коллайдеры
Бабушкин телевизор работает уже сорок лет. Дед ездит на жигулях, видевших мороженое за пять копеек. Отцовский перфоратор пережил десяток ремонтов - и хоть бы что. А твой новый ноутбук умер на третий год, смартфон не держит заряд к концу дня, и Cloudflare лёг третий раз за месяц. Раньше делали на совесть. Это же очевидно.Нет.
