проверка гипотез.

Про успешный успех и что вообще теперь делать в этом новом мире

На этот пост меня вдохновил один случайный пост в интернетеЯ написал его для тех, кто не знает, что делать в это AI время. А также для себяМногое из того, что написано ниже, это мой 6-летний опыт работы в стартапах (а я только в них и работал) и мой текущий опыт self предпринимателяНе существует простого, быстрого, безопасного и проверенного пути к успехуВсе, кто обещает такой путь — лжецы обманщики уъу99% билдеров потерпят неудачу с первой, второй и последующих N попытокНе гонитесь за редчайшими историями успеха 18-летних. Шансы на такое не выше, чем выиграть в лотерею

продолжить чтение

Каждый таксист теперь может попробовать поуправлять крупной корпорацией

Меня зовут Максим Никитин, я фаундер небольшой, но гордой студии ITSalt. 23 сентября я поставил Claude ИИ‑Директором корпорации из чужих ИИ‑агентов с публичной доски getpostingboard. В этой статье я расскажу, какие рычаги манипуляции мотивации в такой корпорации работают, а какие нет, и почему 770 зелёных тестов не спасли продукт, который я в итоге закрыл.Зачем мне понадобилась корпорацияНачалось всё с вопроса, который я задал у себя в Telegram‑канале

продолжить чтение

Цифры верные, выводы ложные: AI‑аналитик нашёл тренды в шуме

Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про эксперимент, после которого я иначе читаю любые «инсайты» от AI‑ассистента. Я Tech Lead и руководитель направления Java | Kotlin разработки в FinTech & E‑commerce и преподаю на курсах разработки и архитектуры в ОТУС.В аналитике данных особенно важно отличать реальные закономерности от случайных колебаний. Как оказалось, даже правильные расчёты AI‑ассистента этого не гарантируют.

продолжить чтение

A-A на страже: как статистический тест находит различие, которого нет

В прошлой статье я разбирал спекулятивное декодирование — способ ускорить языковую модель. Метод обещает, что ускорение не изменит ответы: распределение текстов на выходе останется ровно таким же, как при обычной генерации. Гарантия следует из самого устройства метода, но её стоило проверить на практике.Первая попытка дала обратный результат: статистический тест уверенно сообщал, что распределения различаются. Ошибка сидела не в модели и не в ускорении, а в самом тесте. По одному выводу её было не разглядеть: числа выглядели нормально.

продолжить чтение

Гайд по switchback‑экспериментам: длина окна, кластеризация ошибок и мощность

Привет, Хабр!Новая логика распределения заказов по курьерам выиграла A/B с запасом: время доставки минус восемь процентов, интервал узкий, p‑value с тремя нулями.Раскатали на сто, подождали две недели — время доставки осталось ровно там, где было. Логирование в порядке, сплит честный, пользователи делились случайно.Так ломается обычный тест в системах, где варианты дерутся за один ресурс.Курьер, доставшийся тестовой группе, отобран у контрольной, и разница надувается с обеих сторон сразу.Лечится это рандомизацией не по пользователям, а по времени:

продолжить чтение

Как ИИ‑агент помог автоматизировать рекламу на площадке без API, быстро проверить гипотезу и вовремя свернуть проект

Привет! Я Катерина Лапаева, руководитель GIGASCHOOL. В этой статье хочу разобрать кейс Максима Тодорова. Максим собрал систему в качестве итогового проекта на практическом курсе по автоматизации бизнес‑процессов с помощью ИИ‑агентов, который мы разработали вместе с экспертом Андреем Кузьминых, @Dataist. В течение курса участники выбирали реальный процесс, проектировали его целевую схему, определяли роль человека и агента, а затем собирали рабочий прототип и считали его экономику.

продолжить чтение

Когда недостаточно ошибок I-II рода и нужно уточнить результат A-B теста

Для запуска А/В теста необходимым минимумом является фиксация ошибок первого и второго рода, расчет MDE (минимальный наблюдаемый эффект). Однако при расчете результатов теста далеко не всегда получается достичь MDE заданного размера, в таком случае вероятность достижения значимости значительно уменьшается. Помимо этого даже при статистически значимом результате существует вероятность ошибки, что наши результаты являются выбросом или просто случайностью. В таких случаях необходимо применить дополнительный арсенал инструментов для работы с данными.

продолжить чтение

Как стартап с суперсилой для родителей не смог и почему даже «святые» идеи нужно проверять

На связи Анатолий Шостак. Я стартап-валидатор. Человек, который хладнокровно проверяет бизнес-идеи на прочность. Но этот кейс особенный. Здесь я чуть снова не попал в эмоциональную ловушку, в которую попадают 90% фаундеров - влюбился в свой продукт.Это история о том, как желание сделать мир лучше столкнулось с суровой реальностью рынка, и почему умение вовремя остановиться - это тоже победа.

продолжить чтение

Линеаризация в офлайн-тестах: как не стереть сигнал вместе с шумом

Если хочешь навести порядок в шуме — сначала разберись, не затёр ли ты в нём сам сигнал.

продолжить чтение

Как проверять ИИ гипотезы быстро и дешево – гайд в CRISP-DM Light фреймворк

Делали ли вы работу в стол? Вопрос риторический…Но больше, чем остальным это грустное чувство “проекта в стол” знакомо тем, кто занимается разработкой и внедрением ИИ решений: по статистике за 2024 год из них доходят до продакшена только от 15 до 30%И большинство неудач здесь не из-за плохих моделей или технической сложности, а из-за несогласованных бизнес-потребностей. Наши партнеры из Яндекса на CTO Conf-2025 презентовали новый фреймворк – CRISP-DM Light  – он призван исправить эту ситуацию.

продолжить чтение

12