Тринадцать LLM на русских отзывах: как я выбирал модель и почему не поверил судье
Я делаю сервис, который отвечает на отзывы покупателей на Wildberries, Ozon и Яндекс Маркете. Звучит просто: пришёл отзыв, модель написала «спасибо за покупку». На деле всё интереснее. Покупатель пишет, что часы встали через три дня, а модель с самым серьёзным видом отвечает: «Передадим замечание на производство для проверки партии». Никакую партию никто проверять не будет.Таких мест много. А ещё есть цена: ответ на отзыв — массовая и дешёвая операция, и если одна модель стоит вчетверо дороже другой, разница должна быть видна в качестве.
Почему +0.3% к ROC‑AUC почти всегда шум, и как это проверить
Вы поменяли набор признаков, прогнали кросс‑валидацию, ROC‑AUC вырос с 0.871 до 0.874. Изменение уезжает в продакшен как улучшение, в чате ставят плюсы, через месяц на свежих данных «улучшенная» модель работает не лучше прежней, а иногда хуже. Прирост на третьем знаке утонул в шуме самой процедуры валидации, и отличить его от настоящего сдвига по одному числу было нельзя с самого начала.

