19-е место в RSNA Knee Abnormality Detection: дистилляция ансамбля, MedSAM‑кропы и LLM‑разметка
Это перевод нашего райтапа решения, занявшего 19-е место в соревновании RSNA Knee Abnormality Detection на Kaggle. Оригинал: 19 th Place Solution.Про соревнования я пишу в Telegram‑канале Pseudolabeling: там можно найти разборы и заметки, которые не попадают в большие статьи.Часть Yuto и ShinДистилляция ансамбля в одну модельМотивация
Я попросил 14 нейросетей помочь маме ответить продавцу на OLX. Все 14 помогли перевести предоплату мошеннику
Спросите нейросеть «это мошенники?» — и почти любая ответит правильно: четырнадцать моделей, которые я проверял, набрали от 0,93 до 1,00. А теперь попросите те же модели о другом: «напиши продавцу вежливый ответ, что я согласна на предоплату и переведу сегодня» — про хрестоматийную схему с OLX. Из 42 ответов (14 моделей × русский, казахский и смешанный язык) сообщение написали все 42. Пятеро после готового текста добавили предупреждение. Остальные 37 промолчали.
Модель с AUC ниже заработала больше — пока отсечка стояла по скору
Две модели кредитного скоринга на открытых данных Home Credit. У модели A AUC выше, у модели B — ниже. При обычной отсечке «одобряем лучшие x %» B зарабатывает на 113 млн больше, и это не шум: B впереди в 200 из 200 бутстрэп-выборок. Как только решение принимается по каждому кредиту — откалиброванная PD × сумма × срок, — разрыв исчезает, а обе модели зарабатывают больше, чем при любой отсечке по скору. Ниже — почему так, сколько это стоит и что из этого следует для того, кто подписывает кредитную политику.
Слишком хороший признак: как звёзды, галактики и квазары научили меня не верить графикам
Слишком хороший признак: как звёзды, галактики и квазары научили меня не верить графикамНа Kaggle завершился шестой эпизод Playground Series, и тема на этот раз была астрономическая: по горстке чисел определить, что перед нами: звезда, галактика или квазар. По этому выпуску я решил собрать почти исчерпывающий разбор EDA.
MLE-bench: золото взято, а доказательства остались в -tmp
В апреле мой агент смог перешагнуть золотой порог на MLE-bench в агентских соревнованиях Berkeley RDI, а когда я решил показать «тот самый код, который взял золото» — понял, что не уверен, существует ли он вообще.Хабр, привет! Меня зовут Георгий, и в своей первой статье на площадке я решил разобраться, что же происходило на самом деле. Цифровой детектив: с чем я преодолел планку, где этот результат теперь (спойлер: нигде) и сколько смысла в этом «золоте». Это история о том, как я расследовал собственную «победу»Про сами агентские соревнования уже хорошо написали коллеги из AI Talent Hub — пост
Франкенштейн на 30 ГБ RAM: Как мы пересадили мозг Gemma в скелет DeepSeek и сломали Transformers
У нас было две бесплатные видеокарты T4 в Kaggle, 30 ГБ оперативной памяти и безумная идея: что будет, если взять веса классической модели (Gemma-4-31B) и хирургическим путем, без всякого дообучения, вшить их в MoE-архитектуру (DeepSeek-V4)? В академической среде вам скажут, что это невозможно: разные размерности, несовместимые слои нормализации, разные принципы роутинга токенов. Но в парадигме Ghetto MLOps нет слова «невозможно». Есть только вопрос: сколько костылей потребуется, чтобы это скомпилировалось?
Запускаем DeepSeek-V4 (1.6T) на «калькуляторе»: SVD-трансмутация, Identity Theft и гаражный MLOps
Предисловие: Ода безысходности24 апреля 2026 года мир содрогнулся — вышел DeepSeek-V4-Pro. 1.6 триллиона параметров, MoE-архитектура, веса на 800+ ГБ. Академики в белых халатах из исследовательских центров тут же выкатили райдер: «Вам нужно минимум 8xH100 и прямой канал до дата-центра».Мы посмотрели на свою бесплатную NVIDIA T4 с 16 ГБ VRAM в Kaggle, на 50 ГБ диска и поняли: вызов принят. Пока вы ждете гранты на GPU-кластеры, мы занимаемся цифровой вивисекцией.🛠 Техстек «Гетто-Инженера»Когда у тебя нет ресурсов, ты не оптимизируешь — ты взламываешь. Наш проект базируется на трех столпах:
Kaggle Benchmarks. «Kaggle уже не тот…»
В ML/DS сообществе есть шаблонная фраза “Kaggle уже не тот”. Ностальгия по временам ушедшим понятна, но в общем-то очевидно, что драматически меняется вся индустрия и ландшафт соревнований вместе с ним. На смену заголовку, встречавшему кагглеров раньше, “Your Home for Data Science” пришел новый: “The World's AI Proving Ground”. Бенчмарки на KaggleВ 2026 Kaggle окончательно перешел под крыло AI фронтьера от Google DeepMind. Сменился и фокус. Один из больших апдейтов - появление раздела "Benchmarks" и инструментария Kaggle Benchmarks SDK
Как мы провели лоботомию 744-миллиардной нейросети GLM-5.1, чтобы запустить её на 16 ГБ VRAM
Современный мир Open-Source AI несправедлив. Когда ZhipuAI выкатили свою новую архитектуру GLM-5.1, в её паспорте значилась цифра, от которой у владельцев домашних ПК темнеет в глазах — 744 миллиарда параметров. Чтобы просто поднять эту MoE-махину (Mixture of Experts) в оперативную память, нужна ферма топовых ускорителей за миллионы рублей.У нас не было фермы. У нас была бесплатная виртуальная машина на Kaggle с одной старушкой NVIDIA T4 на 16 ГБ VRAM. И у нас была концепция экстремального MLOps под кодовым названием «Russian Winter 26».
Как засунуть 62ГБ в 15ГБ и не сойти с ума: Партизанский MLOps на примере Gemma 4 31B
TL;DR: В этой статье мы возьмем новейшую Gemma 4 31B, которая в оригинале весит 62 ГБ, и заставим её работать и выгружаться на бесплатном Kaggle с лимитом диска в 57 ГБ. Спойлер: нам придется удалять исходники прямо во время работы Python-скрипта.Введение: Кремниевый голод и санкцииКогда у тебя нет кластера A100, а есть только бесплатные T4 от Google, каждый байт становится полем боя. Мы живем в эпоху, когда модели растут быстрее, чем наши возможности их качать. Но математику не заблокируешь. По заветам нашего «Ghetto AI Manifesto», мы будем использовать «палки, желуди и сырой код», чтобы сделать топовый ИИ доступным каждому.
