ml.
19-е место в RSNA Knee Abnormality Detection: дистилляция ансамбля, MedSAM‑кропы и LLM‑разметка
Это перевод нашего райтапа решения, занявшего 19-е место в соревновании RSNA Knee Abnormality Detection на Kaggle. Оригинал: 19 th Place Solution.Про соревнования я пишу в Telegram‑канале Pseudolabeling: там можно найти разборы и заметки, которые не попадают в большие статьи.Часть Yuto и ShinДистилляция ансамбля в одну модельМотивация
Как мы масштабировали обработку медицинских изображений с помощью Ray. Часть 1
Всем привет, на связи ML-команда компании "Платформа Третье Мнение". Мы занимаемся искусственным интеллектом в медицине. Большая часть продуктов компании построена вокруг задач компьютерного зрения в области лучевой диагностики.Данные, с которыми мы работаем, — рентгенографии, флюорографии, КТ различных частей тела, а также маммографии. Медицинские организации отправляют исследования, а в ответ получают результаты обработки с различными находками: локализованными областями патологии, измерениями, оценкой вероятности патологии и другими данными.
Нашел золотую середину LLM в приватность-цена-качество? Прогнал два Qwen на российском (!) API: сколько стоит моя задача
Похоже я нашел свой мидл-граунд между истинно локальным интересном и типовыми подписками. Положил на кошелёк 2000 ₽, прогнал два Qwen'а по три раза на своих двух наборах задач, и весь бенч обошёлся в 154 ₽ :) 0.58 vs 0.75: расстройство и "Миша, давай по-новой"
Не сколько, а куда: что я выяснил про шум в SDE-сэмплерах flow-matching моделей
Генераторы изображений на flow matching можно запускать со стохастическим сэмплером: на каждом шаге он подмешивает свежий шум. Сила этого шума (параметр eta) обычно подбирается руками один раз и остаётся константой. Я хотел понять, может ли сэмплер выбирать её сам, шаг за шагом, из информации, которая у него уже есть бесплатно.Идея.
Kimi K3 — открытая модель, которая обошла закрытых лидеров рынка
Открытые системы редко конкурируют на равных с закрытыми лидерами индустрии: у их разработчиков обычно меньше вычислительных ресурсов и данных, чем у крупных лабораторий, и это сказывается на качестве. Kimi K3 — исключение: ее веса можно
Когда LLM должна сказать «Я не знаю»?
В RAG недостаточно найти документы на нужную тему: они должны содержать сведения, из которых можно обосновать ответ. Разберём три способа исследовать эту границу — от внешнего оценщика контекста до анализа активаций модели и испытаний на противоречивых свидетельствах.Когда найденных документов недостаточно?
Периодические функции как функции активации в нейросетях
Пример периодической функции.Вступление
