Google представляет MedGemma — набор моделей ИИ с открытым исходным кодом для медицинских приложений

Google Research и DeepMind выпустили MedGemma — коллекцию моделей искусственного интеллекта ^[1] с открытым исходным кодом, созданных специально для использования в медицине.

Семейство MedGemma включает в себя модель 4B, которая может работать с текстом, изображениями или с тем и другим одновременно, а также более крупную версию 27B, которая работает только с текстом и поддерживает мультимодальные форматы. Компания Google представила эту коллекцию на конференции I/O в этом году ^[2].

MedGemma предназначена для использования в различных областях медицины, включая радиологию, дерматологию, гистопатологию и офтальмологию. По словам представителей Google, эти модели могут служить основой для новых инструментов искусственного интеллекта в здравоохранении и работать как самостоятельно, так и в составе систем на основе агентов.

MedGemma превосходит стандартные модели

В техническом отчёте указано ^[3], что MedGemma обеспечивает значительные улучшения по сравнению с базовыми моделями аналогичного размера. При решении специализированных медицинских задач модели обеспечивают на 10% более высокую точность в мультимодальных вопросах и ответах, на 15,5–18,1% более высокие результаты при классификации рентгеновских снимков и на 10,8% более высокую точность при сложных оценках на основе агентов.

Об этом свидетельствуют результаты тестов. На платформе MedQA, где проверяются вопросы для медицинских экзаменов, модель 4B достигает точности в 64,4% по сравнению с 50,7% у базовой модели. Версия 27B набирает 87,7% по сравнению с 74,9%.

MedGemma также превосходит базовую модель по результатам медицинских тестов. При тестировании на наборе данных MIMIC-CXR, содержащем рентгеновские снимки и отчёты, версия 4B показала макропоказатель F1 88,9 по сравнению с 81,2 у оригинальной модели Gemma 3 4B. Показатель F1 отражает точность при различных заболеваниях.

MedSigLIP: специализированный кодировщик изображений

Для обработки изображений Google представляет MedSigLIP — кодировщик медицинских изображений с 400 миллионами параметров. MedSigLIP основан на SigLIP («Sigmoid Loss for Language Image Pre-training ^[4]») — системе, предназначенной для связывания изображений с текстом. Медицинская версия расширяет эти возможности, позволяя MedGemma более эффективно интерпретировать медицинские изображения.

MedSigLIP обрабатывает медицинские изображения, а MedGemma 27B интерпретирует клинический текст, что делает их мощной мультимодальной системой для здравоохранения. Кодер работает с разрешением 448 x 448 пикселей, что более эффективно, чем вариант с более высоким разрешением 896 x 896, используемый в MedGemma.

Модель была обучена на более чем 33 миллионах пар «изображение — текст», включая 635 000 примеров из различных областей медицины и 32,6 миллиона фрагментов гистопатологических исследований. Чтобы сохранить способность SigLIP к распознаванию изображений в целом, мы сохранили исходный набор данных, а медицинские данные составили 2% от общего объёма, что позволило кодировщику обрабатывать как общий, так и медицинский контент.

Тонкая настройка для решения реальных медицинских задач

Исследователи показали, как можно настроить MedGemma для решения конкретных медицинских задач. При автоматической генерации рентгеновских снимков показатель RadGraph F1 улучшился с 29,5 до 30,3, что свидетельствует о более точном отображении важной клинической информации. При выявлении пневмоторакса (спадения лёгкого) точность подскочила с 59,7 до 71,5. При гистопатологическом исследовании взвешенный показатель F1 для классификации тканей вырос с 32,8 до 94,5.

В области анализа электронных медицинских карт произошёл значительный прорыв: благодаря обучению ^[5] с подкреплением ^[6] количество ошибок при извлечении данных сократилось вдвое, что обещает повышение эффективности работы с данными пациентов.

MedGemma доступна на Hugging Face ^[7]. Лицензия позволяет проводить исследования, разработки и использовать ИИ в общих целях, но не для прямой медицинской диагностики или лечения без одобрения регулирующих органов. Коммерческое использование разрешено при условии соблюдения ограничений.

Эталонные показатели отличаются от реальных

В прошлом году компания Google запустила медицинскую модель искусственного интеллекта, созданную на закрытой платформе Gemini ^[8]. Открытый исходный код MedGemma и возможность настройки могут способствовать более широкому внедрению.

Тем не менее высокие результаты тестирования не всегда применимы в клинической практике. Одно исследование показало ^[9], что реальная эффективность может снижаться из-за недопонимания или неправильного взаимодействия с пользователем, что подчёркивает разрыв между результатами тестирования и практическими результатами.

Делегируйте часть рутинных задач вместе с BotHub ^[10]! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[11] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Перевод, источник новости здесь ^[12].