Исследователи выпустили MedRAX — медицинского ИИ-агента для анализа рентгенограмм грудной клетки

Исследователи из Канады представили ^[1] нейросетевого агента MedRAX, который должен помочь врачам анализировать рентгенограммы грудной клетки. Преимущество агента в том, что его специально разрабатывали для медицины, поэтому учли возможность интеграции с уже имеющимися инструментами.

Авторы проекта отмечают, что правильная трактовка рентгенограммы помогает врачам выбрать подходящий курс лечения и назначить лекарства. Имеющиеся нейросети хорошо справляются с расшифровкой снимков и обнаружением патологий, но они работают изолированно от изолированно. Это ограничивает их практическую пользу в клинической практике. Получается, что есть эффективные нейросети, но врачи не могут их встроить в список рабочих инструментов.

Для решения этой проблемы исследователи разработали MedRAX — платформу нейросетевых агентов для анализа рентгенограмм грудной клетки, которую можно интегрировать с уже имеющимися инструментами. MedRAX может разбивать сложные задачи на несколько этапов и рассуждать в процессе принятия решений. При этом пользователь может задавать вопросы по снимку, чтобы нейросеть обратила внимание ^[2] на конкретные области. 

Пример работы MedRAX

MedRAX компетентен в следующих видах вопросов:

• Обнаружение результатов и формирование первичного вывода. Например, «Есть ли лёгочный узелок в правой верхней доле».

• Классификация результатов по различным признакам. Например, «По внешнему виду образование доброкачественное или злокачественное».

• Точное позиционирование результатов относительно строения лёгких. Например, «В каком сегменте бронхолёгочного сегмента находится образование».

• Сравнение относительно размера и расположения. Например, «Как изменялся размер плеврального выпота по сравнению с предыдущим исследованием».

• Понимание взаимосвязи результатов. Например, «Коррелирует ли лимфаденопатия средостения с образованием в лёгком».

• Интерполяция результатов для постановки первичного диагноза. Например, «Какой диагноз может быть, учитывая рентгенограмму».

• Описание обнаруженных патологий. Например, «Какие края узелка: гладкие, шиповидные или неправильной формы».

• Объяснение медицинского обоснования результатов. Например, «Почему результаты исследования предполагают инфекционную, а не злокачественную этиологию».

Возможности нейросети MedRAX сравнили с LLaVA-Med (версия LLaVA-13B, дообученная для ответов на медицинские вопросы), CheXagent (нейросеть для интерпретации рентгенограмм), GPT-4o и Llama-3.2-90B Vision. Тесты проводили в популярном бенчмарке CheXbench и в ChestAgentBench — бенчмарке, который разработали сами исследователи. По результатам исследования видно, что MedRAX справляется лучше других нейросетей.

Например, GPT-4o часто ставит неправильный диагноз из-за того, что не учитывает контекст всего снимка. Нейросеть замечает один признак болезни и упускает другие детали. Архитектура поэтапного рассуждения помогает MedRAX давать более точные результаты.

Код проекта опубликовали ^[3] на GitHub, а текст исследования доступен ^[4] на портале Arxiv. Также разработчики поделились ^[5] бенчмарком ChestAgentBench.