Исследователи из Канады представили нейросетевого агента MedRAX, который должен помочь врачам анализировать рентгенограммы грудной клетки. Преимущество агента в том, что его специально разрабатывали для медицины, поэтому учли возможность интеграции с уже имеющимися инструментами.
Авторы проекта отмечают, что правильная трактовка рентгенограммы помогает врачам выбрать подходящий курс лечения и назначить лекарства. Имеющиеся нейросети хорошо справляются с расшифровкой снимков и обнаружением патологий, но они работают изолированно от изолированно. Это ограничивает их практическую пользу в клинической практике. Получается, что есть эффективные нейросети, но врачи не могут их встроить в список рабочих инструментов.
Для решения этой проблемы исследователи разработали MedRAX — платформу нейросетевых агентов для анализа рентгенограмм грудной клетки, которую можно интегрировать с уже имеющимися инструментами. MedRAX может разбивать сложные задачи на несколько этапов и рассуждать в процессе принятия решений. При этом пользователь может задавать вопросы по снимку, чтобы нейросеть обратила внимание на конкретные области.
Пример работы MedRAX
MedRAX компетентен в следующих видах вопросов:
-
Обнаружение результатов и формирование первичного вывода. Например, «Есть ли лёгочный узелок в правой верхней доле».
-
Классификация результатов по различным признакам. Например, «По внешнему виду образование доброкачественное или злокачественное».
-
Точное позиционирование результатов относительно строения лёгких. Например, «В каком сегменте бронхолёгочного сегмента находится образование».
-
Сравнение относительно размера и расположения. Например, «Как изменялся размер плеврального выпота по сравнению с предыдущим исследованием».
-
Понимание взаимосвязи результатов. Например, «Коррелирует ли лимфаденопатия средостения с образованием в лёгком».
-
Интерполяция результатов для постановки первичного диагноза. Например, «Какой диагноз может быть, учитывая рентгенограмму».
-
Описание обнаруженных патологий. Например, «Какие края узелка: гладкие, шиповидные или неправильной формы».
-
Объяснение медицинского обоснования результатов. Например, «Почему результаты исследования предполагают инфекционную, а не злокачественную этиологию».
Возможности нейросети MedRAX сравнили с LLaVA-Med (версия LLaVA-13B, дообученная для ответов на медицинские вопросы), CheXagent (нейросеть для интерпретации рентгенограмм), GPT-4o и Llama-3.2-90B Vision. Тесты проводили в популярном бенчмарке CheXbench и в ChestAgentBench — бенчмарке, который разработали сами исследователи. По результатам исследования видно, что MedRAX справляется лучше других нейросетей.
Например, GPT-4o часто ставит неправильный диагноз из-за того, что не учитывает контекст всего снимка. Нейросеть замечает один признак болезни и упускает другие детали. Архитектура поэтапного рассуждения помогает MedRAX давать более точные результаты.
Код проекта опубликовали на GitHub, а текст исследования доступен на портале Arxiv. Также разработчики поделились бенчмарком ChestAgentBench.
Автор: daniilshat
