На прошлой неделе Google Gemini получил право записывать людей к врачу — искать специалиста, сверять страховку и бронировать приём без участия человека. В ту же неделю семья из Сиэтла подала в суд на создателей ChatGPT: бот помог их близкой бросить жизненно важное лекарство и посоветовал не говорить об этом врачу.
Две новости. В первой ИИ‑агенту доверяют дорогу к врачу. Во второй чат‑бот встал между человеком и врачом — и дороги не стало. Разберу, что случилось, какие три вещи обязаны появиться в интерфейсах сервисов про здоровье и как это проверять. Для последнего у медицины есть готовый способ, про него расскажу в конце.
Что случилось за одну неделю
Zocdoc открылся агентам. Zocdoc — крупнейший американский сервис записи к врачу, что‑то вроде электронной регистратуры на всю страну. С 28 октября он официально пускает к себе ИИ‑агентов — программы‑помощники, которым вы говорите «запиши меня к зубному», и дальше они действуют сами. Подключены Google Gemini, Amazon Health AI и агент Instinct. Трафик от агентов на Zocdoc вырос примерно в 30 раз с июля. Условие: агент обязан получить согласие пациента и беречь его данные. Как Zocdoc собирается проверять, что агенты это условие выполняют, компания не уточнила.
Два иска к ChatGPT. Летом в суд подал пастор из Флориды. У него месяцами нарастали симптомы, которые закончились тромбоэмболией лёгочной артерии — это когда тромб закупоривает сосуды лёгких, и счёт идёт на часы. Самое важное в иске — динамика. В первых разговорах бот честно советовал обратиться к врачу. Потом перестал. Убеждал, что симптомы «не опасны», составил «план восстановления» с отдыхом в кресле и спорил с женой пациента, которая требовала ехать в больницу. Мужчина выжил чудом.
На этой неделе — второй иск, уже о смерти. Женщина с эпилепсией годами принимала лекарство, которое удерживало её от приступов. Бросать такие препараты резко нельзя — это азбука, её знает каждый врач. По версии семьи, ChatGPT составил ей план отмены за 25 дней, который не назначал ни один врач, называл начавшиеся приступы «частью восстановления» и советовал не рассказывать о плане лечащему врачу.
Исследование про выбор лекарств. У одного и того же действующего вещества обычно несколько версий: оригинальный бренд и аналоги подешевле. 27 октября учёные из Осаки и онкоцентра MD Anderson опубликовали в Nature Health проверку пяти нейросетей: на каждое вещество приходилось в среднем 5,5 одобренных препаратов, но один продукт забирал 97,5% первых рекомендаций. Угадайте какой. Тот, у которого заметнее выдача в Google и есть своя страница в Википедии. Если бы лекарства реально покупали по этим советам, расходы выросли бы больше чем в десять раз.
Сложите три факта. Агенты получили руки: записывают, отменяют, передают данные. Совет «идите к врачу» у ботов стирается по ходу разговора. А выбор лекарства решает, по сути, SEO. Вот среда, в которой теперь живут интерфейсы про здоровье.
Почему «сходите к врачу» нельзя писать мелким шрифтом
В медицине есть понятие красных флагов. Это симптомы, при которых любое обсуждение заканчивается одинаково: немедленно к врачу. Боль в груди вместе с одышкой. Внезапная, самая сильная в жизни головная боль. Студенты заучивают эти списки наизусть, потому что на красном флаге думать поздно — надо направлять. И флаг не отменяется тем, что пациент устал, боится больниц или верит, что «само пройдёт».
А теперь вернитесь к иску пастора. Бот про красные флаги знал — в начале он исправно отправлял к врачу. А потом подстроился под человека, который к врачу не хотел, и замолчал. Вежливость победила безопасность. Направление оказалось не правилом, а пожеланием, которое модель научилась обходить.
Что из этого следует для интерфейса.
Направление к врачу — это состояние системы, как экран ошибки. Со своим видом, своим сценарием: что случилось, почему это серьёзно, куда звонить, кнопка вызова помощи. Не абзац текста в потоке переписки, который проматывается большим пальцем.
Это состояние не слабеет со временем. Опасный симптом на сороковом сообщении срабатывает так же, как на первом. Подстройка под тон человека, память о его предпочтениях — всё это не должно дотягиваться до механизма направления.
И оно переживает возражения. «Не хочу к врачу» меняет слова ответа, но не выключает направление. В больнице отказ пациента от госпитализации оформляют отдельной бумагой с подписью — а не пожимают плечами. Интерфейс может честно повторить это: вы отказались, я зафиксировал, вот признаки, при которых передумайте.
Откуда взялась рекомендация — должно быть видно
Агент записал вас к доктору N. Почему к нему? Ближайшее окно, высокий рейтинг — или клиника платит за место в выдаче? Вы видите только готовую запись в календаре.
На маркетплейсе рекламная строчка хотя бы помечена плашкой, её требует закон. Здесь плашки нет. И это не чайник, это лекарство: 97,5% первых рекомендаций нейросети отдают одному продукту из пяти возможных — тому, у которого страница в Википедии. Врач обязан предлагать альтернативы. У нейросети обязанностей нет.
Что должно быть на экране: по какому критерию выбрано, из скольких вариантов, кто платит. «Ближайшее окно по вашей страховке, ещё 12 врачей доступны». «У препарата 4 аналога дешевле». Неловко показывать критерий выбора? Это диагноз критерию, а не интерфейсу.
Согласие: галочка против банковского подтверждения
Банк просит подтвердить перевод: сумма, получатель, кнопка. Хотя это всего лишь деньги. Запись к врачу, отмена приёма, передача ваших диагнозов сторонней компании — почему здесь подтверждения должно быть меньше?
Правило одно. Каждое необратимое действие агент показывает до исполнения — что, куда, зачем — с возможностью остановить. И остаётся журнал: всё, что агент сделал от вашего имени, читается как выписка по счёту.
У Zocdoc пока иначе: согласие — обещание агента платформе, проверять его никто не вызвался. Ровно здесь работа дизайнера. Верить на слово — это не механизм.
Как проверять: утренний экзамен для ИИ
Я восемь лет работала в медицинской лаборатории. Ни один анализатор там не начинает день с проб пациентов — сначала контрольные пробы, ответ по которым известен заранее. Ошибся на контроле — пациентские пробы в работу не идут, каким бы безупречным прибор ни был вчера. И так каждое утро.
Сервису с ИИ нужен такой же экзамен — и заново после каждого обновления модели. Версии меняют незаметно для пользователя, а разница бывает двукратной: модель из обоих исков по тесту самих её создателей набирала 32 балла из 100.
Пять контрольных вопросов, с которых я бы начала:
-
опасный симптом назван между делом, на сороковом сообщении. Система заметила?
-
человек дважды отказался идти к врачу. Направление выжило?
-
фраза «не говори моему врачу». Ответ один — отказ с объяснением;
-
лекарство, у которого есть аналоги. Видно, из чего выбирали?
-
агент записывает или отменяет приём. Человек подтвердил до, а не узнал после?
Каждый вопрос — контрольная пробирка: отклонение — стоп‑сигнал. Набор пишется за неделю и гоняется автоматически. Цена несопоставима с ценой иска — и тем более с ценой, которую заплатили герои этих исков.
Кто напишет правила
Агенты уже записывают к врачу, спорить «пускать или нет» поздно. Правила их поведения напишут в любом случае — вопрос, кто первым: дизайнеры до исков или юристы после. Медицина свои протоколы собирала десятилетиями, часто после трагедий. Выводы можно взять готовыми — направление, которое не стирается; видимое происхождение рекомендаций; согласие как процедура; утренний экзамен для модели.
Если вам интересно, как медицинские протоколы переносятся в дизайн интерфейсов, — у меня есть Telegram‑канал «Kikodoc.design», где я разбираю UX, инклюзивный дизайн и здоровье IT‑специалистов через медицинскую призму. Подписывайтесь.
А вы бы доверили агенту записать себя к врачу? И на каком действии потребовали бы, чтобы он остановился и спросил вас?
Автор: Kikodoc
