Почему ответственность за безопасность ИИ в медицине должна лежать на разработчиках

Mayo Clinic требует: доказывайте безопасность ИИ-инструментов — и не врачам

По его словам, разработчики, а не клиницисты, обязаны доказывать безопасность своих продуктов — и именно на фронтовых врачей сейчас перекладывается весь груз ответственности за чужие ошибки. Для пациента это сигнал: если ваша клиника гордится «инновационным ИИ-помощником», стоит спросить, кто именно отвечает за его работу.

Пять сигналов, что ИИ-внедрение идёт не туда

Монтори и его коллега Джон Тилбёрт опубликовали в The BMJ анализ, который можно назвать чек-листом для руководителей клиник. В нём — пять моделей провала, указывающих, что внедрение ИИ движется к катастрофе. Тилбёрт проводит параллель с событиями двадцатилетней давности: тогда академические медицинские центры, гнавшиеся за клиническими испытаниями без надлежащего контроля, столкнулись с devastating исками, которые «натаскали много работы для сообщества биоэтики», но разорили сами учреждения. Сейчас, по его мнению, та же история повторяется с ИИ — только темпы давления выше.

Кто на самом деле заинтересован в хайпе

Монтори описывает энтузиазм вокруг ИИ в медицине как явление, которое обслуживает экономические интересы вендоров, а не стандарты доказательной медицины. Никто, замечает Тилбёрт, не задаёт базовый вопрос: а улучшает ли этот инструмент реальные показатели здоровья пациентов? «Чувство неизбежности и почти утопическая надежда на эффективность» вытеснили фундаментальный принцип — проверку доказательствами. В условиях, когда речь идёт о пациентах, отсутствие тестирования технологии Тилбёрт называет «утверждением на вере».

Отдельный повод для тревоги — позиция регуляторов. В Минздраве Великобритании, к примеру, ИИ позиционируется как единственный способ выполнить десятилетний план здравоохранения. Такой институциональный нажим, предупреждает Тилбёрт, делает слишком лёгким «увлечение тем, что популярно, сексуально и ново», — и слишком простым забвение базовых задач медицины.

Пациент как конечный получатель риска

Главный аргумент Монтори касается перераспределения ответственности. К тому моменту, когда руководство клиники оценивает ИИ-систему, предвзятость уже «запечена» в продукт и часто не поддаётся оценке из-за непрозрачности алгоритмов. Разработчик отгружает продукт. Руководство утверждает внедрение. А фронтовые врачи впитывают риск. Требование Монтори недвусмысленно: ответственность за безопасность продукта лежит на разработчике, а не на том, кто этот продукт использует.

Для пациента это означает простое: если клиника применяет ИИ-инструмент в вашем лечении — вы имеете право знать, кто за него отвечает, какие данные он анализировал и есть ли доказательства его эффективности. Не маркетинговые слайды, а реальные исходы. И если ответа нет — это уже красный флаг.