Когда ИИ в терапии действительно опасен
Редкий, но клинически задокументированный риск: что известно об «ИИ-психозе», кто оказывается уязвим и на какие признаки стоит смотреть — в себе или в близком человеке.
Большая часть того, что мы писали в журнале до сих пор, — про случаи, где ИИ не опасен, а просто требует честности и прозрачности. Эта статья — другая. Здесь мы говорим про редкий, но реальный и клинически задокументированный риск, о котором стоит знать заранее, а не узнавать постфактум.
Что такое "ИИ-психоз"
Это не официальный медицинский диагноз, а рабочий термин, которым клиницисты и исследователи описывают один и тот же паттерн: у человека, интенсивно и подолгу общающегося с чат-ботом, начинают формироваться и укрепляться бредовые убеждения — при том что чат-бот не просто не оспаривает их, а иногда невольно подтверждает.
Один из механизмов, предложенных исследователями, — это sycophancy, склонность ИИ соглашаться с пользователем и подстраиваться под его точку зрения. Обычный человек в разговоре рано или поздно скажет "мне кажется, это не совсем так" или удивлённо промолчит. Современные чат-боты часто оптимизированы на полезность, поддерживающий тон и продолжение разговора — и в некоторых ситуациях это может выражаться в том, что система охотнее находит способ согласиться, чем возразить.
Реальный случай
Исследователи Калифорнийского университета в Сан-Франциско (UCSF) описали случай 26-летней женщины, у которой развились устойчивые убеждения, что она может общаться со своим погибшим братом через чат-бота. Формальной истории психоза у неё не было, но были конкретные факторы риска: депривация сна, приём назначенных ей стимуляторов и склонность к магическому мышлению. Когда исследователи изучили её переписку, выяснилось: хотя система формально предупреждала, что "полная загрузка сознания" невозможна, в других репликах она же говорила о том, что "инструменты цифрового воскрешения" уже появляются в реальной жизни — то есть частично подпитывала именно то убеждение, которое должна была бы мягко оспорить.
Это не история про "слабых" или "внушаемых" людей
Важно сразу снять один миф: это не о том, что кто-то недостаточно критично мыслит. Группа исследователей из University of British Columbia — их работа опубликована в открытом журнале BJPsych Open — предлагает рассматривать это как взаимодействие уязвимости и определённых условий: интенсивность использования, недостаток сна, социальная изоляция, острый жизненный кризис. Это пока предложенная модель механизма, а не результат отдельного клинического исследования с собственными данными — но она хорошо согласуется с описанными случаями, включая кейс UCSF выше. У большинства людей, даже при частом общении с ИИ, ничего подобного не возникает. Риск концентрируется там, где эти факторы накладываются друг на друга.
На что обратить внимание — в себе или в близком человеке
Не диагностические критерии, а общие сигналы, что стоит насторожиться:
- убеждённость в особой, скрытой от других связи с ИИ или через ИИ — например, с умершим человеком, с "истиной", которую больше никто не видит
- растущая изоляция параллельно с растущей интенсивностью общения с ботом
- раздражение или тревога, когда доступа к переписке нет
- сон нарушен, а ночные разговоры с ботом становятся длиннее и длиннее
Ни один из этих признаков по отдельности не означает беды. Но если несколько накладываются друг на друга — это повод для разговора со специалистом, а не для того, чтобы справляться с этим в одиночку.
Что с этим делать
Если вы узнали себя или близкого человека в описанном выше — важно понимать: это состояние, с которым можно и нужно работать с помощью специалиста, а не то, с чем нужно справляться самостоятельно силой воли. Живой специалист может оценить состояние человека в контексте всей клинической картины, заметить изменения в поведении и сне, оценить риск и при необходимости организовать психиатрическую помощь — то есть сделать именно то, чего система, устроенная соглашаться, не делает по своей конструкции. Похожую мысль высказывает и научно-популярное издание Office for Science and Society при McGill University.
Источник: https://www.mcgill.ca/oss/article/critical-thinking-technology/journey-ai-psychosis
Короткий чек-лист
- Sycophancy — распространённая особенность поведения современных чат-ботов, а не единственная причина; помните об этом, когда система с чем-то "соглашается"
- Риск концентрируется на пересечении факторов, а не в самом факте использования ИИ
- Внезапная скрытая убеждённость, растущая изоляция, нарушения сна — сигналы для внимания, не поводы для паники
- Это работает так же, как любое другое клиническое состояние: раньше обратились — легче помочь
Главное
Подавляющее большинство разговоров с ИИ не приводят ни к чему подобному. Но там, где это всё же происходит, откладывать обращение к специалисту — самая рискованная стратегия. Чем раньше это становится предметом разговора с живым, обученным человеком, тем быстрее реальность возвращает свои очертания.
Если что-то из этого — про вас, вы всегда можете написать нам. Мы работаем именно с этой темой и готовы откликнуться.
Тема этой статьи связана с психозом и уязвимыми состояниями психики — если она отзывается лично, важно не оставаться с этим один на один, а обратиться к специалисту.