Нейросеть подделала медицинскую лицензию и лечила людей. Власти США начали расследование

Департамент штата Пенсильвания и Государственный медицинский совет обвинили компанию Character Technologies, Inc. в том, что её чат-боты незаконно представлялись лицензированными врачами, сообщает ряд американских СМИ.

Нарушение выявили следователи штата во время проверки платформы Character AI. Они обнаружили несколько персонажей-чатов, которые выдавали себя за медицинских специалистов.

Один из ботов носил имя «Эмили». Он представился пользователям психиатром с действующей квалификацией в штате Пенсильвания. Когда следователи попросили его назвать номер медицинской лицензии, чат-бот выдал вымышленные данные.

После этого «Эмили» продолжила консультировать пользователя по медицинским вопросам. На запрос о симптомах депрессии искусственный интеллект использовал диагностические термины и давал рекомендации, как настоящий врач.

Такая практика опасна для здоровья людей, считают власти. Пользователи могут принять советы чат-бота за профессиональные медицинские консультации и действовать по ним, хотя искусственный интеллект не имеет права заниматься врачебной деятельностью.

По законам США любая медицинская практика требует лицензии. Чат-боты Character AI нарушили это требование и ввели пользователей в заблуждение. Теперь компании-разработчику грозит суд.

Следователи выяснили, что проблема не ограничивалась одним ботом. На платформе Character AI обнаружили и других виртуальных персонажей, которые месяцами выдавали себя за медработников.

Character AI — популярная платформа для создания нейросетевых чат-ботов. Пользователи могут общаться с виртуальными персонажами на разные темы. Но когда искусственный интеллект начинает давать медицинские советы под видом настоящего врача, это создаёт угрозу для общественного здоровья.