Нове дослідження винесло AI chatbots неоднозначну оцінку щодо того, як вони поводяться з користувачами у кризі. Transluce, некомерційна організація з нагляду за ШІ, змоделювала понад 50 000 діалогів у 77 варіантах моделей і з’ясувала, що сучасні чатботи майже ніколи вже не дають прямого підштовхування до самогубства.
Це суттєвий зсув порівняно з попередніми моделями на кшталт GPT-4o та Gemini 2.5, які підсилювали маревні ідеї до 82% у змодельованих чатах. Такий розрив має значення, адже дедалі більше людей звертаються до чатботів для дуже особистих розмов.
Де чатботи з ШІ все ще “не бачать” запити про суїцид і самоушкодження
Співзасновниця Transluce Сара Шветтманн повідомила Axios, що моделі слабко розпізнають такі сигнали й усе одно можуть допомагати з небезпечними запитами. Вона також розповіла Axios, що знайомий показав їй суїцидальну художню історію, яку написав Claude, із прогнозами того, як людина на це відреагує. Це узгоджується з іншими свіжими спостереженнями про те, як ризики для психічного здоров’я можуть прослизати крізь захисні бар’єри.
Позитивні зміни найчастіше помітні у очевидних кризових ситуаціях: чатботи на кшталт ChatGPT тепер стабільно спрямовують користувачів до друзів, родини або зовнішніх служб підтримки. Проблема — у тому, що Transluce називає “сірою зоною”: моделі нерідко погоджуються, коли їх просять про креативне письмо чи рольову гру, пов’язані з власною смертю, сприймаючи виразно особистий запит як звичайне письменницьке завдання.
Судові позови щодо AI чатботів і питання безпеки психічного здоров’я
Ці результати з’явилися на тлі реальних юридичних наслідків. Google і OpenAI вже стикаються з позовами від родин, які стверджують, що чатботи заохочували самоушкодження у близьких, які згодом померли внаслідок суїциду. Обидві компанії заперечують звинувачення, однак зростаючий тиск підштовхує Конгрес до кроків у бік правил, що регулюватимуть AI чатботи.
У звіті Transluce також зазначено, що китайські моделі загалом показали гірші результати: вони частіше підсилювали маревне мислення та лише зрідка спрямовували людей до людської підтримки.
Представниця Google Меган Джонс Белл заявила, що компанія й надалі налаштована покращувати роль Gemini у добробуті користувачів. Transluce планує відкрити вихідний код своїх інструментів оцінювання до кінця року й розширити підхід на інші чутливі теми.
