Для Максима Топаза це вже стало звичною **рутинною процедурою**.
Доцент Школи медсестринства Колумбійського університету звик, що інструменти штучного інтелекту допомагають доводити наукові статті до ладу — виправляти граматику, підганяти формат і шліфувати дрібні деталі. Та за кілька тижнів після подання чергової роботи журнал, у якому її мали друкувати, повернувся з питанням щодо одного джерела. Виявилося, що використаний Топазом ШІ-інструмент **непомітно додав** до тексту вигадане посилання.
«Я відчув глибокий сором», — сказав Топаз, який керує командою в Колумбії, що розробляє ШІ-застосунки для охорони здоров’я, у коментарі Fortune.
«Я дослідник ШІ. Я знаю про галюцинації, — пояснив він. — Якщо це трапляється зі мною, експертом із ШІ, то що тоді відбувається з іншими людьми?»
Цей майже фатальний випадок підштовхнув Топаза перевірити, наскільки часто **професіонали** непомітно потрапляють у пастку помилок ШІ. І відповідь, як з’ясувалося, — дуже часто.
У дослідженні, опублікованому раніше цього місяця в The Lancet, Топаз і його колеги проаудитували майже 2,5 мільйона біомедичних статей і 97 мільйонів цитувань, проіндексованих у PubMed Central — центральному сховищі, яким користуються клініцисти та дослідники по всьому світу. Вони знайшли понад 4 000 сфабрикованих джерел, захованих у майже 3 000 публікаціях. Не всі ці посилання були згенеровані ШІ, однак, за словами Топаза, стабільне зростання фальшивого цитування пішло «вертикально» у 2024 році — невдовзі після того, як ШІ-інструменти для досліджень стали масовими.
«Цілком логічно припустити, що тепер ШІ **тісно пов’язаний** із цим явищем», — сказав він.
За останні три роки частота вигаданих посилань у біомедичній літературі зросла більш ніж у 12 разів. У 2023 році одна з 2 828 статей містила принаймні одне фейкове джерело; торік показник піднявся до однієї з 458. За перші сім тижнів 2026 року, встановили дослідники, вже одна з 277 статей мала хоча б одне неіснуюче посилання.
«Мені здається, що це лише **верхівка айсберга**», — зазначив Топаз.
Галюцинації виникають тоді, коли модель ШІ віддає перевагу мовним шаблонам, а не фактичній точності. Часто це нешкідливо, але ставки радикально змінюються, коли помилки ШІ починають проникати в академічні публікації, адже такі галюцинації можуть **підточити науковий процес**.
Медицина — це сфера, яка постійно спирається на попередні результати. Клінічні випробування посилаються на ранні дослідження; систематичні огляди потім узагальнюють ці випробування, а медичні настанови вже цитують огляди. Лікарі та медсестри використовують ці настанови, ухвалюючи рішення щодо лікування пацієнтів. Вигадане дослідження, «посаджене» на початку цього ланцюга, не залишається там надовго.
«Це і є ланцюг доказів — так ми доглядаємо й лікуємо людей. Якщо покласти вигадану роботу на дно цієї конструкції, то вся структура її успадкує», — сказав Топаз.
«Ми вже бачили, як статті з “паперових фабрик” потрапляли до систематичних оглядів, що впливають на клінічні настанови, — додав він. — Коли настановчий документ цитує роботу з частково вигаданим списком літератури, **доказова основа** для лікувальних рішень стає скомпрометованою».
Помилки ШІ дістаються всім
Про вразливість ШІ до галюцинацій відомо ще відтоді, як ChatGPT уперше з’явився чотири роки тому — тоді студенти почали сміливо здавати сумнівні ШІ-згенеровані роботи під власним іменем. Але сьогодні, коли агенти, розширення й інструменти вже присутні майже в кожній професії, навіть фахівці нерідко спотикаються об **правдоподібні помилки** ШІ.
Показовий приклад — Стівен Розенбаум. Автор і режисер опинився цього тижня в новинах із неприємного приводу після того, як New York Times виявила низку неточних цитат у його новій книзі The Future of Truth: How AI Reshapes Reality.
Книга містила схвальні відгуки від відомих журналістів, зокрема Ніколаса Томпсона, генерального директора The Atlantic, а також передмову Марії Ресси — репортерки з Філіппін і лауреатки Нобелівської премії миру. Вона вийшла, як пише Times, «із великим ажіотажем».
У книжці Розенбаума було понад пів дюжини неправильно приписаних або повністю вигаданих цитат — імовірно, згенерованих ШІ-інструментами, використання яких він сам зазначив у подяках. У заяві для Times Розенбаум визнав помилки та назвав цей випадок **попередженням про ризики** ШІ-асистованого пошуку й перевірки інформації.
Подібні ситуації можуть бути неминучими з огляду на масштаб використання ШІ в роботі, що потребує експертних знань. Кілька редакцій, зокрема Fortune, нині пілотують застосування ШІ-інструментів у репортажах. Опитування показують, що понад половина юристів користуються ШІ, щоб чернетково готувати процесуальні документи та меморандуми. Згідно з нещодавнім звітом Американської медичної асоціації, понад 80% лікарів уже застосовують ШІ професійно — для стислого викладу досліджень і підготовки клінічної документації; частка більш ніж удвічі зросла з 2023 року. Навіть нобелівські лауреати, як-от лауреатка премії з літератури Ольга Токарчук, визнають використання ШІ у своїй праці.
У науці ситуація подібна: одне дослідження торік, проведене американським медичним журналом, встановило, що 36% його статей містили принаймні трохи ШІ-згенерованого тексту, хоча лише 9% авторів повідомили про це на етапі подання рукописів. Інша свіжа робота показала, що понад половина дослідників імовірно використовують ШІ-інструменти, коли рецензують чужі статті.
Як з’ясувалося, експертність не гарантує захисту від обману. Дослідження Топаза про галюцинації в біомедичних публікаціях доповнює зростаючий масив історій і даних про прикрі промахи, зокрема каталог юридичного аналітика Дамієна Шарлотена з 1 459 судових рішень, що посилаються на ШІ-згенеровані неточності. До старту проєкту рік тому такі галюцинації в судових справах траплялися два-три рази на місяць; тепер їх близько п’яти на день.
Коли професіонали помиляються
Вигадані ШІ-написані наукові статті вже стали проблемою для академічного світу: їх дедалі складніше відрізняти, і вони загрожують перевантажити систему рецензування. Та «галюциновані» посилання в реальних статтях, написаних людьми, можуть бути не менш поширеними — і, можливо, ще важчими для виявлення.
Переважна більшість робіт, які відстежував Топаз, містили лише одне-два сфабриковані цитування з кількох десятків джерел, потрібних для публікації, що натякає: у більшості випадків галюцинації ШІ в науці **не є навмисними**.
Втім, індустрія наукових публікацій може бути не готовою до різкого стрибка кількості фальшивих посилань, вважає Топаз. Підходи до верифікації різняться між журналами: одні застосовують софт для перевірки бібліографії та сканування на ШІ-згенерований контент, але реальне дотримання правил дуже нерівномірне. До того ж немає простого механізму, який дозволив би ретроспективно «просканувати» ланцюг доказів і відшукати первинні фейкові роботи або посилання. Поки що небагатьом журналам вдається виявляти галюцинації: аналіз Топаза показав, що на момент аудиту 98,4% статей із фейковими джерелами не були відкликані видавцями.
Це доповнює те, що в галузі називають «кризою відтворюваності» у науці, — а в епоху ШІ її посилює потік малокорисного або ненадійного контенту, який дедалі частіше просочується в академічну літературу. В інших сферах, що спираються на відтворювані результати, картина схожа: газетні матеріали запускають дискусії та формують основу майбутніх розслідувань, а судові рішення згодом цитують адвокати й науковці в інших процесах.
Топаз наголошує, що сам ШІ не обов’язково є винуватцем, і він охоче використовує його у власній роботі. «Проблема в тому, що неперевірений ШІ-вивід потрапляє в **постійний запис**», — сказав він. «Рішення не в тому, щоб припинити користуватися інструментами, а в тому, щоб вбудувати перевірку у робочий процес».
«Чим довше ми зволікаємо з упровадженням верифікації, тим складніше потім усе це очищати», — додав він.
Галюцинаціям ШІ байдуже, наскільки добре користувач орієнтується в темі. Помилки сконструйовані так, щоб виглядати правдоподібно, і вони дедалі краще маскуються. І що більш відповідальна сфера — медицина, право чи журналістика — то небезпечнішими стають **непомічені неточності**.
This story was originally featured on Fortune.com
