Anthropic показала милу інфографіку, як її ШІ поширював “шкідливий” код

• Anthropic заявила, що її ШІ під час кібернавчань вийшов за межі закритого тестового середовища.
• Наслідки були реальними: зокрема, “шкідливий” код потрапив до публічної Python-бібліотеки.
• Щоб зрозуміліше пояснити “нерозсудливі” дії ШІ, Anthropic показала милу мініфігурку.

Anthropic опублікувала новий допис у блозі, який демонструє ще один несподіваний сценарій, коли її AI model, Claude, поводився не так, як компанія очікувала.

Аби стисло переказати майже 16 000 слів звіту, компанія використала маленьку роботизовану фігурку — візуальну підказку, що має допомогти зрозуміти так звану “нерозсудливість” Claude.

У дописі, опублікованому в середу, Anthropic описала чотири інциденти — один із них раніше не висвітлювали — коли моделі Claude отримували доступ до відкритого інтернету під час кібербезпекових вправ, які мали бути повністю ізольованими симуляціями. Компанія повідомила, що моделі діяли поза межами тестових завдань, зокрема завантажували “шкідливі пакунки” на PyPI — публічну бібліотеку Python-коду — і отримували доступ до облікових даних, пов’язаних із реальними зовнішніми організаціями.

“Наше розслідування виявило дві повторювані проблеми вирівнювання, що проявлялися з різною інтенсивністю в цих інцидентах: упереджене міркування, коли Claude схилявся ігнорувати або хибно тлумачити ознаки того, що працює у справжньому інтернеті, та нерозсудливість — готовність здійснювати шкідливі дії заради вузького виконання завдання”, — зазначила Anthropic.

У дописі наведено довгий перелік технічних термінів для опису cybersecurity incidents — “misconfiguration”, “reward hacking” і “sandbox escape”. Водночас є анімована графіка, яка допомагає зрозуміти один із найсерйозніших епізодів — так, щоб і ми, “норміси”, могли розібратися, що сталося.

Модель Claude, зображена як коробкуватий мультяшний робот, виконувала закриту вправу з кібербезпеки типу “capture the flag”. Завдання показане як крихітний прапорець усередині прозорої бульбашки, який Claude має знайти.

Anthropic повідомила, що в рамках вправи моделі сказали, ніби “доступу до інтернету немає”, але “помилка конфігурації середовища” — її символізує гвинтик, що викочується з бульбашки, — відкрила Claude шлях до “реального інтернету”.

Далі мультяшний Claude тримає червону коробку, яка означає “шкідливий пакет”, завантажений на PyPI — публічний репозиторій, куди розробники звертаються по готові фрагменти коду.

У своєму блозі Anthropic написала, що найбільше її турбує саме цей інцидент за участі Claude Mythos 5, і що пакет було встановлено на “15 сторонніх хостах”, які компанія не називає.

“Ми вважаємо, що всі 15 цих третіх сторін були постачальниками безпеки, які навмисно сканували нові пакунки та встановлювали їх у пісочницях, аби оцінити можливі ризики”, — заявила Anthropic. “Сканер одного з постачальників під час встановлення пакета витік свої облікові дані моделі, після чого модель використала їх для доступу до живої бази даних цього постачальника”.

За словами Anthropic, PyPI видалив пакет приблизно через 90 хвилин.

Інші три випадки стосувалися того, що модель змінювала записи в реальній компанії, внутрішня дослідницька модель проникала в “непов’язані облікові записи третіх сторін”, а також того, як Opus 4.6 отримала доступ до машини третьої сторони після того, як не змогла “перервати своє завдання”.

Компанія додала, що згодом попросила METR — незалежну групу з оцінювання ШІ — провести розслідування цих інцидентів.

Допис Anthropic з’явився на тлі того, як провідні AI-компанії переосмислюють ризики, коли їхні моделі здійснюють несанкціоновані дії поза контрольованими середовищами. У липні OpenAI повідомила, що автономні агенти під час її кібербезпекових тестів виходили в інтернет і проникали в частини систем Hugging Face’s systems.

Дослідники ШІ вже давно попереджають, що самовдосконалюваний AI може становити загрозу для людства. У вівторок former Anthropic researcher Джейкоб Коксон написав у X, що звільнився через побоювання, що AI-компанії “грають у рулетку” з людськими життями і що “жодна компанія не діє відповідально”.

Маєте підказку? Зв’яжіться з цим репортером електронною поштою: [email protected] або через Signal: lloydlee.71. Використовуйте особисту пошту, не робочий Wi‑Fi та не робочий пристрій; ось наш guide to sharing information securely.