OpenAI після першої публікації анонсу в блозі 3 вересня (у другій половині дня) кілька разів **переписувала оціночні бенчмарки** для моделі GPT-6 Astra. У частині випадків оновлені версії демонстрували кращі результати Astra, тоді як показники моделей головного конкурента OpenAI — Anthropic — ставали гіршими.
Коригування відбувалися на тлі нетипового запуску публікації. Компанія планувала зробити матеріал доступним о 14:00 за східним часом, але широкій аудиторії він став нормально видимим лише майже через **дві години затримки**.
Коли акаунт OpenAI в X tweeted out посилання на блог о 15:32, сторінка відкривалася некоректно й повертала повідомлення про помилку. О 15:50 CEO OpenAI Сем Альтман posted те саме посилання з коментарем: “We hit a little snag getting the blog post deployed, but it is really great.” Багато людей у відповідях усе ще не могли переглянути сторінку та getting the same error — так само, як і Fortune. Коли ми перевірили знову приблизно за годину, матеріал уже коректно завантажувався.
З’ясувалося, що OpenaAI опублікувала блог майже одразу після 14:00, але згодом прибрала його з причини, яку компанія заявила, що не може розкривати, водночас наголосивши, що це не пов’язано з показниками бенчмарків. (Спочатку OpenAI сказала нам, що причина — баг у системі керування контентом, а потім — інтернет-збій.) Коли блог опублікували повторно, в ньому вже були інші метрики оцінювання, які виглядали **більш вигідними для Astra** — і частина значень продовжила змінюватися навіть після цього.
Це стало помітним на тлі жорсткої конкуренції на ринку ШІ: компанії з неймовірною швидкістю оновлюють великі мовні моделі, намагаючись випередити одна одну. Пильна увага до метрик також підкреслює, наскільки складно вимірювати якість LLM стандартизованими тестами, і що специфікації можуть бути вразливими до **маніпуляцій та “ігрових” підходів**.
“We care deeply about getting evaluations right,” — повідомив речник OpenAI у коментарі для Fortune. “Most evaluations have noise within a few percentage points based on the exact checkpoint, scaffold, and evaluation run used in reporting. For our launch blog, we made fixes to ensure the numbers represent our best estimate of available model performance, so that users can make meaningful comparisons.”
Як відрізнялися рання та фінальна версії блогу — і чому цифри досі “плавають”
Однією з найпомітніших правок стала заявлена частота галюцинацій Astra. У first internet archive snapshot сторінки від 14:23 за східним часом вона становила 4,2%. Це значення залишалося незмінним у ще кількох архівних копіях; остання з них — a fifth at 3:11 p.m. ET — з’явилася приблизно за 10 хвилин до того, як OpenAI опублікувала посилання у X.
Однак показник галюцинацій, разом іще з чотирма метриками, змінився у sixth archival snapshot, зробленому о 17:20 — після того, як блог, імовірно, вже став доступним для всіх. Для Astra його знизили удвічі — до 2%. Паралельно показники попередника Astra, GPT-5.6 Sol, також зменшилися з 12,2% до 9,4%. Згодом OpenAI знову переглянула ці дані: на момент написання **частота галюцинацій** повернулася до початкових 4,2% і 12,2% відповідно.
Також складається враження, що OpenAI різко підвищила показник GPT-5.6 Sol у внутрішньому варіанті кібербезпекової оцінки ExploitBench: з 5,5% у першій версії до 11,5% у пізніших. Компанія заявила, що зараз розглядає повернення цього числа до 5,5%, оскільки результат 11,5% відображає рівень міркування, який для Sol **не доступний комерційно**.
OpenAI стверджує, що Astra особливо сильна в математиці — це компанія підкреслює вже в першому абзаці сторінки анонсу. Хоча цей показник для Astra у знімках не змінювався (він залишався 97,6% у FrontierMath Tier 4 (v2)), OpenAI на короткий час підкоригувала бали для GPT-5.6 Sol та останньої моделі Anthropic — Fable 5.1.
Унаслідок цих змін Astra на певний час виглядала **відчутно сильнішою в математиці**, ніж ці дві моделі. У першому знімку (14:23 3 вересня) результат Anthropic Fable 5.1 становив 87,8%. До 17:17 він просів майже на 10 пунктів — до 78%. Сьогодні він знову піднявся до 83%. Подібна історія й у GPT-5.6 Sol: з 83% вниз до 80,5%, а потім повернення до 83% станом на сьогодні.
Оновлення чисел почалися ще до первинної публікації о 14:00. В ембарговому допублікаційному драфті, який компанія надала Fortune та іншим медіа, оцінка Astra на ARC-AGI-3 була 98,6%. Тепер у живій версії блогу — 99,99%.
“We always verify evals before publication so adjustments between draft and final version are normal,” — тоді пояснив речник компанії. OpenAI також зазначила, що автор бенчмарку, Arc Prize Foundation, found, що Astra показала 99,9% у незалежній оцінці — за умови використання особливо потужного harness (набору інструментів, які модель може застосовувати для виконання завдань). Водночас із “стандартним” harness для цього бенчмарку результат становив 63% — **усе одно суттєво вищий**, ніж у будь-якої іншої ШІ-моделі, доступної нині публічно. OpenAI підкреслила, що “things like harness, reasoning level and other factors inform evals.”
“Benchmaxxing”: маркетингове підкручування чи реальне уточнення точності?
У OpenAI за різні метрики відповідають різні дослідницькі команди: вони обчислюють та передають результати центральній групі, яка публікує дані. Компанія відкрито говорить, що числа отримані за найкращих можливих умов і можуть дещо відрізнятися від параметрів моделей, доступних у продакшн-версії ChatGPT для більшості користувачів. “Evaluation scores are the maximum at any effort,” — зазначено в дисклеймері в блозі. Додаткові застереження щодо кожної метрики наведені у виносках.
Точність у таких вимірюваннях часто є “рухомою ціллю”: різні умови тестування можуть давати кілька результатів, які формально можна вважати коректними. Однак деякі фахівці з ШІ ставлять питання, чи немає тут також елемента “benchmaxxing” — поширеної в індустрії (і не лише в OpenAI) практики **максимізації балів** шляхом повторних прогонів із різними налаштуваннями.
“This can be done in a very tight timeframe, and it’s better for their marketing,” — сказали Анка Ройель і Майк Гарді, дослідники зі Stanford Intelligent Systems Laboratory та Stanford Trustworthy AI Lab. Вони також звернули увагу, що system card для GPT-6 Astra, який мав би містити більше технічних деталей про проведення оцінювань, не завжди пояснює методологію належним чином. Зокрема, для внутрішнього бенчмарку галюцинацій у системній картці наведено “barely any details about the evaluation,” зазначили вони. “It doesn’t even include the number of test items.”
Саме повторні перезапуски оцінювань можуть пояснювати, чому можливості Astra в програмуванні у пізніших версіях блогу отримали невелике підвищення: з 57,7% до 57,9%. Різниця мізерна, але OpenAI, схоже, вважала її достатньо важливою, щоб **замінити показник** на “покращений”.
Водночас не всі правки робили Astra виглядати сильнішою. Наприклад, у різних версіях оцінки HealthBench Professional, орієнтованої на медичну тематику, **покращилися** два результати моделей Anthropic. Claude Fable 5.1 зросла з 56,6% до 58,1%, а Opus 5 — з 54,5% до 56,4%. Показники моделей інших компаній зазвичай беруться з опублікованих лідербордів, і OpenAI при цьому не запускає оцінювання моделей конкурентів власноруч.
Суперечки навколо бенчмарків давно переслідують індустрію ШІ
Тема достовірності бенчмарків неодноразово виникала й раніше. У 2025 році Meta заперечувала reports про те, що вона штучно завищила результати для Llama 4, опублікувавши дані внутрішньої версії моделі замість тієї, яку планувала зробити публічно доступною. Пізніше Янн ЛеКун, колишній головний науковець Meta з ШІ, admitted, що компанія “fudged” результати.
Метрики також часто еволюціонують, бо з’являються нові бенчмарки. Наприклад, ExploitGym — кібербезпековий тест, який опинився в центрі липневого інциденту 2026 року, коли моделі OpenAI вийшли з-під контролю та атакували Hugging Face, — був створений у 2026 році.
Вінсент Санн Чен, інженер з ШІ та керівник напряму бенчмарків і досліджень оцінювання в Snorkel AI, зазначив, що зміни показників у останні години перед релізом моделі — не рідкість. “It’s usually a function of final launch logistics,” — написав він в email. “A benchmark score reflects a specific measurement setup: the model checkpoint, configuration (including how much time and compute the model is allowed), harness, eval/grading configuration (e.g., non-determinism in the judge). All of those are typically still shifting in the final days before a launch, so I’m not surprised that there were some updates.”
Він додав, що хотів би бачити загальноіндустріальні норми: коли компанія переглядає цифри, вона має повідомляти, **що саме змінилося** в налаштуваннях оцінювання, аби дослідники могли коректніше інтерпретувати результати.
Результати бенчмарків важливі з кількох причин. Це інструмент вимірювання прогресу для ШІ-компаній, але водночас і “табло” в перегонах між конкурентами. Лідерство в рейтингах допомагає залучати клієнтів і, у деяких випадках, спрощує найм інженерів та дослідників.
Однак цей випадок показує, що трактування метрик може бути технічно складним і погано укладатися у простий публічний наратив. Ці нюанси, разом із плутаниною через змінні числа та звинуваченнями в **неповній інтелектуальній чесності** під час подання результатів, можуть ускладнити для клієнтів і інвесторів розуміння того, які моделі справді найкращі для конкретних завдань. Така невизначеність здатна розмити історію про “найкращі моделі на ринку”, яку OpenAI, без сумніву, хотіла б посилити напередодні можливого IPO у 2027 році.
This story was originally featured on Fortune.com
