Коли компанія сама викреслює власний бенчмарк із презентації — це або чесність, або ознака того, що результати говорять не те, що треба. У випадку з Grok 4.5 це виявилося і першим, і другим одночасно.
Що це за модель
Grok 4.5 — перша модель під брендом SpaceXAI після ребрендингу xAI, розроблена спільно з редактором коду Cursor. За архітектурою — mixture-of-experts на базі V9-фундаменту з 1,5 трильйона параметрів. Для порівняння: попередня версія Grok 4.3 використовувала приблизно 0,5 трлн параметрів.
Модель доступна в Cursor на всіх планах, у Grok Build і через API SpaceXAI за $2 за мільйон вхідних токенів. Виняток — ЄС: там модель поки недоступна, доступ обіцяють до середини липня.
Де підступ із бенчмарком
Cursor у своєму анонсі одразу повідомив, що виключив власний бенчмарк CursorBench із порівняльних результатів. Причина — в тренувальний датасет випадково потрапив ранній знімок кодової бази Cursor, що дало моделі нечесну перевагу саме на цьому тесті.
«Grok 4.5 має перевагу на CursorBench, оскільки ранній знімок кодової бази Cursor випадково потрапив до тренувальних даних. Точний вплив неясний. Ці дані вилучені для майбутніх моделей».
Cursor, офіційний анонс
Незалежні бенчмарки дають суперечливу картину. На DeepSWE 1.0 (інфраструктура провайдера) Grok 4.5 випереджає Claude Opus 4.8. Але на нейтральному DeepSWE 1.1 — помітно поступається і Opus 4.8, і Fable 5. Саме такі розриви між «власними» і незалежними вимірами зазвичай є головним аргументом скептиків.
Що реально нового
- Ширша спеціалізація. Попередній Composer 2.5 навчали суто на коді. Grok 4.5 отримав ширший мікс: STEM-задачі, наукові статті, фінансові та юридичні документи — модель позиціонується як агент для «роботи зі знаннями», а не лише програміст.
- Скорочений контекст. Вікно впало з 1 млн токенів у Grok 4.3 до 500 тис. у Grok 4.5. xAI публічного пояснення не надав. Для команд, що аналізують великі кодові бази або документи, це реальне обмеження.
- Токенна ефективність. На практичних задачах Grok 4.5 витрачає менше вихідних токенів, ніж конкуренти — це напряму впливає на вартість агентних сесій.
- Reinforcement learning у реалістичних середовищах. Модель навчали відновлюватись після помилок і перевіряти власні результати — не лише генерувати код, а й верифікувати його.
Дані Cursor як актив і ризик
Тренувальний датасет включає трильйони токенів з Cursor — взаємодії розробників з кодовими базами, патерни агентної роботи, виправлення помилок у реальних проєктах. Це дає модельний «досвід» розробки, якого немає у моделей, навчених лише на статичному коді.
Але тут же виникає питання залежності. Чим більше Cursor-даних у моделі, тим щільніший зв'язок між редактором і постачальником. Команди, які обирають Grok 4.5 через інтеграцію з Cursor, фактично роблять ставку на те, що обидва продукти залишаться сумісними — і що SpaceXAI не змінить умови API.
Якщо наступна ітерація (за чутками — 2T V-series, очікується у серпні) покаже такий самий розрив між провайдерськими та нейтральними бенчмарками, питання довіри до методології оцінки стане центральним — і не лише для Grok.
