Когда компания сама вычеркивает собственный бенчмарк из презентации — это либо честность, либо признак того, что результаты говорят не то, что нужно. В случае с Grok 4.5 это оказалось и первым, и вторым одновременно.
Что это за модель
Grok 4.5 — первая модель под брендом SpaceXAI после ребрендинга xAI, разработанная совместно с редактором кода Cursor. По архитектуре — mixture-of-experts на основе V9-фундамента с 1,5 триллиона параметров. Для сравнения: предыдущая версия Grok 4.3 использовала примерно 0,5 трлн параметров.
Модель доступна в Cursor на всех планах, в Grok Build и через API SpaceXAI за $2 за миллион входящих токенов. Исключение — ЕС: там модель пока недоступна, доступ обещают к середине июля.
Где подвох с бенчмарком
Cursor в своем анонсе сразу сообщил, что исключил собственный бенчмарк CursorBench из сравнительных результатов. Причина — в тренировочный датасет случайно попал ранний снимок кодовой базы Cursor, что дало модели нечестное преимущество именно на этом тесте.
«Grok 4.5 имеет преимущество на CursorBench, поскольку ранний снимок кодовой базы Cursor случайно попал в тренировочные данные. Точное влияние неясно. Эти данные удалены для будущих моделей».
Cursor, официальный анонс
Независимые бенчмарки дают противоречивую картину. На DeepSWE 1.0 (инфраструктура провайдера) Grok 4.5 опережает Claude Opus 4.8. Но на нейтральном DeepSWE 1.1 — заметно отстает и от Opus 4.8, и от Fable 5. Именно такие разрывы между «собственными» и независимыми измерениями обычно являются главным аргументом скептиков.
Что реально нового
- Более широкая специализация. Предыдущий Composer 2.5 обучали исключительно на коде. Grok 4.5 получил более широкий микс: STEM-задачи, научные статьи, финансовые и юридические документы — модель позиционируется как агент для «работы со знаниями», а не только программист.
- Сокращенный контекст. Окно упало с 1 млн токенов в Grok 4.3 до 500 тыс. в Grok 4.5. xAI публичного объяснения не предоставил. Для команд, анализирующих большие кодовые базы или документы, это реальное ограничение.
- Токенная эффективность. На практических задачах Grok 4.5 тратит меньше выходящих токенов, чем конкуренты — это напрямую влияет на стоимость агентных сессий.
- Reinforcement learning в реалистичных средах. Модель обучали восстанавливаться после ошибок и проверять собственные результаты — не только генерировать код, но и верифицировать его.
Данные Cursor как актив и риск
Тренировочный датасет включает триллионы токенов из Cursor — взаимодействия разработчиков с кодовыми базами, паттерны агентной работы, исправления ошибок в реальных проектах. Это дает модели «опыт» разработки, которого нет у моделей, обученных только на статическом коде.
Но здесь же возникает вопрос зависимости. Чем больше Cursor-данных в модели, тем более плотная связь между редактором и поставщиком. Команды, выбирающие Grok 4.5 из-за интеграции с Cursor, фактически делают ставку на то, что оба продукта останутся совместимыми — и что SpaceXAI не изменит условия API.
Если следующая итерация (по слухам — 2T V-series, ожидается в августе) покажет такой же разрыв между провайдерскими и нейтральными бенчмарками, вопрос доверия к методологии оценки станет центральным — и не только для Grok.
