Почему GPT-5.6 Sol изначально показал низкие результаты в тесте ARC-AGI-3?

Изначально низкие результаты GPT-5.6 Sol в тесте ARC-AGI-3 были вызваны ограничениями тестовой среды. Она удаляла скрытые рассуждения модели после каждого действия и стирала старые данные из памяти, не позволяя ИИ опираться на прошлый опыт.

Что такое «сохранение рассуждений» и как оно помогло модели GPT-5.6 Sol?

Сохранение рассуждений (retained reasoning) позволяет ИИ-модели помнить свои прошлые планы и выводы. Это значительно сократило время на обдумывание каждого шага для GPT-5.6 Sol и позволило ей применять последовательные стратегии, что резко улучшило производительность.

В чем разница между «сжатием контекста» и «скользящим усечением»?

Скользящее усечение (rolling truncation) безвозвратно удаляет старые данные из памяти модели при достижении лимита. В отличие от этого, сжатие контекста (compaction) эффективно сжимает историю, сохраняя ключевые знания об игре и позволяя модели дольше удерживать важную информацию.

Как изменились результаты GPT-5.6 Sol после внедрения новых настроек памяти?

После внедрения сохранения рассуждений и сжатия контекста, оценка GPT-5.6 Sol в бенчмарке ARC-AGI-3 выросла с 13,3% до 38,3%. Кроме того, количество генерируемых токенов сократилось в шесть раз, демонстрируя значительное повышение эффективности.

Какой вывод могут сделать разработчики ИИ-приложений из этого исследования?

Разработчикам приложений на базе больших языковых моделей следует уделять критическое внимание правильному управлению контекстом. Использование методов сжатия памяти и сохранения цепочек рассуждений становится стандартом для создания автономных и эффективных ИИ-агентов.

Как сохранение истории рассуждений утроило результаты GPT...

Как сохранение истории рассуждений утроило результаты GPT-5.6 в тесте ARC-AGI-3

Исследователи выяснили, что низкие результаты передовых ИИ-моделей в бенчмарках часто связаны не с их внутренними ограничениями, а с потерей контекста и истории прошлых действий в тестовой среде.

30.07.2026, 05:17

Обновлено:02.08.2026, 07:05

3 мин чтения

1 просмотров

Суть

Недавние тесты модели GPT-5.6 Sol в бенчмарке ARC-AGI-3 показали неожиданно низкие результаты. Однако исследователи выяснили, что проблема крылась не в способностях самой модели, а в настройках тестовой среды. Включение всего двух параметров — сохранения рассуждений (retained reasoning) и сжатия контекста (compaction) — позволило утроить итоговый балл и сократить количество генерируемых токенов в шесть раз. Это событие наглядно демонстрирует, как сильно техническая «обвязка» влияет на производительность искусственного интеллекта.

Контекст

Бенчмарк ARC-AGI-3 создан для оценки того, как агенты обучаются и мыслят. В нем искусственному интеллекту предлагается исследовать незнакомые 2D-головоломки и понимать их правила без явных инструкций. Изначально GPT-5.6 Sol набрал в этом тесте лишь 7,8%, хотя ранее успешно справлялся с более сложными задачами, включая математические гипотезы и прохождение игр вроде Pokémon FireRed.

Причина столь низкого результата крылась в архитектуре официальной тестовой среды (harness) ARC-AGI-3. Она была намеренно сделана максимально простой и универсальной. После каждого действия среда удаляла все скрытые рассуждения модели, заставляя ее каждый раз анализировать игру с нуля. Кроме того, использовалось скользящее усечение (rolling truncation) — по мере роста истории старые действия просто стирались из памяти.