IBM представляет ScarfBench: тестирование ИИ-агентов в задачах миграции корпоративного кода

Исследовательское подразделение IBM опубликовало на платформе Hugging Face новый инструмент под названием ScarfBench. Это набор тестов (бенчмарк), предназначенный для оценки того, насколько хорошо автономные системы искусственного интеллекта справляются с миграцией корпоративных приложений на языке Java. Это важный шаг, так как он переводит фокус с простой генерации программного кода на решение сложных инфраструктурных задач.

На протяжении десятилетий крупные компании создавали свои системы на базе Java. Со временем фреймворки устаревают, появляются уязвимости, и бизнес вынужден обновлять программное обеспечение. Процесс миграции с одной версии архитектуры на другую или смена фреймворка — это долгая, дорогая и рутинная работа. Разработчикам приходится вручную переписывать тысячи строк кода, следя за тем, чтобы ничего не сломалось.

В последнее время индустрия возлагает большие надежды на ИИ-агентов — программы, способные самостоятельно анализировать кодовую базу и вносить комплексные изменения. Но до сих пор не было надежного способа измерить их реальную эффективность в таких специфических задачах. Миграция Java-фреймворков часто сопряжена с изменением конфигурационных файлов, обновлением зависимостей и переработкой аннотаций. Это требует от ИИ не просто знания синтаксиса, но и понимания контекста работы всего приложения.

ScarfBench решает именно эту проблему. Инструмент предлагает стандартизированную среду для проверки моделей на реальных примерах миграции. Вместо того чтобы просить нейросеть написать одну функцию, бенчмарк оценивает ее способность понимать архитектуру проекта целиком. Система проверяет, может ли агент корректно заменить устаревшие библиотеки, адаптировать логику под новые стандарты и сохранить работоспособность приложения.

Наличие такого инструмента на открытой платформе вроде Hugging Face позволяет исследователям со всего мира сравнивать свои разработки по единым правилам. Появление ScarfBench указывает на важный тренд в развитии больших языковых моделей (LLM). Индустрия постепенно отходит от универсальных чат-ботов и движется в сторону специализированных агентов для решения конкретных бизнес-задач.

Для корпоративного сектора модернизация устаревшего кода (legacy code) является одной из главных статей расходов на ИТ. Если ИИ сможет автоматизировать хотя бы часть этого процесса, экономический эффект будет колоссальным. Инициатива IBM логична: компания исторически тесно связана с корпоративным сектором и глубоко понимает его потребности.