Amazon предлагает использовать мультимодальную модель Nova Act для масштабирования UX-тестирования. Система визуально анализирует интерфейсы, заменяя жестко закодированные скрипты.
3 мин
Компания Amazon представила новое решение для автоматизации тестирования пользовательского опыта (UX) на базе мультимодальной модели Amazon Nova Act. Главное отличие этого подхода заключается в том, что искусственный интеллект взаимодействует с веб-браузером визуально, подобно человеку. Это позволяет масштабировать проверки пользовательских путей без необходимости поддерживать жестко закодированные скрипты, которые ломаются при малейшем изменении интерфейса.
Традиционное тестирование обеспечения качества (QA) фокусируется на поиске функциональных ошибок. Тестирование пользовательского опыта, напротив, оценивает удобство навигации: насколько легко найти товар, создать аккаунт или оформить заказ.
Nova Act flow logs dashboard Overview tab showing a 96% success rate and error classification charts
Исторически организации сталкивались с двумя проблемами. Ручное тестирование невозможно масштабировать — специалисты успевают проверить лишь основные сценарии, оставляя пограничные случаи без внимания. Автоматизированные инструменты, такие как Selenium или Playwright, опираются на селекторы элементов (DOM). Если разработчик меняет структуру страницы, тесты падают, что создает огромные накладные расходы на их поддержку.
Решение от Amazon представляет собой облачную архитектуру, состоящую из четырех уровней:
Nova Act flow logs dashboard Performance and Efficiency tab showing duration and step charts by granularity
Переход от программного взаимодействия с кодом страницы к визуальному пониманию интерфейса меняет парадигму автоматизации. Nova Act не ищет конкретный ID кнопки в HTML-коде; модель визуально распознает элемент, похожий на кнопку покупки, и нажимает на него. Это делает тесты устойчивыми к редизайну и динамическому контенту.
Кроме того, логика рассуждений модели позволяет не просто констатировать факт прохождения теста, но и оценивать интуитивность дизайна. Если ИИ тратит много шагов на поиск нужного раздела, вероятно, реальный пользователь также столкнется с трудностями.
Использование мультимодальных агентов для тестирования интерфейсов может стать новым стандартом в разработке программного обеспечения. По мере снижения стоимости вызовов моделей (API) компании смогут запускать сотни параллельных проверок для каждого обновления продукта. В будущем граница между функциональным автоматизированным тестированием и оценкой пользовательского опыта будет стираться, уступая место комплексным проверкам на базе автономных агентов.
Изображение из источника
Flow generation: a task list JSON in Amazon S3 triggers a Lambda function that queries Amazon Bedrock to create task steps in DynamoDB
Изображение из источника
Изображение из источника
Amazon Nova Act переводит UX-тестирование от поиска элементов в коде страницы к визуальному анализу, что делает автоматизацию устойчивой к изменениям интерфейса.
Самая ценная часть решения — не само прохождение теста, а способность модели логировать свои рассуждения. Это позволяет использовать ИИ не только как тестировщика, но и как фокус-группу для оценки интуитивности дизайна.
