OpenAI представляет GeneBench-Pro: новый стандарт оценки ИИ в вычислительной биологии
OpenAI выпустила GeneBench-Pro — бенчмарк исследовательского уровня, проверяющий способность ИИ-агентов принимать сложные решения и работать с неопределенностью в геномике и биологии.
Компания OpenAI представила GeneBench-Pro — новый масштабный бенчмарк, созданный для оценки способностей систем искусственного интеллекта в области вычислительной биологии. Этот инструмент направлен на проверку того, насколько хорошо ИИ-агенты справляются с задачами исследовательского уровня, где требуется не просто следование заданному алгоритму, но и способность принимать решения в условиях неопределенности.
В реальной научной практике данные редко сопровождаются подробными инструкциями. Исследователям приходится самостоятельно определять, является ли наблюдаемый паттерн биологической закономерностью или просто шумом, достаточен ли объем данных для ответа на поставленный вопрос, и как полученные промежуточные результаты должны влиять на дальнейший ход эксперимента. Современные модели искусственного интеллекта все лучше справляются со сложным анализом, однако настоящая наука требует навыков высокоуровневого суждения.
Diagram titled “The benchmark gap in biology” comparing traditional benchmark workflows with end-to-end scientific analysis, showing additional steps such as preprocessing, modeling, diagnostics, and iterative refinement before reaching a scientific conclusion.
GeneBench-Pro расширяет возможности предыдущей версии бенчмарка, предлагая более сложные и реалистичные задачи в таких областях, как геномика, количественная биология и трансляционная медицина. До сих пор существовало мало убедительных методов оценки того, как системы ИИ справляются с системными решениями: пересмотром гипотез, выбором правильного пути анализа и пониманием того, когда результат готов к практическому применению. Эти навыки трудно формализовать, и поэтому их сложно строго оценивать.
