Жизненный цикл модели
Определение
Жизненный цикл ML-модели — этапы от постановки задачи до вывода из эксплуатации: сбор данных, обучение, deployment, мониторинг, обновление.
Простое объяснение
Это все этапы жизни AI-модели: от создания до момента, когда её заменят на новую версию.
Подробнее
Этапы MLOps жизненного цикла:
- Постановка задачи и метрик
- Сбор и подготовка данных
- Feature engineering
- Обучение и валидация
- Deployment в production
- Мониторинг и обслуживание
- Переобучение/вывод
Связанные термины
Speculative Decoding
Speculative Decoding — метод ускорения inference LLM, где маленькая модель генерирует черновые токены, а большая модель верифицирует их параллельно.
Модель
Модель в ML — обученный алгоритм, который принимает входные данные и выдаёт предсказания или генерирует результат.
FlashAttention
FlashAttention — алгоритм вычисления attention, оптимизированный для GPU, который значительно снижает использование памяти и ускоряет обучение и inference.
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.