Kubernetes
Определение
Kubernetes (K8s) — платформа оркестрации контейнеров, ставшая стандартом для развёртывания и масштабирования ML-инфраструктуры.
Простое объяснение
Это как умный диспетчер, который управляет множеством программ и распределяет ресурсы компьютеров, чтобы AI работал стабильно.
Подробнее
K8s для ML/AI:
- Kubeflow — ML-пайплайны
- Автоскейлинг — под нагрузку инференса
- GPU scheduling — распределение GPU
- Model serving — KServe, Seldon
Используется крупными AI-компаниями для production ML.
Связанные термины
API (Application Programming Interface)
Интерфейс программирования приложений — набор правил и протоколов для взаимодействия между различными программами и сервисами.
vLLM
vLLM — высокопроизводительная библиотека для inference больших языковых моделей, использующая PagedAttention для эффективного управления памятью GPU.
Шкалирование
Шкалирование (масштабирование) — увеличение мощности AI-системы для обработки большего объёма запросов и данных.
Stable Diffusion
Stable Diffusion — открытая модель генерации изображений по текстовому описанию, ставшая основой экосистемы AI-инструментов для творчества.