Kubernetes
Определение
Kubernetes (K8s) — платформа оркестрации контейнеров, ставшая стандартом для развёртывания и масштабирования ML-инфраструктуры.
Простое объяснение
Это как умный диспетчер, который управляет множеством программ и распределяет ресурсы компьютеров, чтобы AI работал стабильно.
Подробнее
K8s для ML/AI:
- Kubeflow — ML-пайплайны
- Автоскейлинг — под нагрузку инференса
- GPU scheduling — распределение GPU
- Model serving — KServe, Seldon
Используется крупными AI-компаниями для production ML.
Связанные термины
Edge AI
Edge AI — выполнение AI-алгоритмов непосредственно на конечных устройствах (смартфонах, камерах, датчиках) без отправки данных в облако.
TPU
TPU (Tensor Processing Unit) — специализированный AI-ускоритель, разработанный Google для обучения и inference нейронных сетей.
Виртуальный ассистент
Виртуальный ассистент — AI-программа для автоматизации задач и помощи пользователям через текстовый или голосовой интерфейс.
LangChain
LangChain — популярный open-source фреймворк для создания приложений на базе LLM, предоставляющий абстракции для chains, agents, RAG и memory.