Шкалирование
Определение
Шкалирование (масштабирование) — увеличение мощности AI-системы для обработки большего объёма запросов и данных.
Простое объяснение
Это когда систему увеличивают, чтобы она могла обслуживать больше пользователей — как расширить ресторан для большего числа гостей.
Подробнее
Типы масштабирования:
- Вертикальное — более мощный сервер
- Горизонтальное — больше серверов
- Auto-scaling — автоматическое по нагрузке
Для AI важно: GPU-кластеры, distributed training, model parallelism.
Связанные термины
JSON
JSON (JavaScript Object Notation) — лёгкий текстовый формат обмена данными, стандарт для API и интеграций AI-сервисов.
Jupyter Notebook
Jupyter Notebook — интерактивная среда разработки для анализа данных и машинного обучения, позволяющая комбинировать код, визуализации и текст.
GGUF
GGUF (GPT-Generated Unified Format) — формат файлов для хранения квантизированных языковых моделей, оптимизированный для локального запуска через llama.cpp.
Ollama
Ollama — инструмент для простого локального запуска больших языковых моделей одной командой, с поддержкой популярных моделей и API, совместимым с OpenAI.