GGUF
Определение
GGUF (GPT-Generated Unified Format) — формат файлов для хранения квантизированных языковых моделей, оптимизированный для локального запуска через llama.cpp.
Простое объяснение
GGUF — как MP3 для музыки, но для AI-моделей. Сжимает огромную модель до размера, который помещается на обычный компьютер, с минимальной потерей качества.
Подробнее
Связанные термины
Replicate
Replicate — платформа для запуска open-source AI-моделей через API без необходимости управления инфраструктурой.
Latency
Латентность — время задержки между отправкой запроса к AI-системе и получением ответа, критичный показатель для пользовательского опыта.
ChatGPT
ChatGPT — разговорный AI-ассистент от OpenAI на базе моделей GPT, способный вести диалог, отвечать на вопросы, писать тексты и код.
Webhook
Вебхук — механизм автоматической отправки данных от одного сервиса другому при наступлении определённого события.