GGUF

GGUF пришёл на смену GGML как стандарт для локального запуска LLM. Формат поддерживает различные уровни квантизации (Q2_K, Q4_K_M, Q8_0 и др.), хранит метаданные модели в едином файле и оптимизирован для быстрой загрузки. llama.cpp, ollama, LM Studio и другие инструменты используют GGUF для запуска моделей на CPU и GPU потребительского уровня. На TheBloke можно найти GGUF-версии популярных моделей.