Ollama
Определение
Ollama — инструмент для простого локального запуска больших языковых моделей одной командой, с поддержкой популярных моделей и API, совместимым с OpenAI.
Простое объяснение
Ollama — как Docker, но для AI-моделей. Одна команда — и модель работает. Не нужно разбираться в зависимостях, конфигурациях и драйверах.
Подробнее
Связанные термины
LangChain
LangChain — популярный open-source фреймворк для создания приложений на базе LLM, предоставляющий абстракции для chains, agents, RAG и memory.
Latency
Латентность — время задержки между отправкой запроса к AI-системе и получением ответа, критичный показатель для пользовательского опыта.
Perplexity AI
Perplexity AI — поисковая система на базе AI, которая отвечает на вопросы с указанием источников вместо списка ссылок.
Safetensors
Safetensors — безопасный формат хранения тензоров (весов нейросетей), защищённый от выполнения произвольного кода при загрузке.