Llm

Ollama - рантайм для локального запуска больших языковых моделей. Установка и запуск модели выполняются одной командой; ручная настройка зависимостей и виртуальных окружений не требуется. Локальная машина → Ollama → Модель (Llama, Qwen, Mistral...) Преимущества: Данные не покидают локальную машину Инференс не требует интернет-соединения Отсутствуют подписки и лимиты Работает на CPU (с ограниченной производительностью) Установка NixOS # configuration.nix services.ollama = { enable = true; # Опционально: список моделей для автозагрузки # models = [ "qwen2.5:7b" ]; }; Применение: ...