Ollama + 32K контекст: рецепт

5💬 016.06.2026, 20:44:24

Через Modelfile задаём num_ctx 32768. Влезает в 11GB VRAM для 7B, для 30B — гибрид CPU/GPU.

Пока нет комментариев.