Параметры LM Studio и llama-server, ускоряющие работу LLM
В видео рассказывается и показывается, какие параметры LM Studio или llama-server влияют на скорость работы локальной модели с архитектурой MoE (в видео показываются модели Qwen3.6-35B и Gemma4-26B) Запуск на железе RTX2060 6GB VRAM + 32GB DDR4 RAM (для другого железа параметры нужно поменять): Gemma4 - llama-server -hf unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_M \ --fit off -rea off -c 32768 \ -ncmoe 26 \ -ngl 30 \ -fa on \ -ctk q8_0 -ctv q8_0 \ --no-mmproj \ --mlock \ -t 8 Qwen3.6 - llama-server -m $HOME/.lmstudio/models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf \ --fit off -rea off -c 32768 --seed 42 \ -ngl 40 \ -ncmoe 36 \ -fa on \ --mlock \ -ctk q8_0 -ctv q8_0 \ -t 8
Название:
Параметры LM Studio и llama-server, ускоряющие работу LLM
Категория:
Разное