ИИ-сервер в складчину - запуск LLM на нескольких ПК

В видео рассказывается, как с помощью llama-server запустить LLM на нескольких компьютерах с видеокартой, тем самым ускорив генерацию ответа Запуск rpc (на ноутбуке): rpc-server -c --host 0.0.0.0 Запуск llama-server: llama-server -m Qwen3.5-9B-Q8_0.gguf --host 0.0.0.0 --parallel 1 -fitt 256 --ctx-size 32768 -fa on --rpc 192.168.3.11:50052 Компиляция: https://github.com/ggml-org/llama.cpp/blob/master/tools/rpc/README.md cmake -B build -DGGML_CUDA=ON -DGGML_RPC=ON cmake --build build --config Release -j 8