Этот движок делает 177B Qwen 3.8 Flash невероятно быстрым на 12 ГБ GPU | Strata

Голосовой агент оформил реальный заказ продуктов от начала до конца менее чем за две минуты. В основе этого процесса лежала модель Qwen 3.8 Flash, 177 байт параметров, включая n-граммовые таблицы, работающая на одной видеокарте RTX 3060 с 12 ГБ видеопамяти и 64 ГБ системной оперативной памяти. Движок, обеспечивший это, — Strata, открытый (MIT) движок для вывода данных, которому около двух недель, и который работает ровно с одной моделью. llama.cpp поддерживает около 150 архитектур. Strata поддерживает и эту, и поскольку ей нужно соответствовать только формам одной модели, она может планировать память и расписание в соответствии с ними. Для агентов важен показатель обработки подсказок, поскольку агент перечитывает длинную подсказку при каждом вызове. В моем примере с корзиной покупок агент выполнил 26 вызовов модели и прочитал около 20 токенов на каждый записанный токен. На той же видеокарте моя настройка llama.cpp в прошлом месяце считывала подсказки со скоростью около 120 токенов в секунду. Strata считывает их со скоростью более 900. Генерация составляет около 40 токенов в секунду. В видео: Что такое Strata и почему одномодельный движок может быть настолько быстрее Как он считывает подсказки почти в 8 раз быстрее: большие блоки в заимствованной видеопамяти, потоковое кольцо для экспертов и разреженное внимание без гигантской маски. Ядро умножения матриц для экспертов — собственное ядро llama.cpp. Декодирование: кэш для каждого эксперта, работа CPU и GPU на одном слое и предсказание нескольких токенов Настройка: установите на Windows или Linux, затем запустите Strata и llama.cpp за одной конечной точкой с помощью llama-swap, чтобы каждая модель была доступна по имени Стоимость: одна модель, один запрос за раз, около 40 ГБ закрепленной оперативной памяти и зависание при первом запуске Сможет ли llama.cpp догнать? Я перенёс идеи предварительного заполнения в свой собственный форк и за два дня увеличил скорость обработки токенов со 120 до 620 в секунду. Вердикт: может ли он заменить 35B MoE в качестве повседневной локальной модели? Все цифры получены в результате моих собственных запусков на моей машине. ⏱️ ГЛАВЫ Большинство локальных систем ИИ испытывают трудности с большими моделями. Я нашёл движок, который заставляет Qwen 3.8 Flash работать со скоростью 900 токенов в секунду. Запуск модели размером 177 байт на бюджетной RTX 3060 должен быть невозможен, но движок вывода Strata меняет расчёты. Сосредоточившись на одной архитектуре, а не на широкой совместимости, он оптимизирует планирование памяти для обработки таких огромных параметров там, где они обычно не помещаются. Он справляется с тяжёлой работой на моей 12-гигабайтной карте без необходимости использования серверной стойки. Чтобы проверить, насколько высока скорость на практике, я создал агента для выполнения задачи по покупкам. Система выполнила поиск товаров и завершила транзакцию по покупке зубной пасты и зубной щетки менее чем за две минуты. Эта локальная производительность ИИ доказывает, что сложные логические вычисления можно проводить на потребительском оборудовании, если использовать правильные инструменты. Подписывайтесь на еженедельные обзоры оборудования и пишите в комментариях, какие задачи вы бы автоматизировали с помощью этой конфигурации. 00:00 Вступление 01:40 Что такое Strata? 04:17 Почему она почти в 8 раз быстрее? 08:34 Краткое описание декодирования 11:12 Одна конечная точка с llama.cpp 14:52 В чем подвох? 17:00 Сможет ли llama.cpp догнать конкурентов? 19:03 Сможет ли она заменить 35B MoE? 🔗 ССЫЛКИ ▶ Strata (MIT): https://github.com/Niko1221/Strata ▶ Используемый мной квант GSQ-RCO (IQ3_XXS): https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF ▶ Coder prune для машин с 32 ГБ ОЗУ: https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF ▶ llama-swap: https://github.com/mostlygeek/llama-swap ▶ Моя конфигурация llama-swap: https://github.com/thecodacus/local-ai-configs ▶ OptLlama, форк llama.cpp от сообщества, работающий над теми же идеями: https://github.com/GenerelSchwerz/llama.cpp ▶ Моё предыдущее видео о Qwen 3.8 Flash (только llama.cpp): https://www.youtube.com/watch?v=IH8XmxiwliQ 🛠️ КОНФИГУРАЦИЯ RTX 3060 12 ГБ · 64 ГБ DDR5 · Ryzen 9 7900X Qwen 3.8 Flash (IQ3_XXS) на Strata: обработка запросов 900+ ток/с, генерация ~40 ток/с Qwen 3.6 35B-A3B на llama.cpp: моя основная видеокарта на данный момент 💬 Если вы запускаете Strata на своей видеокарте, опубликуйте свои показатели обработки запросов в комментариях. Мне интересно посмотреть, как это работает на другом оборудовании. Если вам нравится запускать модели на собственном оборудовании, подпишитесь. Этот канал посвящен именно этому: возвращению контроля над собственным ИИ. #localai #localllm #llamacpp #strata #ai