#13 LocalModAI уже работает через API — теперь замыкаю весь цикл

43 подписчика

12+
12+

3 часа назад

ПожаловатьсяНарушение авторских прав

43 подписчика

12+
12+

3 часа назад

ПожаловатьсяНарушение авторских прав
12+
12+

3 часа назад

В этом выпуске дневника разработки LocalModAI рассказываю, что сейчас происходит с проектом, что уже удалось реализовать и над чем работаю дальше. В предыдущем видео я показывал тестовую сборку LocalModAI v0.5.0-alpha.3, локальные GGUF-модели, Runtime Pack, диспетчер мозга и систему диагностики. Одно из главных изменений — LocalModAI уже работает через API. Теперь можно использовать не только локальный мозг, но и внешние модели через API. В видео показываю подключение API через менеджер мозга и обычный запрос к модели. Это важная часть первоначальной идеи LocalModAI: меняется мозг — проект не начинается сначала. Сам проект, его история, план, решения и результаты должны сохраняться независимо от того, используется локальная модель, API или будущий специализированный инструмент. Также показываю тестовый проект, для которого мы уже прошли сбор контекста и полностью сформировали план через API. Сейчас моя главная цель — не идеальное качество ответа, а доказать работоспособность полного цикла: проект → обсуждение → сбор контекста → план → принятие плана → выполнение пункта → сохранение результата → следующий шаг. Именно этот цикл сейчас пытаюсь окончательно замкнуть. ━━━━━━━━━━━━━━━━━━━━ 🧠 ЧАТЫ, ПАМЯТЬ И КОНТЕКСТ Во время разработки выяснилось, что почти всё в LocalModAI связано с информацией: чатами, планами, решениями, файлами, изображениями, а в будущем видео, схемами, аудио и другими данными. Поэтому сейчас много времени уходит на фундамент памяти. Уже развивается: — сохранение истории чата; — промежуточный итог разговора; — контроль точки обработанной истории; — хранение важных решений и событий проекта; — подготовка к поиску по старой истории; — связи между чатами, планом и результатами. Исходная переписка при этом не должна исчезать. Итог нужен как быстрый слой памяти, а при необходимости система сможет вернуться к оригинальным сообщениям. ━━━━━━━━━━━━━━━━━━━━ 📊 ЕДИНЫЙ УЧЁТ ТОКЕНОВ Считать историю просто по количеству сообщений неправильно. Одно сообщение может содержать два слова, другое — несколько страниц текста, а дальше добавятся файлы, изображения и видео. Поэтому сейчас делаю единый механизм расчёта контекста в токенах. Он должен использоваться чатом, планированием, системой итогов, локальными моделями, API и будущими инструментами. Система должна понимать: — сколько информации способен принять конкретный мозг; — сколько контекста уже занято; — сколько нужно оставить под ответ; — какие данные действительно нужны для текущей задачи. ━━━━━━━━━━━━━━━━━━━━ 🚦 ДИСПЕТЧЕР Параллельно появляется диспетчер задач. Если пользователь ждёт ответ в чате, одновременно нужно обновить итог истории, обработать план или запустить работу с файлом — система должна понимать, что выполнять первым и какому исполнителю передать задачу. Эта архитектура ещё развивается и может меняться. ━━━━━━━━━━━━━━━━━━━━ 📁 ПАСПОРТ ПРОЕКТА Также у проекта появился паспорт — короткая визитная карточка с основной информацией: — что это за проект; — его цель; — для кого он создаётся; — какой результат должен быть получен. Даже если план проекта большой, основная информация должна оставаться доступной в коротком виде. ━━━━━━━━━━━━━━━━━━━━ 🐞 ОШИБКИ И ОБРАТНАЯ СВЯЗЬ Продолжаю дорабатывать журнал ошибок и диагностику. Если тестируете LocalModAI и находите проблему — обязательно сообщайте о ней через GitHub или Telegram. Также пишите: — что работает непонятно; — что неудобно; — какие функции вам нужны; — над чем мне стоит работать в первую очередь. Одному невозможно проверить все сценарии и конфигурации компьютеров, поэтому обратная связь очень помогает развитию проекта. ━━━━━━━━━━━━━━━━━━━━ 🧪 СКАЧАТЬ LOCALMODAI Все публичные тестовые сборки: https://github.com/alexkomarovkarelia... Открывайте самый верхний выпуск и скачивайте Windows-архив из раздела Assets. Репозиторий, инструкция и отправка ошибок: https://github.com/alexkomarovkarelia... ⚠️ LocalModAI находится на ранней стадии разработки. Возможны ошибки, зависания и незавершённые функции. Локальная ИИ-модель в сборку не входит. Для локальной работы можно подключить совместимую GGUF-модель. Не используйте текущие тестовые версии для хранения паролей, платёжных данных и другой критически важной информации. ━━━━━━━━━━━━━━━━━━━━ 📢 TELEGRAM Новости разработки, новые сборки и найденные ошибки: https://t.me/LocalModAI ━━━━━━━━━━━━━━━━━━━━ Я не профессиональный программист и начинал LocalModAI практически с нулевых знаний. Но уже сам факт, что LocalModAI можно скачать, запустить и проверить самостоятельно, для меня серьёзный результат и стимул продолжать. Спасибо всем, кто подписывается, тестирует сборки и сообщает об ошибках. Скачивайте, пробуйте и пишите, над чем мне стоит работать дальше. #LocalModAI #AI #ИИ #LocalAI #API #GGUF #Нейросети #Разработка

Название:

#13 LocalModAI уже работает через API — теперь замыкаю весь цикл

Категория:

Разное