Локальное LLM (vLLM) на Jetson Orin NX (Ollama)

В этом видео мы запустим локальную LLM на Jetson Orin NX. Познакомимся как это можно сделать, как использовать. В завершении проведу простой эксперимент по распознаванию бытовой сцены (человек, кошка, собака). Эксперимент будет простой без цели добиться идеального качества. Цель – показать как запустить vLLM модель и как можно пользоваться. Таймкоды: 00:00 | Введение 01:41 | Запускаем Ollama на Jetson 03:52 | Запускаем Open Web UI на Jetson 12:49 | Текстовые запросы к LLM 15:39 | Работа с изображениями. 21:22 | Эксперименты камера + LLM