Контекст, внимание и память: в чём разница? | Урок 7

Разграничьте контекст, который получает модель, параметры, которые она изучила, и информацию, хранящуюся в приложении. Проследите за реальным вычислением весов softmax и взвешенных значений, затем измените один из предоставленных показателей и проанализируйте результат. Выдуманные числовые входные данные объясняют лишь небольшую часть механизма внимания, а не полную языковую модель. Как работает ИИ, объяснено визуально • Программирование Урок 7 из 12 • Английский • Начальный уровень Главы 00:00 За пределами последнего слова 00:19 Почему важна предыдущая информация 00:39 Контекст, параметры, хранение 00:59 Границы доступного контекста 01:19 Причинно-следственная связь и маскирование 01:38 Запросы, ключи и значения 02:03 Что не доказывает механизм внимания 02:23 Предсказание смеси 02:45 Фактический расчет softmax 03:12 Взвешенные значения смеси 03:34 Изменение одного предоставленного показателя 04:02 Контекст не является переобучением 04:23 Сохраненная информация должна поступить 04:43 Практические вопросы 05:06 Ответы и различия 05:30 Повторение и доказательства далее Основная ссылка: https://arxiv.org/html/1706.03762v7 Примечания к производству: Сгенерированные ИИ голосовые комментарии и концептуальные иллюстрации сопровождают настоящие вычисления на Python. Оценки и скалярные значения представляют собой специально созданные входные данные для обучения, и приложение вычисляет показанные веса и суммы. Хронологические изменения не содержат задержек и помечены. Демонстрация начинается после оценки запроса/ключа; она не запускает обученную модель, не генерирует токены, не извлекает личные воспоминания и не обновляет параметры. Одних только весов механизма внимания недостаточно для полного объяснения решения модели. #Внимание #Трансформеры #ИскусственныйИнтеллект #ЛинияПрограммирования