Методы оптимизации 4 (семинар). Матрично-векторное дифференцирование III

Таймкоды: 00:00:00 - Интро 00:00:05 - Алгоритм обратного распространения ошибки (Backpropagation) 00:06:24 - Вычисление градиента для матрично-векторной функции 00:11:23 - Покомпонентные функции и произведение Адамара 00:17:37 - Библиотеки автоматического дифференцирования 00:18:19 - Вычисление производных с помощью конечных разностей 00:23:18 - Машинная точность и разложение Тейлора 00:26:05 - Метод комплексного шага 00:28:18 - Граф вычислений на примере библиотеки Autograd 00:32:30 - Библиотека JAX: режимы Forward и Backward 00:37:03 - JAX: Just-in-time компиляция и фиксация seed 00:39:42 - Библиотека PyTorch: статические и динамические графы 00:43:20 - Использование вычислительных ресурсов (CPU и GPU) 00:44:22 - Основной тип данных PyTorch (тензоры) и базовые операции 00:49:36 - Фиксация seed для воспроизводимости экспериментов в PyTorch 00:50:52 - In-place операции и изменение размерностей тензора (view, reshape) 00:54:25 - Операции с батчами и правило суммирования Эйнштейна 00:59:02 - Работа с графом вычислений (requires_grad, backward) 01:02:20 - Особенности аккумуляции градиента 01:03:27 - Реализация собственного класса оптимизатора Дата лекции: 24.09.26 Лектор: Кормаков Георгий Владимирович Оператор: Вылубков Дмитрий Монтажёр: Вылубков Дмитрий