СПбГУ -- 2026.09.04 -- Общие сюжеты глубокого обучения, dropout, инициализация весов, batchnorm

Это лекция из курса "Глубокое обучение", который читается на Факультете математики и компьютерных наук СПбГУ осенью 2026 года. Все материалы этой и других лекций курса (слайды, доска, ноутбуки с кодом) размещены по адресу: https://sergeynikolenko.ru/courses/mlspsu2025-3 Подписывайтесь на мой телеграм-канал "Sineкура": https://t.me/sinecor 0:00 Оргвопросы, устройство курса 9:31 Краткое введение в deep learning 10:44 Вероятностный смысл функций ошибки 15:00 Нейросеть как граф вычислений 18:05 Обратное распространение ошибки 21:06 Стохастический градиентный спуск и мини-батчи 23:50 Архитектуры нейронных сетей и план курса 26:56 Регуляризация нейронных сетей 30:10 Как работает dropout 38:35 Почему dropout помогает обобщению 55:17 Вероятностный взгляд на активации нейронов 58:20 Dropout и BatchNorm на практике 1:00:17 Инициализация весов 1:03:19 Взрывающиеся и затухающие активации 1:06:10 Как контролировать дисперсию 1:12:20 Инициализация Xavier 1:15:22 Ландшафт функции ошибки и локальные минимумы 1:19:21 Функции активации и инициализация He 1:22:07 BatchNorm и covariate shift 1:24:05 Внутренний сдвиг переменных 1:26:37 Как устроен BatchNorm 1:34:13 BatchNorm, LayerNorm и InstanceNorm 1:40:17 Вопросы 1:40:52 Что BatchNorm делает на самом деле 1:43:38 Пререквизиты и формат курса