Прислушиваясь к внутреннему голосу: согласование обучения ControlNet посредством обратной связи

Семинар BayesGroup «Прислушиваясь к внутреннему голосу: согласование обучения ControlNet посредством обратной связи по промежуточным признакам» от 08.07.2025. Докладчик: Нина Коновалова (AIRI, Deep Learning School) Популярным методом для решения задачи контролируемой генерации является ControlNet, который вводит дополнительный модуль для обработки и учёта входного контроля. ControlNet++ улучшает согласованность контроля и генерации за счёт дополнительной cycle функции потерь, которая, однако, применяется только на последних шагах расшумления, в то время как именно на первых шагах генерации закладывается геометрия и основная семантика изображения. В данной работе мы предлагаем InnerControl — стратегию обучения, которая обеспечивает пространственную согласованность на всех этапах диффузионного процесса. Для этого мы используем легковесные свёрточные модели, которые восстанавливают входные сигналы генерации (например, границы или глубину) из промежуточных фичей диффузионного UNet на каждом шаге денойзинга. Затем минимизируется разница между этими предсказаниями и входным контролем. Данный подход улучшает aligning на всей траектории диффузионной генерации, что позволяет получить лучше качество генерации и соответствие входному контролю. 📎 GitHub: github.com/ControlGenAI/InnerControl 🗂 ProjectPage: controlgenai.github.io/InnerControl/ 📄 Paper: arxiv.org/abs/2507.02321 🤗 Hugging Face Papers: huggingface.co/papers/2507.02321