ECO-AI — энергоосознанная оптимизация обучения ИИ

ECO-AI: энергоосознанное обучение генеративных моделей (CVPR 2025) — В этом видео кратко изложена статья CVPR 2025 «ECO-AI — энергоосознанная оптимизация обучения ИИ», в которой предлагаются практические способы снизить энергопотребление и выбросы CO₂ при обучении диффузионных генераторов изображений и мультимодальных систем преобразования текста в изображение. На основе контролируемых экспериментов с моделями от ~200M до 3B параметров (запуски на 8× и до 64× NVIDIA A100 GPU) и в двух сценариях энергосети (70% против 30% возобновляемых источников) авторы показывают, что смешанная точность (FP16) снижает энергопотребление примерно на ~15%, выбросы могут увеличиваться более чем вдвое в зависимости от состава электроэнергии, энергопотребление растёт почти линейно со временем обучения, а эффективность по размеру батча улучшается до ~64–128, после чего наблюдается убывающая отдача. В конце статьи приводится «плейбук устойчивости»: использовать FP16 по умолчанию, выбирать эффективные размеры батча, планировать обучение по времени или размещать его там, где электроэнергия чище, учитывать выбор оптимизатора как энергетический компромисс, сокращать пустые вычисления с помощью ранней остановки и адаптивных расписаний, а также по возможности опираться на fine-tuning/transfer learning, чтобы избегать полного переобучения модели.