3. 你所热爱的,就是你的参数

创建于 2024-02-05 / 746
字体: [默认] [大] [更大] 收藏文档
①学习率设置

UNet和TE的学习率通常是不同的,因为学习难度不同,通常UNet的学习率会比TE高 。

我们希望UNet和TE都处于一个恰好的位置,但是这个值我们不知道。


如果你的模型看起来过度拟合,它可能训练Unet过头了,你可以降低学习率或更少的步数来解决这个问题。如果你的模型生成噪点图/混乱难以理解的图片,那至少需要在学习率的小数点后面加个0再进行测试。

如果模型不能复刻细节,生成图一点都不像,那么就是学习率太低了,尝试增加学习率

降低TE学习率似乎对分离对象有好处。如果你在生成图片过程中发现了多余的物品,那么就需要降低TE学习率

如果您很难在不对提示进行大量权重的情况下使内容出现,那么你就需要提高TE学习率。

更好的方法是先使用默认参数训练测试,然后再根据测试的结果来调整对应的参数。(秋叶训练包里的默认参数都是自带的)

image.png

②优化器

AdamW8bit:默认优化器,一般而言不了解/不知道测试结果的直接使用这个优化器即可

AdamW:占用显存更高,但是比8bit效果更好一点

DAdaptation:自适应调整学习率,显存占用极高。有不少人使用这个优化器来摸最开始使用的学习率

SGDNesterov8bit:极慢,不推荐使用

SGDNesterov:极慢,不推荐使用

AdaFactor:(笔者没用过)似乎效果比DAdaptation好很多

Lion:占用显存较高,效果极好,但是比较难以控制,需要bs或者等效bs大于64才能达到极佳的效果。

Lion8bit:占用显存可能更低

③调度器设置

linear:不断下降,直到最后为零。

cosine:学习率呈余弦波形上下波动。

cosine_with_restarts:(没用过带其他人补充)

polynomial:类似linear,但曲线更漂亮

constant:学习率不会改变。

constant_with_warmup:类似于constant,但从零开始,并在warmup_steps期间线性增加,直到达到给定值。

④噪声设置

noise_offset:在训练中添加噪声偏移来改良生成非常暗或者非常亮的图像,如果启用推荐为 0.1

金字塔噪声:增加模型生成图亮度对比和层次感,效果极佳建议开启


1 人点赞过