3. 你所热爱的，就是你的参数

①学习率设置

UNet和TE的学习率通常是不同的，因为学习难度不同，通常UNet的学习率会比TE高 。

我们希望UNet和TE都处于一个恰好的位置，但是这个值我们不知道。

如果你的模型看起来过度拟合，它可能训练Unet过头了，你可以降低学习率或更少的步数来解决这个问题。如果你的模型生成噪点图/混乱难以理解的图片，那至少需要在学习率的小数点后面加个0再进行测试。

如果模型不能复刻细节，生成图一点都不像，那么就是学习率太低了，尝试增加学习率

降低TE学习率似乎对分离对象有好处。如果你在生成图片过程中发现了多余的物品，那么就需要降低TE学习率

如果您很难在不对提示进行大量权重的情况下使内容出现，那么你就需要提高TE学习率。

更好的方法是先使用默认参数训练测试，然后再根据测试的结果来调整对应的参数。（秋叶训练包里的默认参数都是自带的）

②优化器

AdamW8bit：默认优化器，一般而言不了解/不知道测试结果的直接使用这个优化器即可

AdamW：占用显存更高，但是比8bit效果更好一点

DAdaptation：自适应调整学习率，显存占用极高。有不少人使用这个优化器来摸最开始使用的学习率

SGDNesterov8bit：极慢，不推荐使用

SGDNesterov：极慢，不推荐使用

AdaFactor：（笔者没用过）似乎效果比DAdaptation好很多

Lion：占用显存较高，效果极好，但是比较难以控制，需要bs或者等效bs大于64才能达到极佳的效果。

Lion8bit：占用显存可能更低

③调度器设置

linear：不断下降，直到最后为零。

cosine：学习率呈余弦波形上下波动。

cosine_with_restarts：（没用过带其他人补充）

polynomial：类似linear，但曲线更漂亮

constant：学习率不会改变。

constant_with_warmup：类似于constant，但从零开始，并在warmup_steps期间线性增加，直到达到给定值。

④噪声设置

noise_offset:在训练中添加噪声偏移来改良生成非常暗或者非常亮的图像，如果启用推荐为 0.1

金字塔噪声：增加模型生成图亮度对比和层次感，效果极佳建议开启