在训练闪豚速写Pro模型时，学习率的选择是一个关键的超参数，它会显著影响模型的收敛速度和最终效果。
我们默认使用的是5e-5，这个学习率是一个常见的默认值，但不确保适合所有行业数据或数据量的大小，更好的学习率则要根据数据集的大小、训练目标、优化器的选择等因素来调整。
学习率与数据集大小的关系
一般来说，随着训练数据集的增大，可以使用稍微较高的学习率，因为更多的数据有助于模型更稳健地学习，从而能够承受更大的学习率而不容易出现震荡。反之，数据集较小时，较小的学习率可以帮助模型稳定收敛，避免过拟合或损失函数波动较大。
通常可以遵循以下一些经验法则来设置学习率：
- 较小的数据集（< 10万条）：
- 学习率一般会选择较小的值，比如5e-5或3e-5。这有助于模型在小数据集上稳定训练，避免过度拟合。
- 中等大小的数据集（10万-50万条）：
- 学习率可以稍微提高，比如选择5e-5或6e-5。在这种规模的数据集上，模型有足够的样本来学习复杂的模式，但学习率不宜过大，以免错过最优解。
- 大规模数据集（> 100万条）：
- 对于非常大的数据集，可以考虑稍微增加学习率到7e-5或1e-4，或者使用学习率调度（如warm-up策略）来逐步提高学习率，确保模型能有效收敛。
最好通过实验多次训练同一批数据来验证学习率的选择，采用交叉验证等方法来找到最适合你数据集和任务的学习率。
