Dharma-AI 分析了 272 次实际微调任务,从开始到释放集群资源计时。即使用考虑计算、内存传输和设备通信的解析模型做估算,其结果的中位数也只相当于实测时长的 11%。排队的人要等的是整个任务结束。
作者发现,训练期间累计送去评估的样本量尤其有助于预测总耗时。评估集多大、多久跑一次评估,以及写出多少检查点,都会占用时间。这个结果可以指导相近集群先收集哪些日志,换一套环境仍要重新校准。
一组共享 GPU 集群上的 272 次生产训练记录,揭示了理论计算量和实际占机时间的差距。

Dharma-AI 分析了 272 次实际微调任务,从开始到释放集群资源计时。即使用考虑计算、内存传输和设备通信的解析模型做估算,其结果的中位数也只相当于实测时长的 11%。排队的人要等的是整个任务结束。
作者发现,训练期间累计送去评估的样本量尤其有助于预测总耗时。评估集多大、多久跑一次评估,以及写出多少检查点,都会占用时间。这个结果可以指导相近集群先收集哪些日志,换一套环境仍要重新校准。