ArthurTudor: 您好，不好意思可以问您几个问题吗，最近刚刚有机会做分布式训练，发现很多时候多服务器多卡训练时间会增加，不清楚是什么原因。 1.想问一下如果是多服务器多卡情况，比如4服务器*8卡情况，是怎么建立环状通信呢？如果是32卡感觉等待时间很长，而且可能8卡内部是nvlink/pcie线，服务器之间一般是tcp/ip内网通信，会不会造成快等慢的现象。是不是形成了两个环呢，您可以推荐一些资料吗，谢谢。 2.另外测试训练，分别在8（单服务器8卡），58（2服务器16卡），150万数据（4服务器32卡）上面训练yolov5s模型，数据是在一台主服务器上面挂载在别的服务器上面的，数据都是一致分布的，控制了超参一致，使用adam，bs单卡在64。发现训练时间分别为一个epoch7-8分钟，1小时10-20分钟，和5小时-5小时20分钟之间。因为用了a30的服务器，只有一个nvlink口，所以用的是pcie4代，yolov5s 参数是7235389，allreduce中传递梯度应该是fp16的，也没有出现溢出，内网测试带宽也是足够的，想问一下您这个时间增多可能是什么原因呢？（测试服务器显存计算能力都是一致的，看别的文章说可能是硬盘等有问题，想问一下您有没有工具可以检测呢）。 麻烦您了，谢谢。

CSDN-Ada助手: 数据处理第一步，你认为数据处理的核心是什么？

CSDN-Ada助手: 观察数据第一步，有哪些常见的机器学习观察数据的方式？

m0_59198238: 明白了

lmxhappy: 请问，nce为什么能work呢