|
成功解决模型训练时CPU占用高
强推文章 CPU,GPU利用率的各种问题
问题
网络训练时，我多开几个程序电脑就会卡，查看任务管理器发现CPU占用达到了将近70%，这里只介绍我在Windows系统训练时的问题。 之前看到将num_works放在if name == 'main’下可以设置更高，从而训练加速，于是我尝试后最多可以设置到4，当然训练确实变快了一些，但CPU实在是太忙了。同时我的显存占用不高，利用率也较低。
我的解决步骤
改变batchsize ，或者查看显存占用等先确认是否成功在GPU上训练；减少I/O操作，我用了tensorboard打印每次迭代的损失，但注释掉发现影响不是很大；尝试了设置pin_memory，训练更快但占用似乎更高了；设置num_works为0，同时增大batchsize，成功解决，占用在将近40%左右，训练只慢了一点点
思考问题
在测试时会有warning 打印输出，不知道会不会影响模型训练速度；降低num_works时速度确实慢了一些，思考有没有其他合适方式降CPU的同时不降速度。思考是不是因为GPU运算太快了，CPU读取文件的速度跟不上，所以会一直忙碌，要从根本上提高速度，就得用合适的数据读取方式呢，朋友们有没有好办法？
|