pytorch中的【分布式采样器distributedsampler】
在一个epoch中，sampler相当于把整个数据集
划分成了nproc_per_node份，
每个GPU每次得到batch_size的数量，
也就是nproc_per_node 个GPU分一整份数据集，
总数据量大小就为1个dataset
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
THE END
二维码