よくあるGPUメモリの偏り PyTorchでマルチGPUをすると， こんな感じで １つのGPUのメモリだけ他に比べて多い （２倍以上）場合って OOMでバッチサイズが増やせずに悲しいですよね。 解決法 以下の方法で，8 GPUでOOMしないバッチサイズが16->32になりました…