MultiGPU (1) 썸네일형 리스트형 [Pytorch] Distributed Data Parallel Pytorch를 사용한 분산 데이터 병렬처리 Data Parallel; DP도 있지만 DDP의 경우 여러 장점이 있다고 한다. (파이토치 튜토리얼: https://tutorials.pytorch.kr/intermediate/ddp_tutorial.html) 실사용 입장에서 DP보다 고르게 데이터를 실을 수 있다는게 더 와닿았던 것 같다. ?? 1. 기본 패키지 임포트 import os import gc # regarding swap memory, no needed necessary import torch import numpy as np import torch.distributed as dist from torch.utils.data import DataLoader from torch.utils.data.. 이전 1 다음