본문 바로가기

쉘터

(16)
[Pytorch] Distributed Data Parallel Pytorch를 사용한 분산 데이터 병렬처리 Data Parallel; DP도 있지만 DDP의 경우 여러 장점이 있다고 한다. (파이토치 튜토리얼: https://tutorials.pytorch.kr/intermediate/ddp_tutorial.html) 실사용 입장에서 DP보다 고르게 데이터를 실을 수 있다는게 더 와닿았던 것 같다. ?? 1. 기본 패키지 임포트 import os import gc # regarding swap memory, no needed necessary import torch import numpy as np import torch.distributed as dist from torch.utils.data import DataLoader from torch.utils.data..
Left-Right Flip Method 구현 입력값 array: np.array(), width: int, height: int 좌우 반전 메소드 구현 실행시간 전혀 고려안했음 start, end (좌표로 사용할 값) 구하는게 핵심인듯 이걸 왜 생각못했지 img = [0, 1, 1, 0, 1, 0, 0, 1, 1, 1, 0, 1, 0, 0, 1, 0] height, width = 4, 4 output_1 = [] output_2 = [] ### 1. temp list for h in range(height): start = h*width end = start+width temp = [] for idx in range(end, start, -1): temp.append(img[idx-1]) output_1.append(temp) ### 2. reve..
[configuration] Jupyter Notebook 터널링 Config 생성 및 수정 Config 파일 생성 + password 해시값 얻기 (base) $ jupyter notebook --generate-config Writing default config to: /home/user/.jupyter/jupyter_notebook_config.py (base) $ python Python 3.9.12 (main, Apr 5 2022, 06:56:58) [GCC 7.5.0] :: Anaconda, Inc. on linux Type "help", "copyright", "credits" or "license" for more information. >>> from notebook.auth import passwd >>> passwd() Enter password:..
[tool] TorchIO를 활용한 medical dataset processing Medical Image는 아무래도 전문 지식이 없으면 다루기가 쉽지 않은것같다. 구글링하면 관련 개념과 구현코드는 나와있는데, 뭔가 중구난방되어있고 쓰기 복잡하다고 해야하나 커스텀 네트워크 짜보면서 소 뒷발질하듯이 데이터 전처리 도구를 찾다가 발견한 TorchIO.. 간단하게 쓰기 괜찮아보임 * 비슷하게 Nvidia에서 만든 플랫폼 MONAI, 사견이지만 딥하게 들어가려면 TorchIO보다는 이게 더 나은거같다. 다만 쓰기 귀찮을뿐 ㅎ.. TorchIO Official DOC TorchIO PyPI downloads PyPI version Conda version Google Colab notebooks Documentation status Tests status Code style: black Cov..
[scikit-learn] F1 Score 산출 F1 Score 관련 설명 잘 되어있는 링크: https://towardsdatascience.com/the-f1-score-bec2bbc38aa6 The F1 score All you need to know about the F1 score in machine learning. With an example applying the F1 score in Python. towardsdatascience.com * Segmentation 결과값과 GT와의 정확도를 비교해야 해서 다시금 찾아보고 정리함 파일 내 클래스가 균형있게 분포되어 있지 않아 단순 정확도보단 F1 Score로 비교하는게 맞는 것 같다. 아래 두 가지 방식 중 하나 골라잡으면 될 것 같음. f1_score: 스코어 평균 산출 (macro-단..
그렸던 것들 그동안 그린것들 인스타에만 잔뜩 올려놔서 개중에 괜찮다 싶은 거 몇 개 찝어서 올려봄 처음에 그렸던 아이린이 너-무 마음에 안들어서 다른 사진으로 그려보았다. 나름 잘 그려진 것 같다,, 근데 어느 낙서장에 그려놨는지 못 찾겠다. 아 ㅡ 옛-날에 프로듀스 머시기 사진 보고 이거다! 싶으면서 그렸던거 머리카락이 마음에 안들어서 리터칭이랍시고 선 몇개 더 그었음. 여담으로 요새 아이들 성장속도가 어마무시하다. 남자애나 여자애나 둘 다 신체만 보면 나이 가늠이 잘 안 된다; 아니 그냥 내가 늙어가는건가 싶기도 하고;; 막학기 캡스톤때문에 레드불 코딩노예질 하다가 개뜬금포 생각나서 그려본 올라프: 롤 올라프 X 프로즌 올라프 전 프로즌 브롤라프가 좋아요. 엘사! 네 엄마다! 아는 애들한테 커미션 해주는 중 근데..
[configuration] CUDA & cuDNN 설치 - WINDOWS, UBUNTU 당연한 이야기겠지만 M1 맥북에 torch 조합은 CUDA 가속이 안 된다. 그래도 어거지로 사용해보려고 했는데 kaggle 데이터셋을 가지고 학습해보니 말도 안되는 시간(...)이 소요되어 원활한 학습을 위해 최근에 새로 장만한 겜트북에 CUDA/cuDNN를 설치하고 그 과정을 정리해 보았다. + 어쩌다보니 우분투 서버에도 설치해야 해서 우분투 내용까지 추가함! * 여담이지만 오랜만에 윈도우 OS를 다뤄보니 리눅스가 훨씬 쉬운 것 같다.; 아니 윈도우는 자동으로 패스 설정도 해주니까,, 그냥 내가 좀 이상한 것 같다; 1. 그래픽 카드(GPU) 확인 장치 관리자에서 모델명을 확인하는 방법도 있고, CPU-Z와 같은 서드파티 앱을 사용해도 된다. 나는 랩탑 구매 전 미리 GPU를 체크하고 구매했으므로 d..
[book] Deep learning (Adaptive Computation and Machine Learning series) 앞으로 영어 공부도 할 겸 기초지식 환기 혹은 연구 목적으로 원서를 읽어봐야겠다. 많이는 아니더라도 서브 카테고리는 읽고 간략히 리뷰를 남기는게 목적인데 잘 실행될지는 모르겠고. q: Amazon link, 미리보기는 봇 방지를 위해 막아놨길래 삭제 Deep Learning: https://www.amazon.com/Deep-Learning-Adaptive-Computation-Machine/dp/0262035618 * 애플의 기계학습 팀의 리더로 근무중인 이안 굿펠로우가 몬트리올 대학교에서 공부할 때 지도교수였던 요슈아 벤지오와 아론 쿠르빌과 쓴 책이라고 하며, 목차를 대충 넘겨봤는데 관련 수학지식부터 전통적인 머신러닝 방식 및 딥 러닝 관련 부분까지 다룬 듯 하네용. 저한텐 앞 부분은 크게 중요하지 ..