Programming
2021. 3. 22.
[CS] 파이썬 multi-processing(parmap)
수백만 개의 데이터를 처리하는 반복이 많은 함수는 multi processing을 적용하는 게 좋다. 딥러닝 모델에서 weight를 gpu에 올리는 연산을 제외하고 대부분의 파이썬 연산은 cpu에서 진행하게 된다. cpu는 여러 개의 core를 갖는데 multi processing은 여러 core에 동일한 작업을 병렬 처리하게 해, 연산 속도를 향상한다. 기존의 파이썬에서 많이 쓰는 Pool은 함수에 파라미터가 많은 경우 처리하기가 어려웠다. parmap을 이용하면 파라미터가 많은 함수도 쉽게 병렬 처리할 수 있다. 우선 컴퓨터(서버)에 cpu core가 몇 개인지 확인해야한다. import multiprocessing NUM_CORES = multiprocessing.cpu_count() # 내 서버는..