우영's devlog

오래 걸리는 python 프로그램을 병렬로 처리하는 방법에 대해 정리하였습니다. Celery 란? Celery는 분산 메세지 전달에 기반한 비동기 작업 큐 별도로 실행 중인 Worker Process가 Broker로부터 Message를 전달 받아 작업을 대신 수행해 주는 라이브러리입니다. Celery를 활용한 병렬 작업 처리 Celery 4.0 이상 버전은 Windows 환경을 공식 지원하지 않기 때문에 실습은 CentOS 7에서 진행하겠습니다. CentOS 환경 구성은 Virtual Box를 활용한 Spark 실습 환경 구축 Post를 참고하시기 바랍니다~ Python 설치 # 필요한 패키지 설치 yum update yum install yum-utils yum groupinstall developme..