Celery를 활용하여 오래 걸리는 python 프로그램 병렬로 처리하기
오래 걸리는 python 프로그램을 병렬로 처리하는 방법에 대해 정리하였습니다. Celery 란? Celery는 분산 메세지 전달에 기반한 비동기 작업 큐 별도로 실행 중인 Worker Process가 Broker로부터 Message를 전달 받아 작업을 대신 수행해 주는 라이브러리입니다. Celery를 활용한 병렬 작업 처리 Celery 4.0 이상 버전은 Windows 환경을 공식 지원하지 않기 때문에 실습은 CentOS 7에서 진행하겠습니다. CentOS 환경 구성은 Virtual Box를 활용한 Spark 실습 환경 구축 Post를 참고하시기 바랍니다~ Python 설치 # 필요한 패키지 설치 yum update yum install yum-utils yum groupinstall developme..
Part1. Microservice 만들기
마이크로 서비스 실습을 위해 시리즈로 Posting할 예정입니다. freeCodeCamp의 Learn Kubernetes in Under 3 Hours: A Detailed Guide to Orchestrating Containers 블로그 글을 토대로 작성하였습니다. 제 코드는 Github에서 확인하실 수 있습니다. 1. Python Application 파이썬의 TextBlob 패키지를 활용하여 문장의 감정을 분석하는 간단한 Application 가상환경 구성 1. pyenv와 pyenv-virtualenv를 사용하여 python 환경 구성 2. pyenv activate 으로 가상환경을 활성화 한 후 아래 내용을 진행 # 가상환경 생성 $ pyenv virtualenv 3.6.4 # 가상환경 활성화..