Kafka 정리 내용을 보신 후 실습해 보시기 바랍니다. Custom Partitioner란? 기본적으로 Producer는 RoundRobin 방식으로 파티션에 메세지를 분배하는데 이 방식을 Customizing 하여 특정 Partition에 특정 데이터를 넣어주는 것 예제 코드 작성 Producer는 사용자 정보를 불러와서 UserMessage라는 Topic을 Publish하고 Consumer는 UserMessage Topic을 Subscribe 한다. maven 프로젝트 생성 후 pom.xml 파일 아래와 같이 작성 4.0.0 com.wooyoung kafka-demo 0.0.1-SNAPSHOT jar kafka-demo http://maven.apache.org UTF-8 1.8 1.8 org.ap..
Kafka 정리
Kafka를 주제로 발표했던 자료 정리한 내용입니다. Custom Partitioner 구현한 예제는 따로 블로깅하도록 하겠습니다 ^^ Kafka 소개 Kafka란? Apache Kafka was originated at LinkedIn and later became an open sourced Apache project in 2011 Kafka is written in Scala and Java. Apache Kafka is publish-subscribe based fault tolerant messaging system. It is fast, scalable and distributed by design. 대용량의 실시간 로그처리에 특화 Messaging System은 왜 사용할까? 애플리케이션/시..