Archive

Enviornment : CentOS 7.8 Hadoop ver : 3.3.1 Problem) Namenode Format이후 datanode가 실행이 되지 않는 문제 Solution) Namenode는 format을 해주었지만 관련 임시파일은 tmp폴더에 남아있기 때문에 충돌 발생한 것입니다. 때문에 Namenode, Datanode가 실행되고 있는 모든 서버에서 해당 폴더를 지워줌으로서 해결할 수 있습니다. ① Stop Hadoop Namenode가 실행되고 있는 서버에서 진행한다. [sandbox@test-master01 ~]$ $HADOOP_HOME/sbin/stop_all.sh ② tmp dir 초기화 core-site.xml에 지정해준 tmp directory 를 초기화한다. default 경..

1. Kafka의 구성 1.1 시스템 구성 1.2 메시징 구성 2. 메시지 송수신 과정 2.1 Producer의 메시지 send 2.2 Consumer의 메시지 receive 2.3 메시지 전송시의 Partitioning 3. Replica 역할 3.1 replica 동기상태 3.2 구조 3.3 메시지 전달 보증 수준 1. Kafka의 구성 1.1 시스템 구성 Kafka Cluster Broker 메시지 수집/전달 하나의 서버 당 하나의 데몬 프로세스로 동작하여 메시지 수신/전달 요청을 받아들임 여러대의 클러스터로도 구성 가능 Broker 의 손쉬운 scale-out 가능 -> 수신/전달 처리량 향상 Broker에서 받은 데이터는 디스크에 저장됨 디스크의 용량이 한계가 있으므로 기간/용량 중 하나를 기준..

TOC What is Kafka Kafka의 특징 What is Kafka 여러대의 분산 서버에서 대량의 데이터를 처리하는 분산 메시징 시스템. 링크드인에서 만든 대량의 데이터를 높은 처리량과 실시간으로 취급하기 위한 프레임워크 확장성 : 여러 서버로 쉽게 Scale out 할 수 있음 -> 데이터 양에 따른 손쉬운 처리 Broker를 여러대 구성할 수 있고, Broker수를 증가시킴으로서 Kafka Cluster 전체의 처리량을 증가시킬 수 있다. 영속성 : 파일 기반으로 수신한 데이터를 디스크에 저장 -> 필요할 때 읽을 수 있음 디스크의 용량에 따라 기간/크기를 기준으로 저장 및 제거 가능 유연성 : 연결 할 수 있는 프레임워크들이 많음 Producer/Consumer 구현을 위한 API가 제공되어..