Archive

1. Spark Application 구조 소개 1) Spark Driver Spark Driver는 Spark Session 객체를 초기화, Cluster Manager와 통신하며 Executor들을 위해 필요한 자원 ( CPU, Mem 등)을 요청, Spark 작업을 DAG형태로 Transform 및 Scheduling 하는 역할을 한다. 즉, Spark 내 필요한 자원을 받아오고 Executor과 통신하는 일종의 Spark Job의 Managing 역할을 하게 된다. Spark Session 객체를 생성하고, 이 객체를 통해 Executor와 Cluster Manager과 통신한다. 2) Spark Session Spark Session은 Cluster Manager와 연결되는 객체로, Spark ..

1. 노드 ( Node ) 클러스터를 구성하는 하나의 Instance이다 데이터를 저장하고 클러스터의 Indexing과 Searching 역할을 한다. 물리서버 하나에 노드 하나를 구성하는 것을 권장하지만, 단일 서버에 복수 노드를 설치하는 것도 가능하다 HW Spec을 고려하여 노드를 구성해야한다 1.1 Master Node 클러스터는 반드시 한개의 마스터 노드를 가진다 Cluster의 모든 상태 정보 관리 및 상태 모니터링 Master Eligible Node에 의해 선출된다 (사용자 지정 X) - 선출 방식은 과반 수 이상의 투표를 얻어야 한다 - Voting only Node를 통해 Master Eligible Node가 특정 이유에 의해 대량으로 장애가 발생했을 때 Availability 확보 ..