반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
Tags
- 파이썬
- kibana
- dump
- daspecialty
- 해시
- elasticsearch
- CentOS
- Easy
- Algorithm
- programmers
- twosum
- 장고
- 리트코드
- Django
- AWS
- python
- Optimization
- 엘라스틱서치
- leetcode
- 깊이우선탐색
- 알고리즘
- 키바나
- ELK
- dfs
- Medium
- RecommendationSystem
- solution
- 스파크
- 프로그래머스
- Spark
Archives
- Today
- Total
반응형
목록2022/08/09 (1)
Archive
[Spark] Spark ( Architecture / Deploy Mode / Partition )
1. Spark Application 구조 소개 1) Spark Driver Spark Driver는 Spark Session 객체를 초기화, Cluster Manager와 통신하며 Executor들을 위해 필요한 자원 ( CPU, Mem 등)을 요청, Spark 작업을 DAG형태로 Transform 및 Scheduling 하는 역할을 한다. 즉, Spark 내 필요한 자원을 받아오고 Executor과 통신하는 일종의 Spark Job의 Managing 역할을 하게 된다. Spark Session 객체를 생성하고, 이 객체를 통해 Executor와 Cluster Manager과 통신한다. 2) Spark Session Spark Session은 Cluster Manager와 연결되는 객체로, Spark ..
------- DE -------/Spark
2022. 8. 9. 19:16
반응형