| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
- 알고리즘
- Medium
- Django
- kibana
- programmers
- RecommendationSystem
- ELK
- elasticsearch
- CentOS
- daspecialty
- Algorithm
- 해시
- dump
- solution
- 파이썬
- 장고
- 리트코드
- 스파크
- Spark
- 프로그래머스
- AWS
- python
- leetcode
- Optimization
- 깊이우선탐색
- twosum
- dfs
- 키바나
- Easy
- 엘라스틱서치
- Today
- Total
목록Application (2)
Archive
[Spark] Spark Application 에 대한 이해 ( Job / Stage / Task / Transformation / Action / Lazy Evaluation )
1. Spark Application Spark로 제출되는 Job들은 Task라는 저수준 RDD Byte Code로 변환되어 Executor 들에 분산된다. Application Spark 위에서 돌아가는 사용자 프로그램. Driver Program + Executor를 칭함 SparkSession Spark Core 기능들과 상호 작용할 수 있는 진입점을 제공하는 객체이다. Spark Application 에서는 사용자가 직접 Spark Session 객체를 생성해야 한다. Job Spark Action 에 대한 응답으로 생성되는 여러 Task들로 이루어진 병렬 연산. Spark Driver는 Spark Application을 하나 이상의 Job으로 변환하고, 각 Job은 DAG(실행계획)로 변환된다...
[Django] 장고 기본개념 ( MVT / Structure / Project생성 / Application생성 )
1. MVT 웹 개발시 일반적으로 사용되는 MVC의 Django 버전. 데이터, 인터페이스, 데이터 처리로직을 분리하여 독립적으로 실행하고 각 로직들의 영향도를 최소화 하도록 설계된 개념이다 Model(Model) View(Controller) Template(View) DB에 저장되는 데이터 데이터를 가져오고 처리결과를 template에 전달 사용자에게 보여지는 UI 1) Model 사용될 데이터에 대한 정의 models.py 에 정의 ORM(Object Relational Mapping)을 통해 DB를 Class로 mapping : 하나의 Model Class는 하나의 DB Class에 Mapping, Model Class의 속성은 Table의 Column에 매핑 2) URL conf URL 과 Vi..