Archive

Enviornment : Amazon Linux 2 / Python 3.7.* Problem AWS Gravtion Instance (ARM 프로세서) 에서 awswrangler package 설치 시 에러 발생 [ec2-user@ip-10-241-104-135 ~]$ pip install awswrangler Defaulting to user installation because normal site-packages is not writeable Collecting awswrangler Downloading awswrangler-2.16.1-py3-none-any.whl (248 kB) |????????????????????????????????| 248 kB 13.3 MB/s ... Collectin..

0. Overview Pyathena 는 AWS Athena를 위한 DB API를 제공하는 Package이다. 해당 글은 외부 서버(On-Prem 등) 에서 Python 내 Pyathena 패키지를 활용하여 Athena 에 쿼리를 날리는 과정을 보여준다. 1. VPC Endpoint 생성 외부 서버에서 Athena Query 를 실행시키기 위해서는 VPC Endpoint를 이용하게 된다. VPC Endpoint 는 VPC와 AWS 서비스들을 Private 하게 연결해주고 Client 는 VPC Endpoint 의 IP / DNS 등으로 접근할 수 있다.

EMR은 기존 Hadoop에서의 Computing 부분을 그대로 구현해 놓은 플랫폼이라고 이해하면 된다. (Storage는 HDFS를 사용할수도 있지만, 주로 Object Strorage인 S3과 함께 사용한다.) Cloud 특성에 맞게 Auto Scaling 도 지원하여 처리량에 따라 Instance를 유동적으로 Scale In/Out을 할 수 있으나, 흔히 떠올리는 Auto Scaling 처럼 바로바로 인스턴스가 할당되고 회수되진 않는다. 회수는 바로 해가지만 할당하는데는 8~20분 정도 걸리는 것 같다. EMR 내에는 Hadoop, JupyterHub, Hive, Zeppelin, Flink, Spark, Hue 등 다양한 분산처리 및 노트북 환경들을 제공한다. 아래와 같이 내가 필요한 서비스의 버..

*실습1/실습2/실습3/ 에 이어지는 내용으로, 클래스 뷰 활용 1. 패이지 설계 루트 페이지 생성 1) UI 설계 2) View Flow 설계 2. URLconf 설계한 View Flow를 참고하여 URLconf를 정의 #Djangoproject/urls.py from django.contrib import admin from django.urls import path, include #import view from djangoProject import views urlpatterns = [ path('admin/', admin.site.urls), #루트 페이지 추가 path('', views.HomeView.as_view(), name='home'), path('polls/', include('po..

*실습1/실습2에 이어지는 내용으로, 클래스 뷰 활용 1. Application 설계 책/저자/출판사 정보를 관리하는 Web = 정보 입력/수정/삭제 기능 필요 1) UI 설계 책 요약 페이지 / 책 리스트 / 책 상세페이지 총 세 개의 페이지로 되어있다. 2) Table 설계 ① Book Table ② Author Table ③ Publisher Table 3) View Flow 설계 2. Application 설계 ① App 생성 $ python manage.py startapp books ② App 등록 settings.py에서 'books.apps.BooksConfig' 추가 #DjangoProject/settings.py # Application definition INSTALLED_APPS =..

1. Class-Based View 효율적인 메소드 구분 및 상속 및 Generic View를 사용하기 위해 보통 Class로 View 함수를 구성한다 1) URL conf View Class에서 제공하는 as_view() 메소드를 통해 클래스형 뷰 사용을 명시해준다. #urls.py from django.urls import path from myapp.views import MyView urlpatterns = [ path('about/',MyView.as_view()), ] 2) View 정의 as_view() 메소드는 클래스의 인스턴스를 생성하고, disparch() 메소드를 호출하여 HTTP 메소드를 파악하여, 동일한 HTTP 메소드를 파악하여 해당 함수를 호출한다. 해당하는 HTTP 메소드가 ..

1. HTML Form ~ 사이에 있는 element들의 집합이며 사용자 입력을 받기 위해 사용된다 - - action : form 데이터를 어디로 보낼지 지정 - method : POST 폼에 입력된 텍스트, 항목 등의 데이터는 서버로 보내지며, 데이터 전송시 POST 방식만을 사용한다. - POST : 서버 시스템 상태를 바꾸는 요청 ( cf. GET : 서버 시스템 상태를 바꾸지 않는 요청 - URL에 데이터가 포함되어 검색에 적절) 2. Django Form Form 데이터 처리과정 Form 화면 선택 -> HTML 렌더링 -> Interface를 통한 입력 및 수정 -> 서버에서의 데이터 유효성 검증 -> 저장/전달 Django 제공 기능 Form 생성에 필요한 데이터를 Form Class로의 ..

0. Overview MVT 에서 UI를 담당하고 있는 시스템으로, Template문법으로 작성된 Template 코드를 해석하여 Template 파일로 결과물을 만든다. Rendering : Template code -> Template File(HTML / JSON / XML 등) 으로 해석하는 과정 1. Variable 변수는 {{ variable }} 형태로 작성한다. 변수의 속성에 접근하기 위해서는 . 를 사용하는데, 변수 타입에 따라 다르게 해석한다. 아래의 순서대로 lookup을 시도한다. ex) foo.bar ① if foo : dictionary -> foo['bar'] ② if bar is exist -> foo.bar ③ if foo is list -> foo[bar] 2. Filt..

0. Overview Django 의 Admin은 프로세스에 관련된 Admin이 아니라 데이터에 대한 CRUD를 제공한다. 1. 데이터 입력/수정 models.py 파일에 정의한 Field 타입에 따라 적합한 UI를 보여준다 #models.py class Question(models.Model): question_text = models.CharField(max_length=200) pub_date = models.DateField('date_published') 2.필드 순서 변경 데이터 변경이 아닌 Admin 상에서 테이블을 보여주는 UI 양식을 변경하고 싶을 때 /polls/admin.py를 통해 변경할 수 있다 #admin.py from django.contrib import admin from ..

0. Overview - View/ Template 코딩전에 Request / Response에 대한 로직을 설계하고 시작해야 한다. - URL ~ View 는 N:1 매핑이 가능하다. 코딩순서 urls.py views.index() views.detail() views.vote() views.results() 1. URLconf 위의 로직에 따라 URLconf와 View를 설계해 보면 아래와 같다 URL 패턴 뷰 이름 뷰가 처리하는 내용 /polls/ index() index.html template 보여줌 /polls/5/ detail() detail.html template 보여줌 /polls/5/vote/ vote() detail.html에 있는 form을 POST방식으로 처리 /polls/5/r..