Archive

0. Overview Pyathena 는 AWS Athena를 위한 DB API를 제공하는 Package이다. 해당 글은 외부 서버(On-Prem 등) 에서 Python 내 Pyathena 패키지를 활용하여 Athena 에 쿼리를 날리는 과정을 보여준다. 1. VPC Endpoint 생성 외부 서버에서 Athena Query 를 실행시키기 위해서는 VPC Endpoint를 이용하게 된다. VPC Endpoint 는 VPC와 AWS 서비스들을 Private 하게 연결해주고 Client 는 VPC Endpoint 의 IP / DNS 등으로 접근할 수 있다.

Enviornment : CentOS 7.8 Problem Python 을 직접 빌드하여 설치했으나, make uninstall, make -n install 등의 명령어가 먹히지 않는 상황에서 깔끔히 지워야 했다. Solution 생각보다 설치되는 위치가 많지 않아 직접 지울 수 있다. ~/.local/lib과 /usr/local 하위에만 설치되며 bin, lib, include 등의 폴더에만 설치된다. python 3.7을 기준으로 적었으며, 3.7대신 버전명만 달리 해서 진행하면 된다. 단, Linux의 경우 default로 설치되어있는 python2를 건드리지 않도록 조심해야 한다. 물론 경로가 달라서 거의 그럴 경우는 없겠다만 혹시나... 꼭 해당하는 버전에 대한 파일들만 지우자. 1. rm -..

코드 내에서 직접 파일을 다루는 경우 os.path 모듈을 사용하게 된다. 1. abspath(path) path의 절대경로를 반환한다. 입력받은 path에는 파일 혹은 폴더 이름이 들어온다. import os.path os.path.abspath("temp") >> '/Users/Desktop/temp' 2. basename(path) path의 기본이름을 반환한다. 입력받은 path에는 절대경로가 들어온다. (abspath와 반대되는 함수) import os.path os.path.basename('/Users/Desktop/temp/test.txt') >> 'test.txt' 3. dirname(path) path의 파일/디렉토리 경로를 반환한다. import os.path os.path.dirna..