Archive

Enviornment : Amazon Linux 2 / Python 3.7.* Problem Boto3 Library 활용 시 Access key, Secret access key 를 통한 인증을 시도할 때 InvalidSignatureException 발생 botocore.exceptions.ClientError: An error occurred (InvalidSignatureException) when calling the LookupEvents operatation : The request signature we calculated does not match the signature you provided. Check your AWS Secret Access Key and signing method..

0. Overview Pyathena 는 AWS Athena를 위한 DB API를 제공하는 Package이다. 해당 글은 외부 서버(On-Prem 등) 에서 Python 내 Pyathena 패키지를 활용하여 Athena 에 쿼리를 날리는 과정을 보여준다. 1. VPC Endpoint 생성 외부 서버에서 Athena Query 를 실행시키기 위해서는 VPC Endpoint를 이용하게 된다. VPC Endpoint 는 VPC와 AWS 서비스들을 Private 하게 연결해주고 Client 는 VPC Endpoint 의 IP / DNS 등으로 접근할 수 있다.

EMR은 기존 Hadoop에서의 Computing 부분을 그대로 구현해 놓은 플랫폼이라고 이해하면 된다. (Storage는 HDFS를 사용할수도 있지만, 주로 Object Strorage인 S3과 함께 사용한다.) Cloud 특성에 맞게 Auto Scaling 도 지원하여 처리량에 따라 Instance를 유동적으로 Scale In/Out을 할 수 있으나, 흔히 떠올리는 Auto Scaling 처럼 바로바로 인스턴스가 할당되고 회수되진 않는다. 회수는 바로 해가지만 할당하는데는 8~20분 정도 걸리는 것 같다. EMR 내에는 Hadoop, JupyterHub, Hive, Zeppelin, Flink, Spark, Hue 등 다양한 분산처리 및 노트북 환경들을 제공한다. 아래와 같이 내가 필요한 서비스의 버..

Direct Connect 주로 전용 회선을 통해 AWS 서비스들과 On-Premise 자원들을 연결하여 하이브리드 환경을 구축하고자 할 때 사용한다. 전용회선을 통한 통신이기 때문에 인터넷을 통하지 않고 사용할 수 있기 때문에 높은 보안성을 제공한다. 일관된 네트워크 성능을 제공하고 Transit Gateway를 통한 연결보다는 저렴하다는 특징이 있다. 구조를 자세히 보자면, Direct Connect Location 을 구축해 두고 On-Prem ~ Direct Connect Location 까지는 전용선을 통해 연결, Direct Connect Location ~ AWS 서비스들 까지는 VIF ( Virtual Interface ) 를 통해 연결하는 구조이다. Direct Connect Locati..