Archive

Enviornment : Amazon Linux 2 / Python 3.7.* Problem Boto3 Library 활용 시 Access key, Secret access key 를 통한 인증을 시도할 때 InvalidSignatureException 발생 botocore.exceptions.ClientError: An error occurred (InvalidSignatureException) when calling the LookupEvents operatation : The request signature we calculated does not match the signature you provided. Check your AWS Secret Access Key and signing method..

1. Row 및 Column 필터링은 최대한 앞 쪽에서 데이터를 변환하기 전, filter 함수를 먼저 적용하고 필요한 Column 만 선택하여 필요한 데이터만 처리할 수 있도록 한다. 처리 시간을 줄이고 Spark Application을 좀 더 효율적으로 만들 수 있다. 2. 적절한 File Format 선택 Avro와 같은 Row 기반 파일 형식은 Write는 빠르지만 Read는 느리고, ORC와 Parquet과 같은 Column 기반 파일 형식은 Avro에 비해 Write는 느리지만 Read는 더 빠르다. 때문에 Avro 같은 Row기반 파일 형식은 Write Once, Read Once 일 때 적합하고, ORC나 Parquet처럼 Column 기반 파일 형식은 더 자주 Read 하고 Transfo..