[AWS][Athena] Query Planning 이 느린 현상

[AWS][Athena] Query Planning 이 느린 현상

 

문의 사항

안녕하세요

Athena Glue Catalog 에 저장된 테이블을 활용해 Athena Query 를 실행하고 이 결과의 s3 파일을 제공하는 API 를 운영중인데, 많은 Athena Query 가 상당히 느린 결과를 얻고 있어 문의 드립니다

아래 같은 정보를 확인한 상황인데,
* 파티션을 활용하여 Data Scanned 가 많은 것이 아님을 확인
* Query Stats 를 확인해보니 Planning은 21 seconds, Execution 은 581ms 로 Planning 이 병목임을 확인

질문1) Planning 이 오래걸리는 이유가 무엇인지, Planning 시간을 줄이려면 어떤 조치를 취해야하는지 궁금합니다

질문2) Query 중에 x, y 컬럼으로 group by 를 하여 max 값을 취한 값을 매번 활용하고 있는데, 이 데이터를 미리 만들어 둔다면 성능에 도움이 될까요? 미리 만든다면 어떤 방법으로 만들어둘 수 있을까요 ?

감사합니다.

 

답변

안녕하세요. 
  
■ 문의내용

• Athena Query 를 사용함에 있어 Planning Time 이 길게 잡히는 부분에 대한 문의를 주신 것으로 확인하였습니다.

 
■ 답변내용

• 일반적으로 Planning Time은 쿼리가 너무 복잡할 때, 테이블이 과도하게 분할 되어 있을 때, 여러개의 파티션에 대해 쿼리하고 조인하려 할 때 증가할 수 있습니다.[1]
  이는 PlanningTime 에 데이터 소스로부터 테이블 파티션을 검색하는 데 소요된 시간이 포함되기 때문입니다.[2]
   
• 문의 주신 Query 의 경우 쿼리가 단순하지 않고 데이터를 계산하고 처리하는 작업 절차가 들어 있는 것으로 확인됩니다.
  이러한 과정에서 Planning 시간에 영향을 줄 수 있습니다.
   
• 이러한 부분을 줄이기 위해 쿼리의 중간 결과를 임시 테이블에 저장하고, 이 임시 테이블을 대상으로 추가 연산을 수행하는 방법을 고려해 보시기 바랍니다..
  이는 질문 2번에 대한 답변으로 사용하실 수 있으며 이러한 방식은 계산해야 할 데이터 양을 줄여 쿼리 성능을 향상 시킬 수 있습니다.
  또한, 전체적으로 쿼리가 간소화 되므로 성능에도 도움이 됩니다.
  
  쿼리 결과를 테이블로 만드는 방법에 대해서 Docs 를 전달드리니 참고 부탁 드립니다.[3]

 
■ 참고

• [1] https://repost.aws/ko/knowledge-center/athena-queries-long-processing-time
• [2] https://docs.aws.amazon.com/ko_kr/athena/latest/ug/query-metrics-viewing.html
• [3] https://docs.aws.amazon.com/ko_kr/athena/latest/ug/ctas.html

 
 
추가 문의 사항은 회신 부탁 드립니다.
 
감사합니다.