Amazon Athena FAQ

Q: Amazon Athena란 무엇입니까?

Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스입니다. Athena는 서버리스 서비스이므로 설정하거나 관리할 인프라가 없으며 데이터 분석을 즉시 시작할 수 있습니다. Athena로 데이터를 로드할 필요 없이 S3에 저장된 데이터를 직접 사용하면 됩니다. 시작하려면 Athena Management Console에 로그인하여 스키마를 정의한 후 쿼리를 시작하십시오. Amazon Athena는 표준 SQL을 완벽 지원하는 Presto를 사용하며, CSV, JSON, ORC, Apache Parquet, Avro 등 다양한 표준 데이터 형식과 호환됩니다. Amazon Athena는 무엇보다도 신속한 임의 쿼리 작업에 적합하며, Amazon QuickSight와 통합하여 손쉽게 시각화할 수 있을 뿐만 아니라 라지 조인, 창 함수 및 어레이를 포함해 복잡한 분석을 처리할 수도 있습니다.

 

Q: Amazon Athena로 무엇을 할 수 있나요?

Amazon Athena는 Amazon S3에 저장된 데이터를 분석하는 데 도움이 됩니다. Athena를 사용하면 데이터를 집계하거나 Athena로 로드할 필요 없이 ANSI SQL을 사용한 임의 쿼리를 실행할 수 있습니다. Amazon Athena는 비정형, 반정형 및 정형 데이터 세트를 처리할 수 있습니다. 예를 들면 CSV, JSON, Avro 또는 컬럼 방식 데이터 형식(예: Apache Parquet 및 Apache ORC)이 해당됩니다. Amazon Athena는 Amazon QuickSight와 통합되어 쉽게 시각화할 수 있습니다. 또한, Amazon Athena를 사용하면 보고서를 생성하거나 ODBC 또는 JDBC 드라이버를 통해 연결된 비즈니스 인텔리전스 도구나 SQL 클라이언트로 데이터를 탐색할 수도 있습니다.

 

Q: Amazon Athena를 사용하려면 어떻게 시작해야 하나요?

Amazon Athena를 시작하려면 Athena용 AWS Management Console에 로그인한 후 콘솔에서 DDL 문을 작성하거나 테이블 만들기 마법사를 사용하여 스키마를 작성하십시오. 그러면 기본 제공된 쿼리 편집기를 사용하여 데이터 쿼리를 시작할 수 있습니다. Athena는 Amazon S3에서 직접 데이터를 쿼리하기 때문에 로드할 필요가 없습니다.

 

Q: Amazon Athena에 액세스하려면 어떻게 해야 합니까?

Amazon Athena는 AWS Management Console, API, ODBC 또는 JDBC 드라이버를 통해 액세스할 수 있습니다. ODBC 또는 JDBC 드라이버를 사용하여 프로그래밍 방식으로 쿼리를 실행하고 테이블 또는 파티션을 추가할 수 있습니다.

 

Q: Amazon Athena와 관련된 서비스 한도에는 어떤 것이 있습니까?

서비스 한도에 대해 자세히 알아보려면 여기를 클릭하십시오.

 

Q: Amazon Athena의 기본 기술은 무엇입니까?

Amazon Athena는 표준 SQL을 완벽 지원하는 Presto를 사용하며 CSV, JSON, ORC, Avro, Parquet 등 다양한 표준 데이터 형식과 호환됩니다. Athena는 라지 조인, 창 함수 및 어레이를 포함해 복잡한 분석을 처리할 수 있습니다. Amazon Athena는 Amazon S3를 기본 데이터 스토어로 사용하기 때문에 가용성과 내구성이 뛰어나며 여러 시설 및 각 시설 내 여러 디바이스에 걸쳐 데이터가 중복 저장됩니다. 여기에서 Presto에 대해 자세히 알아보십시오.

 

Q: Amazon Athena는 테이블 정의와 스키마를 어떻게 저장하나요?

Amazon Athena는 Amazon S3에 저장된 데이터에 대해 사용자가 생성한 데이터베이스 및 테이블에 관한 정보와 스키마를 저장하기 위해 관리형 데이터 카탈로그를 사용합니다. AWS Glue가 제공되는 리전에서는 Amazon Athena에서 AWS Glue 데이터 카탈로그를 사용하도록 업그레이드할 수 있습니다. AWS Glue가 제공되지 않는 리전에서는 Athena가 내부 카탈로그를 사용합니다.

DDL 문을 사용하거나 AWS Management Console을 통해 카탈로그를 수정할 수 있습니다. 사용자가 정의하는 모든 스키마는 명시적으로 삭제하지 않는 한, 자동으로 저장됩니다. Athena는 스키마-온-리드(schema-on-read) 기술을 사용합니다. 즉, 쿼리가 실행될 때 사용자의 테이블 정의가 S3의 데이터에 적용됩니다. 데이터 로드 또는 변환을 할 필요가 없습니다. Amazon S3에 저장된 기본 데이터에 영향을 주지 않고도 테이블 정의 및 스키마를 삭제할 수 있습니다.

 

Q: AWS Glue 데이터 카탈로그를 사용하도록 업그레이드해야 하는 이유는 무엇입니까?

AWS Glue는 완전관리형 ETL 서비스입니다. Glue는 3가지 주요 요소로 구성됩니다. 바로 1) 자동으로 데이터 원본을 스캔하고 데이터 형식을 파악하고 스키마를 추론하는 크롤러, 2) 데이터를 변환하고 다양한 대상으로 이동할 수 있는 완전관리형 ETL 서비스, 그리고 3) S3 또는 ODBC나 JDBC 호환 데이터 스토어에 저장된 데이터베이스 및 테이블에 관한 메타데이터 정보를 저장하는 데이터 카탈로그입니다. Glue를 충분히 활용하기 위해서는 Athena가 내부 데이터 카탈로그에서 Glue 데이터 카탈로그를 사용하도록 업그레이드해야 합니다.

Glue 데이터 카탈로그로 업그레이드할 때의 이점은 다음과 같습니다.

여기를 클릭하여 Glue 데이터 카탈로그에 대해 자세히 알아보십시오.

 

Q: AWS 데이터 카탈로그로 업그레이드할 수 있는 단계별 안내서가 있습니까?

예. 여기에서 단계별 안내서를 확인할 수 있습니다.

 

Q: Amazon Athena는 어떤 리전에서 사용할 수 있나요?

리전별 Amazon Athena 서비스 가용성에 대한 자세한 내용은 리전별 제품 및 서비스를 참조하십시오.

Q: Athena 평가판에서는 어떤 기능을 제공합니까?

이제 Athena SQL 쿼리에서 SageMaker 기계 학습(ML) 모델을 호출하여 추론을 실행할 수 있습니다. SQL 쿼리에서 ML 모델을 사용하면 이상 탐지, 고객 코호트 분석 및 판매 예측과 같은 복잡한 작업을 SQL 쿼리 작성처럼 간단하게 수행할 수 있습니다. 자세히 알아보기.

 

연합 쿼리를 사용하면 이제 온프레미스 또는 AWS에서 호스팅되는 다양한 데이터 스토어에 저장된 데이터를 동일한 쿼리 내에서 분석할 수 있습니다. Athena는 관계형, 비관계형, 객체 또는 사용자 지정 데이터 소스에서 연합 쿼리를 지원합니다. 또한 Query Federation SDK를 사용하여 자체 데이터 원본 커넥터를 작성할 수도 있습니다. 자세히 알아보기.

 

사용자 정의 함수(UDF)를 사용하면 이제 Java로 자체 함수를 작성한 후 Athena SQL 쿼리에서 이를 호출할 수 있습니다. 자세히 알아보기.

 

Athena를 외부 Apache Hive Metastore에 연결할 수 있습니다. 데이터 세트가 Amazon S3에 저장되고 AWS Glue 데이터 카탈로그를 메타데이터 스토어로 사용하는 경우 AWS Lambda 기반 데이터 원본 커넥터를 사용하여 Athena를 Hive Metastore에 연결할 수 있습니다. 자세히 알아보기.

 

Q: 평가판 기능을 테스트하려면 어떻게 해야 합니까?

Workgroup AmazonAthenaPreviewFunctionality에서 시작되는 모든 Athena 쿼리는 평가판 테스트 쿼리로 간주됩니다. Athena API 또는 Athena UX를 사용하여 새로운 Workgroup AmazonAthenaPreviewFunctionality를 생성하고 설정할 수 있습니다. 새로운 Workgroup을 생성하려면 여기에 나온 단계를 따르십시오.

 

다음 주의 사항은 평가판 기능을 사용하는 데 중요합니다. Workgroup 이름을 편집하지 마십시오. Enable CloudWatch metrics 및 Enable Requester Pays와 같은 다른 Workgroup 속성은 편집할 수 있습니다. Athena 콘솔, JDBC/ODBC 드라이버 또는 API를 사용하여 테스트 쿼리를 제출할 수 있습니다. 테스트 쿼리를 제출할 때는 Workgroup: AmazonAthenaPreviewFunctionality를 지정해야 합니다. 평가판 기능은 us-east-1, us-west-2, ap-south-1, eu-west-1 리전에만 제공됩니다. 다른 리전에서 Athena를 사용하면서 Workgroup: AmazonAthenaPreviewFunctionality를 사용하여 쿼리를 제출하면 쿼리가 실패하게 됩니다. 평가판 모드에서는 교차 AWS 리전 호출 기능이 지원되지 않습니다.

 

Q: 프로덕션 계정에서 Athena 평가판 기능을 사용하는 것이 안전합니까?

프로덕션 워크로드는 평가판 Workgroup AmazonAthenaPreviewFunctionality에 온보딩하지 않는 것이 좋습니다. 쿼리 성능은 평가판 Workgroup과 계정의 다른 Workgroup 간에 다를 수 있습니다. 또한 AWS에서 평가판 Workgroup에 이전 버전과 호환되지 않는 새로운 기능과 버그 수정 사항을 추가할 수도 있습니다.

 

Q: 쿼리를 제출하려면 어떻게 해야 합니까?

Athena 콘솔이나 Athena API를 사용하거나 Athena 평가판 JDBC 드라이버를 통해 SQL WorkBench와 같은 상용 쿼리 및 결과 시각화 도구를 사용하여 쿼리를 제출할 수 있습니다.

 

Q: 평가판 기능 기능에 대한 피드백을 제공하려면 어떻게 해야 합니까?

AWS에서는 고객의 피드백을 중요하게 생각합니다. athena-feedback@amazon.com.으로 피드백을 보내주십시오.

 

Q: 평가판 기능을 테스트하는 데 요금이 부과됩니까?

평가판 사용 중에는 연합 데이터 원본에서 스캔한 데이터에 대한 요금이 청구되지 않습니다. 그러나 Amazon S3에서 스캔한 데이터에 대해서는 표준 Athena 요금이 청구됩니다. 또한 Amazon S3, AWS Lambda, AWS Glue, Amazon SageMaker 및 AWS Serverless Application Repository와 같이 Athena와 함께 사용하는 AWS 서비스에 대해서도 표준 요금이 청구됩니다. 예를 들어 스토리지, 요청 및 리전 간 데이터 전송에 대해 S3 요금이 청구됩니다. 기본적으로 쿼리 결과는 선택한 S3 버킷에 저장되고 표준 Amazon S3 요금이 청구됩니다. AWS Lambda를 사용하는 경우에는 함수 요청 수와 기간, 코드를 실행하는 데 걸리는 시간에 따라 요금이 청구됩니다.

 

Q: 평가판이 종료되면 어떻게 됩니까?

Workgroup AmazonAthenaPreviewFunctionality를 사용하여 제출된 모든 쿼리가 실패하게 됩니다. 다른 Workgroup을 사용하여 계속 쿼리를 제출할 수 있습니다. Workgroup을 지정하지 않으면 쿼리는 자동으로 기본 Primary Workgroup을 사용하여 실행됩니다. 기능 평가판은 언제든지 종료될 수 있음을 유념하시기 바랍니다.

Q: Amazon Athena, Amazon EMR 및 Amazon Redshift의 차이점은 무엇인가요?

Amazon Athena 같은 쿼리 서비스, Amazon Redshift 같은 데이터웨어 하우스 및 Amazon EMR 같은 정교한 데이터 처리 프레임워크는 모두 서로 다른 요구와 사용 사례를 처리합니다. 작업에 적합한 도구를 선택하기만 하면 됩니다. Amazon Redshift는 엔터프라이즈 보고 및 비즈니스 인텔리전스 워크로드, 그 중에서도 특히 여러 조인 및 하위 쿼리가 포함된 매우 복잡한 SQL과 관련된 워크로드에 대해 가장 빠른 쿼리 성능을 제공합니다. Amazon EMR을 사용하면 하둡, Spark, Presto 등 고도로 분산된 처리 프레임워크를 온프레미스 배포 환경보다 더 간단하면서도 비용 효율적으로 실행할 수 있습니다. Amazon EMR은 유연합니다. 사용자 지정 애플리케이션 및 코드를 실행하고 특정 컴퓨팅, 메모리, 스토리지 및 애플리케이션 파라미터를 정의하여 분석 요구 사항을 최적화할 수 있습니다. Amazon Athena는 서버를 설정하거나 관리할 필요 없이 S3의 데이터에 대한 임의 쿼리를 가장 쉽게 실행할 수 있는 방법을 제공합니다.

 

Q: Amazon Redshift처럼 완벽한 기능을 제공하는 엔터프라이즈 데이터 웨어하우스와 Amazon Athena 같은 쿼리 서비스는 각각 언제 사용해야 하나요?

Amazon Redshift 같은 데이터 웨어하우스는 인벤토리 시스템, 금융 시스템, 소매 판매 시스템 등 다양한 소스의 데이터를 하나의 공통 형식으로 취합하여 장기간 보관하고 과거 데이터에서 정교한 비즈니스 보고서를 작성할 필요가 있을 때 사용하는 것이 가장 좋으며 그 다음으로는 Amazon Redshift 같은 데이터 웨어하우스를 사용하는 것이 좋습니다.

 

데이터 웨어하우스는 회사 내 전체 조직에서 데이터를 수집하고 보고서 생성 및 분석을 위한 "단일 출처"의 역할을 담당합니다. 데이터 웨어하우스는 여러 소스의 데이터를 가져와서 형식을 지정하고 구성 및 저장하며, 비즈니스 보고서를 생성하는 복잡한 고속 쿼리를 지원합니다. Amazon Redshift의 쿼리 엔진은 특히 이러한 사용 사례(많은 수의 대규모 데이터베이스 테이블을 조인하는 복잡한 쿼리를 실행해야 할 경우)에서 원활하게 작동하도록 최적화되었습니다. TPC-DS는 이러한 사용 사례를 복제하도록 설계된 표준 벤치마크이며 Redshift는 이러한 쿼리를 비정형 데이터에 최적화된 쿼리 서비스보다 최대 20배 더 빠르게 실행합니다. 매우 방대한 양의 테이블에서 수많은 조인을 사용하여 고도의 정형 데이터에 대한 쿼리를 실행해야 할 경우 Amazon Redshift를 선택하시기 바랍니다.

 

이에 비해 Amazon Athena 같은 쿼리 서비스를 사용하면 데이터 형식 지정 또는 인프라 관리에 대해 고민할 필요 없이 Amazon S3에서 데이터에 대한 대화형 쿼리를 직접 쉽게 실행할 수 있습니다. 예를 들면, Athena는 사이트에서 성능 문제를 해결하기 위해 일부 웹 로그에서 빠른 쿼리를 실행하기만 하면 될 경우에 안성맞춤입니다. 쿼리 서비스를 사용하면 신속하게 시작할 수 있습니다. 데이터에 대한 테이블을 정의하고 표준 SQL을 사용하여 쿼리를 시작하면 됩니다.

 

두 서비스를 함께 사용할 수도 있습니다. Amazon S3에서 데이터를 준비한 후 Amazon Redshift에 로드하면 해당 데이터를 Amazon Athena에 등록하여 쿼리할 수도 있습니다.

 

Amazon EMR과 Amazon Athena는 각각 언제 사용해야 합니까?

Amazon EMR은 SQL 쿼리를 실행하는 것 이외에도 상당히 많은 작업을 수행합니다. EMR을 사용하면 Machine Learning, 그래프 분석, 데이터 변환, 스트리밍 데이터 및 코딩할 수 있는 거의 모든 작업 등 여러 가지 애플리케이션에서 다양한 확장 데이터 처리 작업들을 실행할 수 있습니다. 사용자 지정 코드를 사용하여 매우 방대한 양의 데이터 세트를 Spark, 하둡, Presto 또는 Hbase 같은 최신 빅 데이터 처리 프레임 워크로 처리 및 분석할 경우 Amazon EMR을 사용해야 합니다. Amazon EMR을 사용하면 클러스터 구성 및 클러스터에 설치된 소프트웨어를 완벽하게 제어할 수 있습니다.

 

인프라 또는 클러스터를 관리할 필요 없이 Amazon S3에서 데이터에 대해 대화형 임의 SQL 쿼리를 실행하려면 Amazon Athena를 사용해야 합니다.

 

Q: Amazon EMR을 사용하여 처리되는 데이터는 Amazon Athena를 사용하여 쿼리할 수 있나요?

예. Amazon Athena는 Amazon EMR과 동일한 데이터 형식들 중 상당 부분을 지원합니다. Athena의 데이터 카탈로그는 Hive 메타스토어와 호환됩니다. 현재 EMR을 사용하고 있으며 Hive metastore가 이미 있을 경우 Amazon Athena에서 DDL 문을 실행하기만 하면 되며 그런 다음, Amazon EMR 작업에 영향을 주지 않고 데이터 쿼리를 즉시 시작할 수 있습니다.

 

Q: Athena의 연합 쿼리는 다른 AWS 서비스와 어떤 관련이 있습니까? [평가판]

Athena의 연합 쿼리를 사용하면 다양한 관계형, 비관계형 및 사용자 지정 데이터 원본에 대해 SQL 쿼리를 실행할 수 있습니다. 즉, 다양한 데이터 스토어에 걸쳐 SQL 쿼리를 실행할 수 있는 통합된 방식을 확보하게 됩니다.

 

Q: Athena의 기계 학습은 다른 AWS 서비스와 어떤 관련이 있습니까? [평가판]

Athena SQL 쿼리는 Amazon SageMaker에 배포된 ML 모델을 호출할 수 있습니다. 이러한 Athena SQL 쿼리의 결과를 저장할 Amazon S3 위치를 지정할 수 있습니다.

Q: Amazon S3에서 내 데이터에 대한 테이블과 스키마는 어떻게 생성하면 되나요?

Amazon Athena는 Apache Hive DDL을 사용하여 테이블을 정의합니다. Athena 콘솔, ODBC 또는 JDBC 드라이버, API를 통해 또는 Athena 테이블 만들기 마법사를 사용하여 DDL 문을 실행할 수 있습니다. Athena와 함께 AWS Glue 데이터 카탈로그를 사용하는 경우, Glue 크롤러를 사용하여 스키마와 파티션을 자동으로 추론할 수도 있습니다. AWS Glue 크롤러는 데이터 스토어에 연결하고, 우선순위가 지정된 분류자 목록을 거치면서 데이터 스키마 및 기타 통계를 추출한 후, 이러한 메타데이터로 Glue 데이터 카탈로그를 채웁니다. 크롤러는 주기적으로 실행되어 새로운 데이터의 가용성과 기존 데이터에 대한 변경 사항(데이터 정의 변경 등)을 감지할 수 있습니다. 크롤러는 새로운 테이블, 기존 테이블에 새로운 파티션, 새로운 테이블 정의 버전을 자동으로 추가합니다. 자체 파일 유형을 분류하도록 Glue 크롤러를 사용자 지정할 수 있습니다.

 

Amazon Athena에 새 테이블 스키마를 생성하면 이 스키마는 데이터 카탈로그에 저장되며 쿼리를 실행할 때 사용되지만 S3에 있는 사용자의 데이터를 수정하지는 않습니다. Athena는 스키마-온-리드(schema-on-read)라는 접근 방식을 사용하는데, 이 방식을 적용하면 하나의 쿼리를 실행할 때 스키마를 사용자의 데이터에 투영할 수 있습니다. 따라서 데이터를 로드하거나 변환할 필요가 없습니다. 테이블 생성에 대해 자세히 알아보십시오.

 

Q: Amazon Athena가 지원하는 데이터 형식으로는 무엇이 있나요?

Amazon Athena는 CSV, TSV, JSON 또는 Textfiles 등 매우 다양한 데이터 형식들을 지원하며 Apache ORC 및 Apache Parquet 같은 오픈 소스 컬럼 형식도 지원합니다. Athena는 Snappy, Zlib, LZO 및 GZIP 형식으로 압축된 데이터도 지원합니다. 컬럼 형식을 압축하고 파티셔닝하거나 사용하면 성능을 향상시키면서 비용을 절감할 수 있습니다.

 

Q: Amazon Athena가 지원하는 데이터 유형으로는 어떤 종류가 있나요?

Amazon Athena는 INTEGER, DOUBLE, VARCHAR 등의 단순 데이터 유형과 MAPS, ARRAY, STRUCT 등의 복합 데이터 유형을 모두 지원합니다.  

 

Q: Athena에서 Hive 쿼리를 실행해도 되나요?

Amazon Athena는 DDL(Data Definition Language)과 테이블 및/또는 파티션을 작성/수정 및 삭제할 경우에만 Hive를 사용합니다. 지원되는 전체 명세서 목록을 보려면 여기를 클릭하십시오. Athena는 Amazon S3에서 SQL 쿼리를 실행할 때 Presto를 사용합니다. ANSI 호환 SQL SELECT 문을 실행하면 Amazon S3에서 데이터를 쿼리할 수 있습니다.

 

Q: SerDe는 무엇인가요?

SerDe는 데이터 형식을 해석하는 방법을 Hive에 알려주는 라이브러리인 Serializer/Deserializer를 나타냅니다. Hive DLL 문은 SerDe를 지정해야 하기 때문에 시스템은 사용자가 가리키고 있는 데이터를 해석하는 방법을 알고 있습니다. Amazon Athena는 SerDe를 사용하여 Amazon S3에서 읽은 데이터를 해석합니다. Athena에서 SerDe의 개념은 Hive에서 사용된 개념과 동일합니다. Amazon Athena에서 지원하는 SerDe를 열거하면 다음과 같습니다.

 

Q: Amazon Athena에 나만의 SerDe(Serializer/Deserializer)를 추가해도 되나요?

현재로서는 사용자 본인의 SerDe를 Amazon Athena에 추가할 수 없습니다. 소중한 의견 감사드리며 추가된 SerDe를 확인하고 싶다면 저희 Athena 팀( Athena-feedback@amazon.com)에 문의하시기 바랍니다.

 

Q: Spark/Hive를 사용하여 Parquet/ORC 파일을 만들었습니다. Athena를 통해 이러한 파일을 쿼리할 수 있나요?

예. Spark를 통해 만든 Parquet 및 ORC 파일은 Athena에서 읽을 수 있습니다.

 

Q: Kinesis Firehose에서 받은 데이터가 있습니다. Athena를 사용하여 이 데이터를 쿼리하려면 어떻게 해야 하나요?

Kinesis Firehose 데이터가 Amazon S3에 저장된 경우 Amazon Athena를 사용하면 데이터를 쿼리할 수 있습니다. Athena에서 데이터에 대한 스키마를 만든 다음, 쿼리를 시작하기만 하면 됩니다. 성능을 최적화하려면 데이터를 파티션으로 구성하는 것이 좋습니다. ALTER TABLE DDL 문을 사용하면 Kinesis Firehose에서 만든 파티션을 추가할 수 있습니다. 파티션에 대해 자세히 알아보십시오.

 

Q: Amazon Athena는 데이터 파티셔닝을 지원하나요?

예. Amazon Athena를 사용하면 데이터를 모든 열에 파티셔닝할 수 있습니다. 파티션을 사용하면 각 쿼리에서 스캔하는 데이터의 양을 제한하여 비용을 절감하고 작업 시간을 단축할 수 있습니다. CREATE TABLE 문의 PARTITIONED BY 절을 사용하면 파티셔닝 체계를 지정할 수 있습니다. 데이터 파티셔닝에 대해 자세히 알아보십시오.

 

Q: Amazon Athena의 기존 테이블에 새 데이터를 추가하려면 어떻게 해야 하나요?

데이터가 파티셔닝될 경우 Amazon S3에서 새 데이터를 사용할 수 있을 때 파티션을 Athena에 추가하려면 메타데이터 쿼리(ALTER TABLE ADD PARTITION)를 실행해야 합니다. 데이터가 파티셔닝되지 않은 경우 기존 접두사에 새 데이터(또는 파일)를 추가하면 이 데이터가 Athena에 자동으로 추가됩니다. 데이터 파티셔닝에 대해 자세히 알아보십시오.

 

Q: Amazon S3에 이미 대량의 로그 데이터가 있습니다. 이 데이터를 쿼리하기 위해 Amazon Athena를 사용해도 되나요?

예. Amazon Athena를 사용하면 기존의 로그 데이터에서 표준 SQL 쿼리를 쉽게 실행할 수 있습니다. Athena는 Amazon S3에서 직접 데이터를 쿼리하기 때문에 데이터를 이동하거나 로드할 필요가 없습니다. DDL 문을 사용하여 스키마를 정의하고 데이터 쿼리를 즉시 시작하면 됩니다.

Q: Amazon Athena가 지원하는 쿼리는 어떤 종류가 있나요?

Amazon Athena는 ANSI SQL 쿼리를 지원합니다. Amazon Athena는 오픈 소스 인 메모리 분산 SQL 엔진인 Presto를 사용하며 라지 조인, 창 함수 및 어레이를 포함해 복잡한 분석을 처리할 수 있습니다.

Q: Amazon Athena에서 Amazon QuickSight를 사용해도 되나요?

예. Amazon Athena는 Amazon QuickSight와 통합되기 때문에 Amazon S3에 저장된 데이터를 쉽게 시각화할 수 있습니다.

Q: Athena는 그 외 BI 도구 및 SQL 클라이언트를 지원하나요?

예. Amazon Athena에는 다른 비즈니스 인텔리전스 도구 및 SQL 클라이언트와 함께 사용할 수 있는 ODBC 및 JDBC 드라이버가 함께 제공됩니다. Athena에서 ODBC 또는 JDBC 드라이버를 사용하는 방법에 대해 자세히 알아보십시오.

Q: Amazon Athena에서 지원하는 함수에 액세스하려면 어떻게 해야 합니까?

Amazon Athena에서 지원하는 함수에 대해 자세히 알아보려면 여기를 클릭하십시오.

 

Q: 내 쿼리의 성능을 향상시키려면 어떻게 해야 하나요?

데이터를 압축 및 파티셔닝하거나 컬럼 형식으로 변환하면 쿼리 성능을 향상시킬 수 있습니다. Amazon Athena는 Apache Parquet 및 Apache ORC와 같은 오픈 소스 컬럼 데이터 형식을 지원합니다. 데이터를 압축된 열 기반 형식으로 변환하면 Athena가 쿼리를 실행할 때 S3로부터 스캔하는 데이터 양이 줄어들므로 비용이 절감되고 쿼리 성능은 향상됩니다.

 

Q: Athena는 사용자 정의 함수(UDF)를 지원합니까? [평가판]

Amazon Athena는 이제 사용자 정의 함수(UDF)를 지원하므로 사용자 지정 스칼라 함수를 작성하고 SQL 쿼리에서 호출할 수 있습니다. Athena에서는 기본 제공 함수가 지원되지만 UDF를 사용하면 데이터 압축 및 압축 해제, 중요한 데이터 삭제 또는 사용자 지정된 복호화 적용 같은 사용자 지정 처리 작업을 수행할 수 있습니다.

사용자는 Athena Query Federation SDK를 사용하여 Java로 UDF를 작성할 수 있습니다. Athena에 제출된 SQL 쿼리에 UDF가 사용되면 AWS Lambda에서 호출하여 실행합니다. UDF는 SQL 쿼리의 SELECT 절과 FILTER 절 모두에서 사용할 수 있습니다. 동일한 쿼리에서 여러 UDF를 호출할 수 있습니다.

 

Q: UDF를 작성할 때 사용자 환경은 어떻게 됩니까? [평가판]

Athena Query Federation SDK를 사용하여 UDF를 작성할 수 있습니다. UDF 예제는 여기에 제공되어 있습니다. 함수를 AWS Lambda에 업로드 한 다음 Athena 쿼리에서 호출 할 수 있습니다. 시작하려면 여기를 클릭하십시오.

 

Athena는 성능을 최적화하기 위해 일련의 데이터 세트 행에서 배치로 UDF를 호출합니다.

Q: Athena에서 연합 쿼리를 사용해야 하는 이유는 무엇입니까(평가판)?

개발자는 데이터를 S3에 저장하고 관계형, 키-값, 문서, 인 메모리, 검색, 그래프, 시계열 및 원장 데이터베이스를 선택하는 경우가 많습니다. 다양한 데이터 원본에 걸쳐 분산된 데이터에 대한 분석을 실행하는 작업은 복잡하고 시간이 많이 소요될 수 있습니다. 분석가는 새로운 프로그래밍 언어와 데이터베이스 구조를 배우고, 데이터 복사본을 추출, 변환 및 생성하는 복잡한 파이프라인을 구축해야 분석을 수행할 수 있는 경우가 많습니다. 마찬가지로 데이터 과학자는 기능 추출 및 훈련에 적합한 데이터 세트를 만들기 위해서는 여러 데이터 원본에서 데이터를 추출해야 하는 경우가 많습니다. 이 프로세스는 시간이 오래 걸리며 분석가와 데이터 과학자가 여러 소스에서 데이터를 추출할 수 있는 파이프라인을 쉽게 구축할 수 있는 셀프 서비스 플랫폼 구축을 방해합니다. 분석가는 일반적으로 데이터 엔지니어링 팀에 의존하여 이러한 파이프라인을 구축하므로 지연과 복잡성이 발생합니다. 연합 쿼리는 다양한 데이터 스토어에서 SQL 쿼리를 실행할 수 있도록 사용이 간편하고 쿼리당 지불하는 서버리스 서비스를 제공함으로써 이러한 복잡성을 제거합니다. 잘 알려진 SQL 구조를 사용하여 여러 데이터 원본에 걸쳐 데이터를 쿼리해 신속하게 분석하거나, 예약된 SQL 쿼리를 사용하여 여러 데이터 원본에서 데이터를 추출 및 변환한 후 추가 분석을 위해 S3에 저장할 수 있습니다.

 

또한 독점 또는 사용자 지정 데이터베이스와 카탈로그도 있을 수 있습니다. Athena 연합 쿼리는 사용자가 직접 작성하거나 커뮤니티에서 개발한 커넥터를 사용하여 원하는 데이터 원본 또는 사용자 지정 카탈로그에 대해 SQL 쿼리를 실행하도록 허용하므로 확장 가능합니다. 이러한 몇몇 데이터 원본에 대한 오픈 소스 참조 구현이 제공되므로 새로운 구현을 개발할 때 기준점으로 사용할 수 있습니다.

 

Q: Athena 연합 쿼리가 지원하는 사용 사례는 무엇입니까(평가판)?

Athena 연합 쿼리는 다양한 사용 사례를 지원합니다. 한 가지 예는 임시 분석으로, 종종 다양한 데이터 스토어에 데이터를 저장하는 경우입니다. Amazon ElasticCache Redis를 사용하여 활성 주문을 저장하고, Amazon DocumentDB 또는 MongoDB를 사용하여 고객별 정보(이메일 주소, 배송 주소 등)를 저장하고, Amazon CloudWatch Logs(사용자 지정 데이터 스토어의 예)를 사용하여 주문 처리 애플리케이션 로그 이벤트를 저장하는 전자 상거래 회사가 있다고 가정해 보겠습니다. 지연된 것으로 보고된 특정 주문에서 어떤 일이 발생했는지 이해하고자 할 수 있습니다. 이때 간단한 쿼리를 사용하여 여러 데이터 스토어의 데이터를 결합하여 신속하게 분석을 실행할 수 있습니다.

 

다른 예는 여러 데이터 원본의 ETL입니다. 분석을 실행하려면 데이터 웨어하우스에 게시하거나 Athena, Apache Spark 또는 Apache Presto와 같은 엔진을 사용하여 쿼리할 수 있도록 여러 데이터 원본에서 데이터를 어셈블해야 하는 경우가 많습니다. 이러한 어셈블리를 사용하려면 예약된 일정에 따라 여러 원본에서 데이터를 추출하고 변환할 수 있는 데이터 파이프라인을 구축해야 합니다. 데이터 파이프라인을 구축하려면 Python 및 Java와 같은 새로운 프로그래밍 언어를 배우거나 Apache Spark와 같은 대규모 분산 시스템을 사용해야 하는 경우가 많습니다. 분석가가 이러한 파이프라인을 구축하기 위해서는 데이터 엔지니어링 팀에 의존해야 하는 경우가 대부분입니다. 그러나 Athena 연합 쿼리를 사용하면 누구나 파이프라인을 SQL 문으로 표현하고 일정에 따라 실행되도록 예약할 수 있습니다.

 

세 번째 예는 기계 학습 추출입니다. 데이터 과학자는 기능 추출 및 훈련에 적합한 데이터 세트를 만들기 위해서는 여러 데이터 원본에서 데이터를 추출해야 하는 경우가 많습니다. 이 프로세스는 시간이 많이 소요되며 셀프 서비스 플랫폼을 구축하는 데 방해가 됩니다.

 

Q: Athena 데이터 원본 커넥터는 어떻게 작동합니까(평가판)?

데이터 스토어를 Athena에 등록하면 새 데이터 스토어에 대해 SQL 쿼리를 실행할 수 있습니다. 데이터 원본을 등록하려면 데이터 원본에 특정된 Athena 데이터 원본 커넥터를 사용하십시오. 커넥터를 사용하여 Athena의 쿼리 기능을 새 데이터 원본으로 확장할 수 있습니다. AWS에서 제공하는 오픈 소스 커넥터를 사용하거나, 직접 구축하거나, 기존 커넥터에 기여하거나, 커뮤니티 또는 마켓플레이스에서 구축한 커넥터를 사용할 수 있습니다. 커넥터는 데이터 원본 유형에 따라 메타데이터 정보를 관리하고, 스캔하거나 읽거나 필터링해야 하는 테이블의 특정 부분을 식별하며, 병렬 처리를 관리합니다.

 

커넥터는 고객 계정에서 AWS Lambda 함수로 실행됩니다. 각 커넥터는 데이터 원본에 특정된 두 개의 Lambda 함수(하나는 메타데이터용이고 다른 하나는 레코드 읽기용)로 구성되어 있습니다. Github 리포지토리의 코드를 사용하여 Lambda 함수를 배포하거나, AWS Serverless Application Repository에서 사전 배포된 Lambda 함수를 사용할 수 있습니다. Lambda 함수가 배포되면 고유한 Amazon 리소스 이름(ARN)이 생성됩니다. 이러한 ARN을 Athena에 등록해야 합니다. ARN을 등록하면 Athena는 쿼리 실행 중에 어떤 Lambda 함수와 연결해야 하는지 이해할 수 있습니다. ARN이 모두 등록되면 등록된 데이터 원본을 쿼리할 수 ​​있습니다. 각 데이터 원본에 대해 이 프로세스를 반복해야 합니다.

 

쿼리가 연합 데이터 원본에서 실행되면, Athena는 메타데이터와 데이터를 병렬로 읽는 Lambda 호출을 팬아웃합니다. 병렬 호출 수는 계정의 Lambda 동시성 한도에 따라 다릅니다. 예를 들어 동시 Lambda 호출 수가 300개로 제한된 경우 Athena는 300개의 병렬 Lambda 함수를 호출하여 레코드를 읽을 수 있습니다. 두 개의 쿼리가 병렬로 실행되는 경우 Athena는 동시 실행 수의 두 배를 호출합니다. 자체 한도를 정의하여 데이터 원본에 대한 비용 및 처리량을 제어 할 수 있습니다.

 

Q: Athena 연합 쿼리에 사용할 수 있는 커넥터는 무엇입니까(평가판)?

Athena는 Apache HBase, Amazon DocumentDB, Amazon DynamoDB, Amazon CloudWatch Logs 및 CloudWatch 지표에 대한 오픈 소스 데이터 원본 커넥터를 보유하고 있습니다. 또한 Athena에는 모든 JDBC 호환 데이터 원본에 연결하는 일반 JDBC 커넥터가 있고, 고객이 AWS 리소스 메타데이터에 대한 쿼리를 실행할 수 있도록 지원하는 AWS Configuration Management Database(CMDB) 커넥터가 있습니다.

 

Q: Query Federation SDK를 사용하려면 어떻게 해야 합니까(평가판)?

Query Federation SDK를 사용하면 Athena를 사용하여 데이터 원본을 쿼리할 때 사용할 자체 커넥터를 만들 수 있습니다. 각 커넥터에 대해 템플릿 구현이 제공됩니다. 이 템플릿을 기준점으로 사용할 수 있습니다. 시작하려면 설명서로 이동하십시오.

 

Q: ETL에 연합 쿼리 기능을 사용할 수 있습니까? 워크플로는 어떻게 됩니까(평가판)?

모든 Athena 쿼리 결과는 사용자가 설정한 Amazon S3 위치에 저장됩니다. Athena의 연합 쿼리 기능을 사용하면 선택한 데이터 원본을 스캔하고 결과를 S3에 저장하는 쿼리를 하나의 SQL 쿼리로 실행할 수 있습니다. JOIN, Filter 절 등과 같은 일반적인 SQL 구문이 지원됩니다. 또한 Athena의 UDF 기능을 사용하여 결과 데이터 세트를 사전 또는 사후 처리하는 자체 함수를 정의할 수 있습니다.

 

Q: JAVA 이외의 프로그래밍 언어로 SDK 지원을 출시할 예정입니까(평가판)?

athena-feedback@amazon.com으로 이메일을 보내 지원을 원하는 프로그래밍 언어를 알려주십시오.

 

Q: Query Federation SDK의 알려진 제한 사항은 무엇입니까(평가판)?

평가판 출시 시점에 Query Federation SDK는 Reads 및 JAVA 기반 Lambda 함수만 지원합니다.

Q: Athena가 지원하는 임베디드 ML 사용 사례에는 어떤 것이 있습니까(평가판)?

Athena의 ML 사용 사례는 다음 예와 같이 여러 산업을 포괄합니다. 재무 위험 데이터 분석가는 what-if 분석과 Monte Carlo 시뮬레이션을 실행할 수 있습니다. 비즈니스 분석가는 수익을 예측하는 풍부하고 미래 지향적인 비즈니스 대시보드를 만드는 데 도움이 되도록 선형 회귀 또는 예측 모델을 실행하여 미래 가치를 예측할 수 있습니다. 마케팅 분석가는 K-평균 군집화 모델을 사용하여 서로 다른 고객 세그먼트를 결정할 수 있습니다. 보안 분석가는 로지스틱 회귀 분석 모델(이변수 및 다변수)을 사용하여 이상 징후를 찾고 다양한 로그에서 보안 인시던트를 탐지할 수 있습니다.

 

Q: Athena에서 사용할 수 있는 ML 모델은 무엇입니까(평가판)?

Athena는 Amazon SageMaker에 배포된 모든 ML 모델을 호출할 수 있습니다. 독점 데이터를 사용하여 자체 모델을 훈련하거나 SageMaker에서 사전 훈련 및 배포된 모델을 사용할 수 있습니다. 예를 들어, 사용자는 새 레코드를 이전 레코드에 사용한 것과 동일한 범주로 분류하려고 하기 때문에 자체 데이터로 클러스터 분석을 훈련하게 될 것입니다. 한편, 실제 스포츠 이벤트를 예측할 때는 사용되는 훈련 데이터가 이미 공공의 자산이 되었을 것이므로 공개적으로 사용 가능한 모델을 사용할 수 있습니다. 일반적으로 도메인별 또는 산업별 예측은 SageMaker에서 자체 데이터로 훈련되며, ML 요구 사항이 획일적인 경우 외부 모델을 사용할 수 있습니다.

 

Q: Athena를 사용하여 ML 모델을 훈련할 수 있습니까(평가판)?

Athena를 사용하여 SageMaker에서 ML 모델을 훈련 및 배포할 수는 없습니다. ML 모델을 훈련할 수 있고, 아니면 Athena를 사용하여 SageMaker에 배포된 기존의 사전 훈련된 모델을 사용할 수 있습니다. SageMaker의 훈련 단계가 상세히 설명된 문서는 여기에서 확인하십시오.

 

Q: 내 EC2 클러스터에 배포된 포괄적인 예측 모델과 같이 다른 서비스에 배포된 모델에 대해 추론을 실행할 수 있습니까(평가판)?

Athena는 SageMaker에 배포된 ML 모델만 호출할 수 있습니다. AWS에서는 그 외에 어떤 서비스를 Athena와 함께 사용하고자 하는지에 대한 피드백을 환영합니다. athena-feedback@amazon.com.으로 피드백을 보내주십시오.

 

Q: SageMaker 추론에 Athena 쿼리를 사용하면 성능에 어떤 영향을 미칩니까(평가판)?

AWS에서는 지속적으로 기능 및 서비스에 운영 성능 개선 사항을 추가하고 있습니다. Athena ML 쿼리의 성능을 최적화하기 위해 추론을 위해 SageMaker ML 모델을 호출할 때 행을 배치 처리합니다. 현재는 사용자가 제공한 행 배치 크기 재정의를 지원하지 않습니다.

 

Q: Athena ML은 어떤 기능을 지원합니까(평가판)?

Athena는 SQL 인터페이스로 래핑된 ML 추론(예측) 기능을 제공합니다. 또한 평가판에 포함된 Athena 사용자 정의 함수(UDF)를 호출하여 결과 세트에서 사전 또는 사후 처리 로직을 호출할 수도 있습니다. 입력값에는 열, 레코드 또는 테이블이 포함될 수 있으며, 확장성을 높이기 위해 여러 호출을 배치 처리할 수 있습니다. 선택 단계 또는 필터 단계에서 추론을 실행할 수 있습니다. 자세한 내용은 설명서를 참조하십시오.

 

Q: 어떤 ML 모델을 사용할 수 있습니까(평가판)?

Amazon SageMaker는 다양한 ML 알고리즘을 지원합니다. 독점 ML 모델을 만들어 Amazon SageMaker에 배포할 수도 있습니다. 예를 들어, 사용자는 새 레코드를 이전 레코드에 사용한 것과 동일한 범주로 분류하려고 하기 때문에 자체 데이터로 클러스터 분석을 훈련하게 될 것입니다. 한편, 실제 스포츠 이벤트를 예측할 때는 사용되는 훈련 데이터가 공공의 자산이 되었을 것이므로 공개적으로 사용 가능한 모델을 사용할 수 있습니다.

 

도메인별 또는 산업별 예측은 일반적으로 SageMaker에서 자체 데이터로 훈련되며, 기계 번역과 같이 ML 요구 사항이 획일적인 경우 외부 모델을 사용할 수 있습니다.

Q: 내 데이터에 대한 액세스를 어떻게 제어합니까?

Amazon Athena를 사용하면 AWS Identity and Access Management(IAM) 정책, ACL(액세스 제어 목록) 및 Amazon S3 버킷 정책을 사용하여 데이터에 대한 액세스를 제어할 수 있습니다. IAM 정책을 사용해 IAM 사용자에게 S3 버킷에 대한 세분화된 제어 권한을 부여할 수 있습니다. S3에서 데이터에 대한 액세스를 제어하면 사용자들이 Athena를 사용하여 데이터를 쿼리하지 못하도록 제한할 수 있습니다.

 

Athena가 Amazon S3에 있는 암호화된 데이터를 쿼리할 수 있습니까?

예, Amazon S3 관리형 암호화 키를 사용한 서버 측 암호화, AWS Key Management Service(KMS)를 사용한 서버 측 암호화, KMS로 관리되는 키를 통한 클라이언트 측 암호화를 사용하여 암호화된 데이터를 쿼리할 수 있습니다. Amazon Athena는 또한 KMS와 함께 통합되어 결과 세트를 암호화하는 옵션도 제공합니다.

 

Q: Athena는 가용성이 높은가요?

예. Amazon Athena는 가용성이 뛰어난 데다 여러 시설에서 컴퓨팅 리소스를 사용하여 쿼리를 실행하며, 특정 시설에 도달할 수 없는 경우에는 쿼리를 자동으로 라우팅합니다. Athena는 Amazon S3를 기본 데이터 스토어로 사용하여 데이터 가용성과 내구성을 높입니다. Amazon S3는 중요한 데이터를 저장할 수 있고 99.999999999%의 객체 내구성을 보장하도록 설계된 내구성이 뛰어난 인프라를 제공합니다. 데이터가 여러 시설과 각 시설의 여러 디바이스에 중복 저장됩니다.

 

Q: 다른 사용자의 S3 버킷에 대한 교차 계정 액세스를 제공해도 되나요?

예. Amazon S3에 대한 교차 계정 액세스를 제공할 수 있습니다.

Q: Amazon Athena의 요금은 어떻게 부과되나요?

Amazon Athena는 쿼리당 요금이 부과되며 쿼리로 스캔한 데이터의 양을 기준으로 요금이 청구됩니다. Amazon S3에서 데이터를 다양한 형식으로 저장할 수 있습니다. 데이터를 압축 및 파티셔닝하거나 컬럼 저장 형식으로 변환하면 스캔되는 데이터의 양이 줄어들어 비용이 절감됩니다. 데이터를 컬럼 형식으로 변환하면 Athena는 쿼리를 처리하는 데 필요한 열만 읽을 수 있습니다. 자세한 내용은 Athena 요금 페이지를 참조하십시오.

 

Q: 컬럼 형식을 사용할 때 요금이 적게 부과되는 이유는 무엇인가요?

Amazon Athena는 쿼리당 스캔된 데이터의 양만큼 요금이 청구됩니다. 데이터를 압축하면 Amazon Athena가 스캔하는 데이터의 양을 줄일 수 있습니다. 데이터를 컬럼 형식으로 변환하면 Athena가 필요한 컬럼만 선택적으로 읽어 데이터를 처리할 수 있습니다. 또한 데이터를 파티셔닝하면 Athena는 스캔된 데이터의 양을 제한할 수도 있습니다. 그 결과, 비용은 절감되고 성능은 향상됩니다. 자세한 내용은 요금 예를 참조하십시오.

 

Q: 비용을 줄이려면 어떻게 해야 하나요?

데이터를 압축 및 파티셔닝하여 컬럼 형식으로 변환하면 쿼리 비용을 30%~90%만큼 절약하고 성능을 향상시킬 수 있습니다. 이러한 각각의 작업은 Amazon Athena가 쿼리를 실행하기 위해 스캔해야 할 데이터의 양을 줄여줍니다. Amazon Athena는 가장 널리 쓰이는 오픈 소스 컬럼 형식 중 2가지인 Apache Parquet과 ORC를 지원합니다. Athena 콘솔에서는 쿼리당 스캔되는 데이터의 양을 확인할 수 있습니다.

 

Q: Amazon Athena는 실패한 쿼리에 대한 요금을 청구하나요?

아니요. 실패한 쿼리에 대해서는 요금이 청구되지 않습니다.

 

Q: Amazon Athena는 취소된 쿼리에 대한 요금을 청구하나요?

예. 어떤 쿼리를 수동으로 취소하면 이 쿼리를 취소한 시점까지 스캔된 데이터의 양에 대한 요금이 부과됩니다.

 

Q: Amazon Athena와 관련된 추가 요금이 있나요?

Amazon Athena는 Amazon S3에서 직접 데이터를 쿼리하기 때문에 사용자의 소스 데이터는 S3 요금으로 청구됩니다. Amazon Athena가 하나의 쿼리를 실행하면 그 결과는 사용자가 선택한 S3 버킷에 저장되며 이러한 결과 세트에 대해서는 표준 S3 요금이 청구됩니다. 보관되는 데이터의 양을 제어하려면 이러한 버킷들을 모니터링하고 수명 주기 정책을 사용할 것을 권장합니다.

 

Q: Q: AWS Glue 데이터 카탈로그를 사용하면 요금이 부과됩니까?

예. AWS Glue 데이터 카탈로그 사용 요금이 별도로 부과됩니다. 여기를 클릭하여 Glue 데이터 카탈로그 요금에 대해 자세히 알아보십시오.