Amazon Athena FAQ

일반

Q: Amazon Athena란 무엇입니까?

Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스입니다. Athena는 서버리스 서비스이므로 설정하거나 관리할 인프라가 없으며 데이터 분석을 즉시 시작할 수 있습니다. Athena로 데이터를 로드할 필요 없이 S3에 저장된 데이터를 직접 사용하면 됩니다. 시작하려면 Athena Management Console에 로그인하여 스키마를 정의한 후 쿼리를 시작하십시오. Amazon Athena는 표준 SQL을 완벽 지원하는 Presto를 사용하며, CSV, JSON, ORC, Apache Parquet, Avro 등 다양한 표준 데이터 형식과 호환됩니다. Amazon Athena는 대화형 분석에 적합하고 Amazon QuickSight와 통합되므로 시각화가 간편할 뿐 아니라 대규모 조인, 윈도 함수 및 배열 등 복잡한 분석을 처리할 수도 있습니다.

Q: Amazon Athena로 무엇을 할 수 있나요?

Amazon Athena는 Amazon S3에 저장된 데이터를 분석하는 데 도움이 됩니다. Athena를 사용하면 데이터를 집계하거나 Athena로 로드할 필요 없이 ANSI SQL을 사용한 대화형 분석을 실행할 수 있습니다. Amazon Athena는 비정형, 반정형 및 정형 데이터 집합을 처리할 수 있습니다. 예를 들면 CSV, JSON, Avro 또는 컬럼 방식 데이터 형식(예: Apache Parquet 및 Apache ORC)이 해당됩니다. Amazon Athena는 Amazon QuickSight와 통합되어 쉽게 시각화할 수 있습니다. 또한 Amazon Athena를 사용하면 보고서를 생성하거나 ODBC 또는 JDBC 드라이버를 통해 연결된 비즈니스 인텔리전스 도구나 SQL 클라이언트로 데이터를 탐색할 수도 있습니다.

Q: Amazon Athena를 사용하려면 어떻게 시작해야 하나요?

Amazon Athena를 시작하려면 Athena용 AWS Management Console에 로그인한 후 콘솔에서 DDL 문을 작성하거나 테이블 만들기 마법사를 사용하여 스키마를 작성하십시오. 그러면 기본 제공된 쿼리 편집기를 사용하여 데이터 쿼리를 시작할 수 있습니다. Athena는 Amazon S3에서 직접 데이터를 쿼리하기 때문에 로드할 필요가 없습니다.

Q: Amazon Athena에 액세스하려면 어떻게 해야 합니까?

Amazon Athena는 AWS Management Console, API, ODBC 또는 JDBC 드라이버를 통해 액세스할 수 있습니다. ODBC 또는 JDBC 드라이버를 사용하여 프로그래밍 방식으로 쿼리를 실행하고 테이블 또는 파티션을 추가할 수 있습니다.

Q: Amazon Athena와 관련된 서비스 한도에는 어떤 것이 있습니까?

서비스 한도에 대해 자세히 알아보려면 여기를 클릭하세요.

Q: Amazon Athena의 기본 기술은 무엇입니까?

Amazon Athena는 표준 SQL을 완벽 지원하는 Presto를 사용하며 CSV, JSON, ORC, Avro, Parquet 등 다양한 표준 데이터 형식과 호환됩니다. Athena는 라지 조인, 창 함수 및 어레이를 포함해 복잡한 분석을 처리할 수 있습니다. Amazon Athena는 Amazon S3를 기본 데이터 스토어로 사용하기 때문에 가용성과 내구성이 뛰어나며 여러 시설 및 각 시설 내 여러 디바이스에 걸쳐 데이터가 중복 저장됩니다. 여기에서 Presto에 대해 자세히 알아보십시오.

Q: Amazon Athena는 테이블 정의와 스키마를 어떻게 저장하나요?

Amazon Athena는 Amazon S3에 저장된 데이터에 대해 사용자가 생성한 데이터베이스 및 테이블에 관한 정보와 스키마를 저장하기 위해 관리형 데이터 카탈로그를 사용합니다. AWS Glue가 제공되는 리전에서는 Amazon Athena에서 AWS Glue 데이터 카탈로그를 사용하도록 업그레이드할 수 있습니다. AWS Glue가 제공되지 않는 리전에서는 Athena가 내부 카탈로그를 사용합니다.

DDL 문을 사용하거나 AWS Management Console을 통해 카탈로그를 수정할 수 있습니다. 사용자가 정의하는 모든 스키마는 명시적으로 삭제하지 않는 한, 자동으로 저장됩니다. Athena는 스키마-온-리드(schema-on-read) 기술을 사용합니다. 즉, 쿼리가 실행될 때 사용자의 테이블 정의가 S3의 데이터에 적용됩니다. 데이터 로드 또는 변환을 할 필요가 없습니다. Amazon S3에 저장된 기본 데이터에 영향을 주지 않고도 테이블 정의 및 스키마를 삭제할 수 있습니다.

Q: AWS Glue 데이터 카탈로그를 사용하도록 업그레이드해야 하는 이유는 무엇입니까?

AWS Glue는 완전관리형 ETL 서비스입니다. Glue는 3가지 주요 요소로 구성됩니다. 바로 1) 자동으로 데이터 원본을 스캔하고 데이터 형식을 파악하고 스키마를 추론하는 크롤러, 2) 데이터를 변환하고 다양한 대상으로 이동할 수 있는 완전관리형 ETL 서비스, 그리고 3) S3 또는 ODBC나 JDBC 호환 데이터 스토어에 저장된 데이터베이스 및 테이블에 관한 메타데이터 정보를 저장하는 데이터 카탈로그입니다. Glue를 충분히 활용하기 위해서는 Athena가 내부 데이터 카탈로그에서 Glue 데이터 카탈로그를 사용하도록 업그레이드해야 합니다.

Glue 데이터 카탈로그로 업그레이드할 때의 이점은 다음과 같습니다.

통합된 메타데이터 리포지토리: AWS Glue는 다양한 AWS 서비스와 통합됩니다. AWS Glue는 Amazon Aurora, Amazon RDS MySQL, Amazon RDS PostreSQL, Amazon Redshift 및 Amazon S3에 저장된 데이터와 Amazon EC2에서 실행되는 가상 사설 클라우드(Amazon VPC)의 MySQL 및 PostgreSQL 데이터베이스에 저장된 데이터를 지원합니다. AWS Glue는 Amazon Athena, Amazon EMR 및 Amazon Redshift Spectrum 및 모든 Apache Hive Metastore 호환 애플리케이션과 즉시 통합됩니다.
자동 스키마 및 파티션 인식: AWS Glue는 자동으로 데이터 원본을 크롤링하고, 데이터 형식을 파악하며, 스키마와 변환을 제안합니다. 크롤러는 테이블 생성과 파티션 로딩을 자동화하는 데 도움이 됩니다.
간편하게 파이프라인 구축: AWS Glue의 ETL 엔진은 사용자 지정 가능하고 재사용 가능하며 이동 가능한 Python 코드를 생성합니다. 선호하는 IDE 또는 노트북을 사용하여 코드를 편집하고 GitHub를 통해 이를 다른 사용자와 공유할 수 있습니다. ETL 작업이 준비되면, AWS Glue의 완전관리형 스케일 아웃 Spark 인프라에서 실행하도록 예약할 수 있습니다. AWS Glue는 서버리스이므로, ETL 작업을 실행하는 데 필요한 리소스의 프로비저닝, 구성 및 확장/축소를 처리합니다. 따라서 ETL을 워크플로에 긴밀하게 통합할 수 있습니다.

여기를 클릭하여 Glue 데이터 카탈로그에 대해 자세히 알아보십시오.

Q: AWS 데이터 카탈로그로 업그레이드할 수 있는 단계별 안내서가 있습니까?

예. 여기에서 단계별 안내서를 확인할 수 있습니다.

Q: Amazon Athena는 어떤 리전에서 사용할 수 있나요?

리전별 Amazon Athena 서비스 가용성에 대한 자세한 내용은 리전별 제품 및 서비스를 참조하세요.

Athena와 여타 빅 데이터 서비스의 사용 시기 비교

Q: Amazon Athena, Amazon EMR 및 Amazon Redshift의 차이점은 무엇인가요?

Amazon Athena 같은 쿼리 서비스, Amazon Redshift 같은 데이터웨어 하우스 및 Amazon EMR 같은 정교한 데이터 처리 프레임워크는 모두 서로 다른 요구와 사용 사례를 처리합니다. 작업에 적합한 도구를 선택하기만 하면 됩니다. Amazon Redshift는 엔터프라이즈 보고 및 비즈니스 인텔리전스 워크로드, 그 중에서도 특히 여러 조인 및 하위 쿼리가 포함된 매우 복잡한 SQL과 관련된 워크로드에 대해 가장 빠른 쿼리 성능을 제공합니다. Amazon EMR을 사용하면 하둡, Spark, Presto 등 고도로 분산된 처리 프레임워크를 온프레미스 배포 환경보다 더 간단하면서도 비용 효율적으로 실행할 수 있습니다. Amazon EMR은 유연합니다. 사용자 지정 애플리케이션 및 코드를 실행하고 특정 컴퓨팅, 메모리, 스토리지 및 애플리케이션 파라미터를 정의하여 분석 요구 사항을 최적화할 수 있습니다. Amazon Athena는 서버를 설정하거나 관리할 필요 없이 S3의 데이터에 대한 대화형 쿼리를 가장 쉽게 실행할 수 있는 방법을 제공합니다.

Q: Amazon Redshift처럼 완벽한 기능을 제공하는 엔터프라이즈 데이터 웨어하우스와 Amazon Athena 같은 쿼리 서비스는 각각 언제 사용해야 하나요?

Amazon Redshift 같은 데이터 웨어하우스는 인벤토리 시스템, 금융 시스템, 소매 판매 시스템 등 다양한 소스의 데이터를 하나의 공통 형식으로 취합하여 장기간 보관하고 과거 데이터에서 정교한 비즈니스 보고서를 작성할 필요가 있을 때 사용하는 것이 가장 좋으며 그 다음으로는 Amazon Redshift 같은 데이터 웨어하우스를 사용하는 것이 좋습니다.

데이터 웨어하우스는 회사 내 전체 조직에서 데이터를 수집하고 보고서 생성 및 분석을 위한 "단일 출처"의 역할을 담당합니다. 데이터 웨어하우스는 여러 소스의 데이터를 가져와서 형식을 지정하고 구성 및 저장하며, 비즈니스 보고서를 생성하는 복잡한 고속 쿼리를 지원합니다. Amazon Redshift의 쿼리 엔진은 특히 이러한 사용 사례(많은 수의 대규모 데이터베이스 테이블을 조인하는 복잡한 쿼리를 실행해야 할 경우)에서 원활하게 작동하도록 최적화되었습니다. TPC-DS는 이러한 사용 사례를 복제하도록 설계된 표준 벤치마크이며 Redshift는 이러한 쿼리를 비정형 데이터에 최적화된 쿼리 서비스보다 최대 20배 더 빠르게 실행합니다. 매우 방대한 양의 테이블에서 수많은 조인을 사용하여 고도의 정형 데이터에 대한 쿼리를 실행해야 할 경우 Amazon Redshift를 선택하시기 바랍니다.

이에 비해 Amazon Athena 같은 쿼리 서비스를 사용하면 데이터 형식 지정 또는 인프라 관리에 대해 고민할 필요 없이 Amazon S3에서 데이터에 대한 대화형 쿼리를 직접 쉽게 실행할 수 있습니다. 예를 들면, Athena는 사이트에서 성능 문제를 해결하기 위해 일부 웹 로그에서 빠른 쿼리를 실행하기만 하면 될 경우에 안성맞춤입니다. 쿼리 서비스를 사용하면 신속하게 시작할 수 있습니다. 데이터에 대한 테이블을 정의하고 표준 SQL을 사용하여 쿼리를 시작하면 됩니다.

두 서비스를 함께 사용할 수도 있습니다. Amazon S3에서 데이터를 준비한 후 Amazon Redshift에 로드하면 해당 데이터를 Amazon Athena에 등록하여 쿼리할 수도 있습니다.

Amazon EMR과 Amazon Athena는 각각 언제 사용해야 합니까?

Amazon EMR은 SQL 쿼리를 실행하는 것 이외에도 상당히 많은 작업을 수행합니다. EMR을 사용하면 Machine Learning, 그래프 분석, 데이터 변환, 스트리밍 데이터 및 코딩할 수 있는 거의 모든 작업 등 여러 가지 애플리케이션에서 다양한 확장 데이터 처리 작업들을 실행할 수 있습니다. 사용자 지정 코드를 사용하여 매우 방대한 양의 데이터 세트를 Spark, 하둡, Presto 또는 Hbase 같은 최신 빅 데이터 처리 프레임 워크로 처리 및 분석할 경우 Amazon EMR을 사용해야 합니다. Amazon EMR을 사용하면 클러스터 구성 및 클러스터에 설치된 소프트웨어를 완벽하게 제어할 수 있습니다.

인프라 또는 클러스터를 관리할 필요 없이 Amazon S3에서 데이터에 대해 대화형 SQL 쿼리를 실행하려면 Amazon Athena를 사용해야 합니다.

Q: Amazon EMR을 사용하여 처리되는 데이터는 Amazon Athena를 사용하여 쿼리할 수 있나요?

예. Amazon Athena는 Amazon EMR과 동일한 데이터 형식들 중 상당 부분을 지원합니다. Athena의 데이터 카탈로그는 Hive 메타스토어와 호환됩니다. 현재 EMR을 사용하고 있으며 Hive metastore가 이미 있을 경우 Amazon Athena에서 DDL 문을 실행하기만 하면 되며 그런 다음, Amazon EMR 작업에 영향을 주지 않고 데이터 쿼리를 즉시 시작할 수 있습니다.

Q: Athena의 연합 쿼리는 다른 AWS 서비스와 어떤 관련이 있습니까?

Athena의 연합 쿼리를 사용하면 다양한 관계형, 비관계형 및 사용자 지정 데이터 원본에 대해 SQL 쿼리를 실행할 수 있습니다. 즉, 다양한 데이터 스토어에 걸쳐 SQL 쿼리를 실행할 수 있는 통합된 방식을 확보하게 됩니다.

Q: Athena의 기계 학습은 다른 AWS 서비스와 어떤 관련이 있습니까?

Athena SQL 쿼리는 Amazon SageMaker에 배포된 기계 학습 모델을 호출할 수 있습니다. 이러한 Athena SQL 쿼리의 결과를 저장할 Amazon S3 위치를 지정할 수 있습니다.

테이블, 데이터 형식 및 파티션 생성

Q: Amazon S3에서 내 데이터에 대한 테이블과 스키마는 어떻게 생성하면 되나요?

Amazon Athena는 Apache Hive DDL을 사용하여 테이블을 정의합니다. Athena 콘솔, ODBC 또는 JDBC 드라이버, API를 통해 또는 Athena 테이블 만들기 마법사를 사용하여 DDL 문을 실행할 수 있습니다. Athena와 함께 AWS Glue 데이터 카탈로그를 사용하는 경우, Glue 크롤러를 사용하여 스키마와 파티션을 자동으로 추론할 수도 있습니다. AWS Glue 크롤러는 데이터 스토어에 연결하고, 우선순위가 지정된 분류자 목록을 거치면서 데이터 스키마 및 기타 통계를 추출한 후, 이러한 메타데이터로 Glue 데이터 카탈로그를 채웁니다. 크롤러는 주기적으로 실행되어 새로운 데이터의 가용성과 기존 데이터에 대한 변경 사항(데이터 정의 변경 등)을 감지할 수 있습니다. 크롤러는 새로운 테이블, 기존 테이블에 새로운 파티션, 새로운 테이블 정의 버전을 자동으로 추가합니다. 자체 파일 유형을 분류하도록 Glue 크롤러를 사용자 지정할 수 있습니다.

Amazon Athena에 새 테이블 스키마를 생성하면 이 스키마는 데이터 카탈로그에 저장되며 쿼리를 실행할 때 사용되지만 S3에 있는 사용자의 데이터를 수정하지는 않습니다. Athena는 스키마-온-리드(schema-on-read)라는 접근 방식을 사용하는데, 이 방식을 적용하면 하나의 쿼리를 실행할 때 스키마를 사용자의 데이터에 투영할 수 있습니다. 따라서 데이터를 로드하거나 변환할 필요가 없습니다. 테이블 생성에 대해 자세히 알아보십시오.

Q: Amazon Athena가 지원하는 데이터 형식으로는 무엇이 있나요?

Amazon Athena는 CSV, TSV, JSON 또는 Textfiles 등 매우 다양한 데이터 형식들을 지원하며 Apache ORC 및 Apache Parquet 같은 오픈 소스 컬럼 형식도 지원합니다. Athena는 Snappy, Zlib, LZO 및 GZIP 형식으로 압축된 데이터도 지원합니다. 컬럼 형식을 압축하고 파티셔닝하거나 사용하면 성능을 향상시키면서 비용을 절감할 수 있습니다.

Q: Amazon Athena가 지원하는 데이터 유형으로는 어떤 종류가 있나요?

Amazon Athena는 INTEGER, DOUBLE, VARCHAR 등의 단순 데이터 유형과 MAPS, ARRAY, STRUCT 등의 복합 데이터 유형을 모두 지원합니다.

Q: Athena에서 Hive 쿼리를 실행해도 되나요?

Amazon Athena는 DDL(Data Definition Language)과 테이블 및/또는 파티션을 작성/수정 및 삭제할 경우에만 Hive를 사용합니다. 지원되는 전체 명세서 목록을 보려면 여기를 클릭하십시오. Athena는 Amazon S3에서 SQL 쿼리를 실행할 때 Presto를 사용합니다. ANSI 호환 SQL SELECT 문을 실행하면 Amazon S3에서 데이터를 쿼리할 수 있습니다.

Q: SerDe는 무엇인가요?

SerDe는 데이터 형식을 해석하는 방법을 Hive에 알려주는 라이브러리인 Serializer/Deserializer를 나타냅니다. Hive DDL 문은 SerDe를 지정해야 하기 때문에 시스템은 사용자가 가리키고 있는 데이터를 해석하는 방법을 알고 있습니다. Amazon Athena는 SerDe를 사용하여 Amazon S3에서 읽은 데이터를 해석합니다. Athena에서 SerDe의 개념은 Hive에서 사용된 개념과 동일합니다. Amazon Athena에서 지원하는 SerDe를 열거하면 다음과 같습니다.

Apache 웹 로그: "org.apache.hadoop.hive.serde2.RegexSerDe"
CSV: "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
TSV: "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
사용자 지정 구분 기호: "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
Parquet: "org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe"
Orc: "org.apache.hadoop.hive.ql.io.orc.OrcSerde"
JSON: “org.apache.hive.hcatalog.data.JsonSerDe” 또는 org.openx.data.jsonserde.JsonSerDe

Q: Amazon Athena에 나만의 SerDe(Serializer/Deserializer)를 추가해도 되나요?

현재로서는 사용자 본인의 SerDe를 Amazon Athena에 추가할 수 없습니다. 소중한 의견 감사드리며 추가된 SerDe를 확인하고 싶다면 저희 Athena 팀( Athena-feedback@amazon.com)에 문의하시기 바랍니다.

Q: Spark/Hive를 사용하여 Parquet/ORC 파일을 만들었습니다. Athena를 통해 이러한 파일을 쿼리할 수 있나요?

예. Spark를 통해 만든 Parquet 및 ORC 파일은 Athena에서 읽을 수 있습니다.

Q: Kinesis Firehose에서 받은 데이터가 있습니다. Athena를 사용하여 이 데이터를 쿼리하려면 어떻게 해야 하나요?

Kinesis Firehose 데이터가 Amazon S3에 저장된 경우 Amazon Athena를 사용하면 데이터를 쿼리할 수 있습니다. Athena에서 데이터에 대한 스키마를 만든 다음, 쿼리를 시작하기만 하면 됩니다. 성능을 최적화하려면 데이터를 파티션으로 구성하는 것이 좋습니다. ALTER TABLE DDL 문을 사용하면 Kinesis Firehose에서 만든 파티션을 추가할 수 있습니다. 파티션에 대해 자세히 알아보십시오.

Q: Amazon Athena는 데이터 파티셔닝을 지원하나요?

예. Amazon Athena를 사용하면 데이터를 모든 열에 파티셔닝할 수 있습니다. 파티션을 사용하면 각 쿼리에서 스캔하는 데이터의 양을 제한하여 비용을 절감하고 작업 시간을 단축할 수 있습니다. CREATE TABLE 문의 PARTITIONED BY 절을 사용하면 파티셔닝 체계를 지정할 수 있습니다. 데이터 파티셔닝에 대해 자세히 알아보십시오.

Q: Amazon Athena의 기존 테이블에 새 데이터를 추가하려면 어떻게 해야 하나요?

데이터가 파티셔닝될 경우 Amazon S3에서 새 데이터를 사용할 수 있을 때 파티션을 Athena에 추가하려면 메타데이터 쿼리(ALTER TABLE ADD PARTITION)를 실행해야 합니다. 데이터가 파티셔닝되지 않은 경우 기존 접두사에 새 데이터(또는 파일)를 추가하면 이 데이터가 Athena에 자동으로 추가됩니다. 데이터 파티셔닝에 대해 자세히 알아보십시오.

Q: Amazon S3에 이미 대량의 로그 데이터가 있습니다. 이 데이터를 쿼리하기 위해 Amazon Athena를 사용해도 되나요?

예. Amazon Athena를 사용하면 기존의 로그 데이터에서 표준 SQL 쿼리를 쉽게 실행할 수 있습니다. Athena는 Amazon S3에서 직접 데이터를 쿼리하기 때문에 데이터를 이동하거나 로드할 필요가 없습니다. DDL 문을 사용하여 스키마를 정의하고 데이터 쿼리를 즉시 시작하면 됩니다.

쿼리 및 데이터 형식

Q: Amazon Athena가 지원하는 쿼리는 어떤 종류가 있나요?

Amazon Athena는 ANSI SQL 쿼리를 지원합니다. Amazon Athena는 오픈 소스 인 메모리 분산 SQL 엔진인 Presto를 사용하며 라지 조인, 창 함수 및 어레이를 포함해 복잡한 분석을 처리할 수 있습니다.

Q: Amazon Athena에서 Amazon QuickSight를 사용해도 되나요?

예. Amazon Athena는 Amazon QuickSight와 통합되기 때문에 Amazon S3에 저장된 데이터를 쉽게 시각화할 수 있습니다.

Q: Athena는 그 외 BI 도구 및 SQL 클라이언트를 지원하나요?

예. Amazon Athena에는 다른 비즈니스 인텔리전스 도구 및 SQL 클라이언트와 함께 사용할 수 있는 ODBC 및 JDBC 드라이버가 함께 제공됩니다. Athena에서 ODBC 또는 JDBC 드라이버를 사용하는 방법에 대해 자세히 알아보십시오.

Q: Amazon Athena에서 지원하는 함수에 액세스하려면 어떻게 해야 합니까?

Amazon Athena에서 지원하는 함수에 대해 자세히 알아보려면 여기를 클릭하십시오.

Q: 내 쿼리의 성능을 향상시키려면 어떻게 해야 하나요?

데이터를 압축 및 파티셔닝하거나 컬럼 형식으로 변환하면 쿼리 성능을 향상시킬 수 있습니다. Amazon Athena는 Apache Parquet 및 Apache ORC와 같은 오픈 소스 컬럼 데이터 형식을 지원합니다. 데이터를 압축된 열 기반 형식으로 변환하면 Athena가 쿼리를 실행할 때 S3로부터 스캔하는 데이터 양이 줄어들므로 비용이 절감되고 쿼리 성능은 향상됩니다.

Q: Athena는 UDF(사용자 정의 함수)를 지원하나요?

Amazon Athena는 사용자 정의 함수(UDF)를 지원하므로 사용자 지정 스칼라 함수를 작성하고 SQL 쿼리에서 호출할 수 있습니다. Athena에서는 기본 제공 함수가 지원되지만 UDF를 사용하면 데이터 압축 및 압축 해제, 중요한 데이터 삭제 또는 사용자 지정된 복호화 적용 같은 사용자 지정 처리 작업을 수행할 수 있습니다.

사용자는 Athena Query Federation SDK를 사용하여 Java로 UDF를 작성할 수 있습니다. Athena에 제출된 SQL 쿼리에 UDF가 사용되면 AWS Lambda에서 호출하여 실행합니다. UDF는 SQL 쿼리의 SELECT 절과 FILTER 절 모두에서 사용할 수 있습니다. 동일한 쿼리에서 여러 UDF를 호출할 수 있습니다.

Q: UDF를 작성할 때 사용자 환경은 어떻게 됩니까?

Athena Query Federation SDK를 사용하여 UDF를 작성할 수 있습니다. UDF 예제는 여기에 제공되어 있습니다. 함수를 AWS Lambda에 업로드 한 다음 Athena 쿼리에서 호출 할 수 있습니다. 시작하려면 여기를 클릭하십시오.

Athena는 성능을 최적화하기 위해 일련의 데이터 세트 행에서 배치로 UDF를 호출합니다.

연합 쿼리

Q: 연합 쿼리란 무엇입니까?
Amazon S3 이외의 소스에 데이터가 있는 경우 Athena를 사용하여 데이터를 현재 위치에서 쿼리하거나, 여러 데이터 원본에서 데이터를 추출하고 Amazon S3에 저장하는 파이프라인을 구축할 수 있습니다. Athena 연합 쿼리를 사용하면 관계형, 비관계형, 객체 및 사용자 지정 데이터 원본에 저장된 데이터에 대해 SQL 쿼리를 실행할 수 있습니다.

Q: Athena에서 연합 쿼리를 사용해야 하는 이유는 무엇입니까?
조직에서는 조직의 애플리케이션 또는 비즈니스 프로세스의 요구 사항을 충족하는 데이터 원본에 데이터를 저장하는 경우가 많습니다. 예를 들어 S3 데이터 레이크에 데이터를 저장하는 것에 더해 관계형, 키-값, 문서, 인 메모리, 검색, 그래프, 시계열 및 원장 데이터베이스 등에도 데이터를 저장할 수 있습니다. 이와 같이 다양한 소스에서 분석을 수행하는 작업은 복잡하고 시간 소모적일 수 있습니다. 새로운 프로그래밍 언어 또는 데이터베이스 구조를 배워야 하고 분석에 사용할 데이터를 추출, 변환 및 복제하는 복잡한 파이프라인을 구축해야 하기 때문입니다. Athena를 사용하면 데이터가 있는 위치에서 SQL 쿼리를 실행할 수 있으므로 이 복잡성이 제거됩니다. 잘 알려진 SQL 구조를 사용하여 여러 데이터 원본에 걸쳐 데이터를 쿼리해 신속하게 분석하거나, 예약된 SQL 쿼리를 사용하여 여러 데이터 원본에서 데이터를 추출 및 변환한 후 추가 분석을 위해 S3에 저장할 수 있습니다.

Q: 어떤 데이터 원본이 지원됩니까?
Athena는 Amazon Redshift 및 Amazon DynamoDB를 포함한 여러 주요 데이터 스토어에 대한 기본 제공 커넥터를 제공합니다. 이 커넥터를 사용하여 정형, 반정형, 객체, 그래프, 시계열 및 기타 데이터 스토리지 유형에서 SQL 분석 사용 사례를 지원할 수 있습니다. 지원되는 소스의 목록은 Athena 데이터 원본 커넥터 사용을 참조하세요.

또한 Athena의 데이터 커넥터 SDK를 사용하여 사용자 지정 데이터 원본 커넥터를 생성하고 Athena를 통해 쿼리할 수 있습니다. 설명서와 예제 커넥터 구현을 검토하여 시작해 보세요.

Q: 연합 쿼리로 지원할 수 있는 사용 사례는 무엇입니까?
Athena를 사용할 때는 기존 SQL 지식을 활용하여 다양한 데이터 원본에서 인사이트를 추출할 수 있습니다. 새 언어를 배우거나 데이터를 추출(및 복제)하는 스크립트를 개발하거나 인프라를 관리할 필요가 없습니다. Amazon Athena를 사용하면 다음을 수행할 수 있습니다.

단일 도구와 SQL 언어를 사용하여 여러 데이터 원본에 분산되어 있는 데이터에 대한 온디맨드 분석 실행
JDBC 및 ODBC 인터페이스를 통해 Athena의 분산 컴퓨팅 엔진으로 복잡한 다중 소스 조인을 푸시하는 비즈니스 인텔리전스 애플리케이션의 데이터 시각화
Athena를 AWS Step Functions와 통합하여 셀프 서비스 ETL 파이프라인 및 이벤트 기반 데이터 처리 워크플로 설계
다양한 데이터 원본을 통합하여 기계 학습 모델 훈련 워크플로를 위한 풍부한 입력 특성 생성
데이터 메시 아키텍처의 인사이트를 표면화하는 사용자용 제품형 데이터 애플리케이션 개발
온프레미스 소스에서 AWS 클라우드로 마이그레이션하는 동안 분석 사용 사례 지원

Q: ETL(추출, 변환, 로드)에 연합 쿼리를 사용할 수 있습니까?
Athena는 쿼리 결과를 Amazon S3의 파일에 저장합니다. 따라서 Athena를 사용하여 다른 사용자 및 애플리케이션에 연합 데이터를 제공할 수 있습니다. 기반 소스를 반복적으로 쿼리할 필요 없이 Athena를 사용하여 데이터 분석을 수행하고 싶다면 Athena의 CREATE TABLE AS 함수를 사용합니다. 또한 Athena의 UNLOAD 함수를 사용하여 데이터를 쿼리하고 Amazon S3의 특정 파일 형식에 결과를 저장할 수 있습니다.

Q: 데이터 원본 커넥터는 어떻게 작동합니까?
데이터 원본 커넥터는 AWS Lambda에서 실행되어 대상 데이터 원본과 Athena 사이에서 변환을 수행하는 코드 조각입니다. 데이터 원본 커넥터를 사용하여 데이터 스토어를 Athena에 등록하면 연합 데이터 스토어에서 SQL 쿼리를 실행할 수 있습니다. 연합 소스에서 쿼리를 실행하면 Athena가 Lambda 함수를 호출하고 연합 소스와 관련된 쿼리 일부를 실행하여 처리합니다. 자세히 알아보려면 Amazon Athena 연합 쿼리 사용을 참조하세요.

기계 학습

Q: Athena가 지원하는 임베디드 기계 학습 사용 사례에는 어떤 것이 있습니까?

Athena의 기계 학습 사용 사례는 다음 예와 같이 여러 산업을 포괄합니다. 재무 위험 데이터 분석가는 what-if 분석과 Monte Carlo 시뮬레이션을 실행할 수 있습니다. 비즈니스 분석가는 수익을 예측하는 풍부하고 미래 지향적인 비즈니스 대시보드를 만드는 데 도움이 되도록 선형 회귀 또는 예측 모델을 실행하여 미래 가치를 예측할 수 있습니다. 마케팅 분석가는 K-평균 군집화 모델을 사용하여 서로 다른 고객 세그먼트를 결정할 수 있습니다. 보안 분석가는 로지스틱 회귀 분석 모델을 사용하여 이상 징후를 찾고 로그에서 보안 인시던트를 탐지할 수 있습니다.

Q: Athena에서 사용할 수 있는 기계 학습 모델은 무엇입니까?

Athena는 Amazon SageMaker에 배포된 모든 기계 학습 모델을 호출할 수 있습니다. 독점 데이터를 사용하여 자체 모델을 훈련하거나 SageMaker에서 사전 훈련 및 배포된 모델을 사용할 수 있습니다. 예를 들어, 사용자는 새 레코드를 이전 레코드에 사용한 것과 동일한 범주로 분류하려고 하기 때문에 자체 데이터로 클러스터 분석을 훈련하게 될 것입니다. 한편, 실제 스포츠 이벤트를 예측할 때는 사용되는 훈련 데이터가 이미 공공의 자산이 되었을 것이므로 공개적으로 사용 가능한 모델을 사용할 수 있습니다. 일반적으로 도메인별 또는 산업별 예측은 SageMaker에서 자체 데이터로 훈련되며, 기계 학습 요구 사항이 획일적인 경우 외부 모델을 사용할 수 있습니다.

Q: Athena를 사용하여 기계 학습 모델을 훈련할 수 있습니까?

Athena를 사용하여 SageMaker에서 기계 학습 모델을 훈련 및 배포할 수는 없습니다. ML 모델을 훈련할 수 있고, 아니면 Athena를 사용하여 SageMaker에 배포된 기존의 사전 훈련된 모델을 사용할 수 있습니다. SageMaker의 훈련 단계가 상세히 설명된 문서는 여기에서 확인하세요.

Q: Comprehend 등의 기타 서비스에 배포된 모델, 예측 또는 내 EC2 클러스터에 배포된 모델에 대해 추론을 실행할 수 있습니까?

Athena는 SageMaker에 배포된 기계 학습 모델만 호출할 수 있습니다. AWS에서는 그 외에 어떤 서비스를 Athena와 함께 사용하고자 하는지에 대한 피드백을 환영합니다. athena-feedback@amazon.com으로 피드백을 보내주세요.

Q: SageMaker 추론에 Athena 쿼리를 사용하면 성능에 어떤 영향을 미칩니까?

AWS에서는 지속적으로 기능 및 서비스에 운영 성능 개선 사항을 추가하고 있습니다. Athena ML 쿼리의 성능을 최적화하기 위해 추론을 위해 SageMaker ML 모델을 호출할 때 행을 배치 처리합니다. 현재는 사용자가 제공한 행 배치 크기 재정의를 지원하지 않습니다.

Q: Athena 기계 학습은 어떤 기능을 지원합니까?

Athena는 SQL 인터페이스로 래핑된 기계 학습 추론(예측) 기능을 제공합니다. Athena 사용자 정의 함수(UDF)를 호출하여 결과 세트에서 사전 또는 사후 처리 로직을 호출할 수도 있습니다. 입력값에는 열, 레코드 또는 테이블이 포함될 수 있으며, 확장성을 높이기 위해 여러 호출을 배치 처리할 수 있습니다. 선택 단계 또는 필터 단계에서 추론을 실행할 수 있습니다. 자세히 알아보려면 설명서를 참조하세요.

Q: 어떤 기계 학습 모델을 사용할 수 있습니까?

Amazon SageMaker는 다양한 기계 학습 알고리즘을 지원합니다. 독점 ML 모델을 만들어 Amazon SageMaker에 배포할 수도 있습니다. 예를 들어, 사용자는 새 레코드를 이전 레코드에 사용한 것과 동일한 범주로 분류하려고 하기 때문에 자체 데이터로 클러스터 분석을 훈련하게 될 것입니다. 한편, 실제 스포츠 이벤트를 예측할 때는 사용되는 훈련 데이터가 공공의 자산이 되었을 것이므로 공개적으로 사용 가능한 모델을 사용할 수 있습니다.

도메인별 또는 산업별 예측은 일반적으로 SageMaker에서 자체 데이터로 훈련되며, 기계 번역과 같이 ML 요구 사항이 획일적인 경우 외부 모델을 사용할 수 있습니다.

보안 및 가용성

Q: 내 데이터에 대한 액세스를 어떻게 제어합니까?

Amazon Athena를 사용하면 AWS Identity and Access Management(IAM) 정책, ACL(액세스 제어 목록) 및 Amazon S3 버킷 정책을 사용하여 데이터에 대한 액세스를 제어할 수 있습니다. IAM 정책을 사용해 IAM 사용자에게 S3 버킷에 대한 세분화된 제어 권한을 부여할 수 있습니다. S3에서 데이터에 대한 액세스를 제어하면 사용자들이 Athena를 사용하여 데이터를 쿼리하지 못하도록 제한할 수 있습니다.

Athena가 Amazon S3에 있는 암호화된 데이터를 쿼리할 수 있습니까?

예, Amazon S3 관리형 암호화 키를 사용한 서버 측 암호화, AWS Key Management Service(KMS)를 사용한 서버 측 암호화, KMS로 관리되는 키를 통한 클라이언트 측 암호화를 사용하여 암호화된 데이터를 쿼리할 수 있습니다. Amazon Athena는 또한 KMS와 함께 통합되어 결과 세트를 암호화하는 옵션도 제공합니다.

Q: Athena는 가용성이 높은가요?

예. Amazon Athena는 가용성이 뛰어난 데다 여러 시설에서 컴퓨팅 리소스를 사용하여 쿼리를 실행하며, 특정 시설에 도달할 수 없는 경우에는 쿼리를 자동으로 라우팅합니다. Athena는 Amazon S3를 기본 데이터 스토어로 사용하여 데이터 가용성과 내구성을 높입니다. Amazon S3는 중요한 데이터를 저장할 수 있고 99.999999999%의 객체 내구성을 보장하도록 설계된 내구성이 뛰어난 인프라를 제공합니다. 데이터가 여러 시설과 각 시설의 여러 디바이스에 중복 저장됩니다.

Q: 다른 사용자의 S3 버킷에 대한 교차 계정 액세스를 제공해도 되나요?

예. Amazon S3에 대한 교차 계정 액세스를 제공할 수 있습니다.

요금 및 결제

Q: Amazon Athena의 요금은 어떻게 부과되나요?

Amazon Athena는 쿼리당 요금이 부과되며 쿼리로 스캔한 데이터의 양을 기준으로 요금이 청구됩니다. Amazon S3에서 데이터를 다양한 형식으로 저장할 수 있습니다. 데이터를 압축 및 파티셔닝하거나 컬럼 저장 형식으로 변환하면 스캔되는 데이터의 양이 줄어들어 비용이 절감됩니다. 데이터를 컬럼 형식으로 변환하면 Athena는 쿼리를 처리하는 데 필요한 열만 읽을 수 있습니다. 자세한 내용은 Athena 요금 페이지를 참조하십시오.

Q: 컬럼 형식을 사용할 때 요금이 적게 부과되는 이유는 무엇인가요?

Amazon Athena는 쿼리당 스캔된 데이터의 양만큼 요금이 청구됩니다. 데이터를 압축하면 Amazon Athena가 스캔하는 데이터의 양을 줄일 수 있습니다. 데이터를 컬럼 형식으로 변환하면 Athena가 필요한 컬럼만 선택적으로 읽어 데이터를 처리할 수 있습니다. 또한 데이터를 파티셔닝하면 Athena는 스캔된 데이터의 양을 제한할 수도 있습니다. 그 결과, 비용은 절감되고 성능은 향상됩니다. 자세한 내용은 요금 예를 참조하십시오.

Q: 비용을 줄이려면 어떻게 해야 하나요?

데이터를 압축 및 파티셔닝하여 컬럼 형식으로 변환하면 쿼리 비용을 30%~90%만큼 절약하고 성능을 향상시킬 수 있습니다. 이러한 각각의 작업은 Amazon Athena가 쿼리를 실행하기 위해 스캔해야 할 데이터의 양을 줄여줍니다. Amazon Athena는 가장 널리 쓰이는 오픈 소스 컬럼 형식 중 2가지인 Apache Parquet과 ORC를 지원합니다. Athena 콘솔에서는 쿼리당 스캔되는 데이터의 양을 확인할 수 있습니다.

Q: Amazon Athena는 실패한 쿼리에 대한 요금을 청구하나요?

아니요. 실패한 쿼리에 대해서는 요금이 청구되지 않습니다.

Q: Amazon Athena는 취소된 쿼리에 대한 요금을 청구하나요?

예. 어떤 쿼리를 수동으로 취소하면 이 쿼리를 취소한 시점까지 스캔된 데이터의 양에 대한 요금이 부과됩니다.

Q: Amazon Athena와 관련된 추가 요금이 있나요?

Amazon Athena는 Amazon S3에서 직접 데이터를 쿼리하기 때문에 사용자의 소스 데이터는 S3 요금으로 청구됩니다. Amazon Athena가 하나의 쿼리를 실행하면 그 결과는 사용자가 선택한 S3 버킷에 저장되며 이러한 결과 세트에 대해서는 표준 S3 요금이 청구됩니다. 보관되는 데이터의 양을 제어하려면 이러한 버킷들을 모니터링하고 수명 주기 정책을 사용할 것을 권장합니다.

Q: Q: AWS Glue 데이터 카탈로그를 사용하면 요금이 부과됩니까?

예. AWS Glue 데이터 카탈로그 사용 요금이 별도로 부과됩니다. 여기를 클릭하여 Glue 데이터 카탈로그 요금에 대해 자세히 알아보십시오.