Amazon Web Services 한국 블로그

Category: Amazon Simple Storage Services (S3)

Amazon S3, 동일 리전내 복제 기능 출시 (서울 리전 포함)

Amazon Simple Storage Service(Amazon S3)는 높은 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스입니다. 즉, 웹 사이트, 모바일 애플리케이션의 데이터 백업 및 복원, 빅 데이터 분석 등과 같은 다양한 사용 사례에서 활용 가능합니다. 데이터가 저장되는 버킷(Bucket)은 개별 리전에 저장합니다. 국가별 데이터 규제 요구 사항, 지연 시간 관점에서 데이터를 고객에게 보다 가까이에 두어야 한다는 […]

Read More

Parquet 형식의 EMRFS S3 최적화 커미터를 통한 Apache Spark 쓰기 성능 개선하기

EMRFS S3 최적화 커미터는 Amazon EMR 5.19.0부터 Apache Spark 작업에 사용할 수 있는 새로운 출력 커미터입니다. 이 커미터는 EMRFS(EMR 파일 시스템)을 사용하는 Amazon S3에 Apache Parquet 파일을 쓸 때의 성능을 개선합니다. 이 게시물에서는 최근 성능 벤치마크를 실행하여 신규 최적화된 커미터를 기존 커미터 알고리즘(FileOutputCommitter 알고리즘 버전 1 및 2)과 비교하여 어떻게 Spark 쓰기 성능이 개선되었는지 알아봅니다. […]

Read More

Amazon Athena 및 Amazon QuickSight를 활용한 2백년간 글로벌 기후 데이터 시각화

전 세계 기후 변화는 우리의 삶의 질에 심각한 영향을 미치고 있습니다. 이 때문에 향후 지속 가능성에 대한 조사도 증가하고 있습니다. 공공 및 민간 부문의 연구원은 기록된 기후의 역사를 연구하고 기후 예측 모델을 사용하여 미래를 계획하고 있습니다. 이 글은 기후 변화와 그 개념에 대한 설명을 돕기 위해 Global Historical Climatology Network Daily(GHCN-D)를 소개합니다. 그리고, Amazon Web […]

Read More

Amazon S3 업데이트 – SigV2 사용 중지 기간 연장 및 수정 계획

Amazon S3 API 모든 요청은 진짜임을 보장할 수 있도록 암호화 서명을 추가하도록 되어 있습니다. AWS 초기에는 SigV2(서명 버전 2)라는 서명 모델이 사용되었습니다. 그리고 AWS는 2012년에 보다 유연한 서명 방식인 SigV4를 발표하여 이를 2013년 이후 출시되는 모든 리전에서 사용되는 유일한 서명 방식으로 지정하였습니다. 당시에 AWS에서는 모든 신규 S3 애플리케이션에 이 모델을 사용할 것을 권장해 드렸습니다. 작년에 […]

Read More

Amazon S3 경로 기반 API 사용 중지 계획 안내

지난 주 저희는 Amazon S3 버킷에 있는 객체의 주소를 지정하는 데 사용되는 경로 기반 액세스 모델을 중지할 것임을 발표했습니다. 이 블로그 게시물을 작성하기 위해 저는 현 상황에 대해 S3 팀과 대화의 시간을 가졌으며, 이와 관련된 자세한 설명을 해드리고자 합니다. 아시다시피 S3는 2006년 초에 출시되었습니다. Jeff Bezos가 생각했던 S3의 초기 사양은 간단했습니다. 그는 인터넷을 위한 malloc(C […]

Read More

Amazon S3 Batch Operations 기능 정식 출시 (서울 리전 포함)

AWS 고객은 개별 Amazon Simple Storage Service(S3) 버킷에 수백만 또는 수십억 개의 객체를 일상적으로 저장하면서 확장성, 내구성, 낮은 비용, 보안, 스토리지 옵션 등 S3의 다양한 이점을 활용하고 있습니다. 고객들은 이미지, 동영상, 로그 파일, 백업 등 미션 크리티컬 데이터를 저장하며 S3를 데이터 스토리지 전략의 중요한 부분으로 활용하고 있습니다. S3 Batch Operations 정식 출시 Amazon S3 Batch […]

Read More

Woot.com은 어떻게 AWS 기반 서버리스 데이터 레이크를 구축 하였는가?

이 글에서는 관계형 데이터베이스를 기반으로 구축된 기존 데이터 웨어하우스를 대체할 클라우드 네이티브 데이터 웨어하우스를 설계하는 방법에 대해 Woot.com의 사례를 소개합니다. (Woot는 2004 년에 설립되어 2010년 Amazon에 의해 인수된 최초의 일일 거래 사이트입니다. 원래 Woot는 매진 할 때까지 하루에 단 하나의 제품만을 제공했으나, 최근에는 7 가지 카테고리에 걸쳐 특별 일일 거래 및 기타 기간 한정 상품을 […]

Read More

Amazon ECS와 Amazon ECR의 AWS PrivateLink 설정 방법

Amazon ECS와 Amazon ECR에서 AWS PrivateLink가 정식으로 지원됩니다. AWS PrivateLink는 AWS 서비스 액세스에 대한 높은 가용성과 확장성을 제공하기 위한 네트워킹 기술입니다. 이 기술을 사용하면 모든 트래픽을 AWS 네트워크 안에 유지할 수 있습니다. ECR 및 ECS에 대한 AWS PrivateLink 엔드포인트 생성 시, 이 서비스 엔드포인트는 VPC 안에 프라이빗 IP 주소를 갖는 탄력적 네트워크 인터페이스로 나타납니다. AWS […]

Read More

Amazon S3 Glacier Deep Archive 정식 출시 (서울 리전 포함)

지난 AWS re:Invent에서 출시 예고된 새로운 장기 보관용 스토리지 클래스인 Amazon S3 Glacier Deep Archive가 정식 출시하였습니다. 많은 AWS 고객이 다량(페타바이트 이상)의 중요한 데이터를 수집하고 저장하지만, 이후로 접근하지 않는 경우가 많습니다. 경우에 따라서는 소스 데이터를 수집 및 즉시 처리하고 나서, 추가 처리 또는 분석이 필요할 때를 대비해 수년 또는 수십 년 동안 저장하기도 합니다. 또한, […]

Read More

Amazon EMR의 Amazon S3기반 Apache HBase로의 이관: 가이드라인과 모범 사례

Amazon EMR 버전 5.2.0 이상에서는 Amazon S3기반 Apache HBase를 실행할 수 있습니다. Amazon S3을 Apache HBase용 데이터 스토어로 사용하면 클러스터의 스토리지와 컴퓨팅 노드를 분리할 수 있습니다. 이는 클러스터의 크기를 컴퓨팅 요구 사항에 따라 조정하므로 비용이 절감됩니다. 더이상 전체 데이터세트를 클러스터상의 HDFS에 3벌 복제 저장하는 형태로 비용을 지불하지 않아도 됩니다. 많은 고객들이 데이터 스토리지를 위한 Amazon […]

Read More