Amazon Web Services 한국 블로그

Category: Amazon Simple Storage Services (S3)

Amazon EMR, Apache Hudi 추가를 통해 개별 레코드 수준 데이터 관리 기능 출시

Amazon S3에 데이터를 저장하면 규모 조정, 신뢰성 및 비용 효율 면에서 많은 이점이 있습니다. 그 뿐 아니라, Amazon EMR을 활용할 수 있으므로 Apache Spark, Hive 및 Presto와 같은 오픈 소스 도구를 사용하여 데이터를 처리 및 분석할 수 있습니다. 이러한 도구는 강력한 성능을 제공하지만 점진적 데이터 프로세싱과 레코드 수준의 삽입, 업데이트 및 삭제가 필요한 사용 사례를 처리하기에는 여전히 […]

Read More

Amazon S3 복제 기능 업데이트 – 복제 SLA, 지표 및 이벤트 지원

S3 교차 리전 복제 기능은 2015년 초부터 사용되고 있습니다 (새로운 Amazon S3용 교차 리전 복제). 동일 리전 복제는 최근 두달 전부터 사용되고 있습니다. 복제를 설정하는 것은 아주 쉬우며 복제는 한 S3 버킷에서 다른 버킷으로 객체를 복사하는 규칙을 사용할 수 있게 합니다. 이 규칙은 전체 버킷의 복제를 지정하거나 접두사 또는 태그에 기반한 하위 집합의 복제를 지정할 […]

Read More

Amazon S3, 동일 리전내 복제 기능 출시 (서울 리전 포함)

Amazon Simple Storage Service(Amazon S3)는 높은 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스입니다. 즉, 웹 사이트, 모바일 애플리케이션의 데이터 백업 및 복원, 빅 데이터 분석 등과 같은 다양한 사용 사례에서 활용 가능합니다. 데이터가 저장되는 버킷(Bucket)은 개별 리전에 저장합니다. 국가별 데이터 규제 요구 사항, 지연 시간 관점에서 데이터를 고객에게 보다 가까이에 두어야 한다는 […]

Read More

Parquet 형식의 EMRFS S3 최적화 커미터를 통한 Apache Spark 쓰기 성능 개선하기

EMRFS S3 최적화 커미터는 Amazon EMR 5.19.0부터 Apache Spark 작업에 사용할 수 있는 새로운 출력 커미터입니다. 이 커미터는 EMRFS(EMR 파일 시스템)을 사용하는 Amazon S3에 Apache Parquet 파일을 쓸 때의 성능을 개선합니다. 이 게시물에서는 최근 성능 벤치마크를 실행하여 신규 최적화된 커미터를 기존 커미터 알고리즘(FileOutputCommitter 알고리즘 버전 1 및 2)과 비교하여 어떻게 Spark 쓰기 성능이 개선되었는지 알아봅니다. […]

Read More

Amazon Athena 및 Amazon QuickSight를 활용한 2백년간 글로벌 기후 데이터 시각화

전 세계 기후 변화는 우리의 삶의 질에 심각한 영향을 미치고 있습니다. 이 때문에 향후 지속 가능성에 대한 조사도 증가하고 있습니다. 공공 및 민간 부문의 연구원은 기록된 기후의 역사를 연구하고 기후 예측 모델을 사용하여 미래를 계획하고 있습니다. 이 글은 기후 변화와 그 개념에 대한 설명을 돕기 위해 Global Historical Climatology Network Daily(GHCN-D)를 소개합니다. 그리고, Amazon Web […]

Read More

Amazon S3 업데이트 – SigV2 사용 중지 기간 연장 및 수정 계획

Amazon S3 API 모든 요청은 진짜임을 보장할 수 있도록 암호화 서명을 추가하도록 되어 있습니다. AWS 초기에는 SigV2(서명 버전 2)라는 서명 모델이 사용되었습니다. 그리고 AWS는 2012년에 보다 유연한 서명 방식인 SigV4를 발표하여 이를 2013년 이후 출시되는 모든 리전에서 사용되는 유일한 서명 방식으로 지정하였습니다. 당시에 AWS에서는 모든 신규 S3 애플리케이션에 이 모델을 사용할 것을 권장해 드렸습니다. 작년에 […]

Read More

Amazon S3 경로 기반 API 사용 중지 계획 안내

지난 주 저희는 Amazon S3 버킷에 있는 객체의 주소를 지정하는 데 사용되는 경로 기반 액세스 모델을 중지할 것임을 발표했습니다. 이 블로그 게시물을 작성하기 위해 저는 현 상황에 대해 S3 팀과 대화의 시간을 가졌으며, 이와 관련된 자세한 설명을 해드리고자 합니다. 아시다시피 S3는 2006년 초에 출시되었습니다. Jeff Bezos가 생각했던 S3의 초기 사양은 간단했습니다. 그는 인터넷을 위한 malloc(C […]

Read More

Amazon S3 Batch Operations 기능 정식 출시 (서울 리전 포함)

AWS 고객은 개별 Amazon Simple Storage Service(S3) 버킷에 수백만 또는 수십억 개의 객체를 일상적으로 저장하면서 확장성, 내구성, 낮은 비용, 보안, 스토리지 옵션 등 S3의 다양한 이점을 활용하고 있습니다. 고객들은 이미지, 동영상, 로그 파일, 백업 등 미션 크리티컬 데이터를 저장하며 S3를 데이터 스토리지 전략의 중요한 부분으로 활용하고 있습니다. S3 Batch Operations 정식 출시 Amazon S3 Batch […]

Read More

Woot.com은 어떻게 AWS 기반 서버리스 데이터 레이크를 구축 하였는가?

이 글에서는 관계형 데이터베이스를 기반으로 구축된 기존 데이터 웨어하우스를 대체할 클라우드 네이티브 데이터 웨어하우스를 설계하는 방법에 대해 Woot.com의 사례를 소개합니다. (Woot는 2004 년에 설립되어 2010년 Amazon에 의해 인수된 최초의 일일 거래 사이트입니다. 원래 Woot는 매진 할 때까지 하루에 단 하나의 제품만을 제공했으나, 최근에는 7 가지 카테고리에 걸쳐 특별 일일 거래 및 기타 기간 한정 상품을 […]

Read More

Amazon ECS와 Amazon ECR의 AWS PrivateLink 설정 방법

Amazon ECS와 Amazon ECR에서 AWS PrivateLink가 정식으로 지원됩니다. AWS PrivateLink는 AWS 서비스 액세스에 대한 높은 가용성과 확장성을 제공하기 위한 네트워킹 기술입니다. 이 기술을 사용하면 모든 트래픽을 AWS 네트워크 안에 유지할 수 있습니다. ECR 및 ECS에 대한 AWS PrivateLink 엔드포인트 생성 시, 이 서비스 엔드포인트는 VPC 안에 프라이빗 IP 주소를 갖는 탄력적 네트워크 인터페이스로 나타납니다. AWS […]

Read More