Amazon Web Services 한국 블로그

Category: Storage

Amazon EFS Infrequent Access을 통한 스토리지 비용 최적화 – 최대 92% 비용 절감

Amazon Elastic File System에서 Infrequent Access(IA) 수명 주기 관리를 사용하는 경우 요금이 인하됩니다. 이번 가격 인하를 통해 액세스 패턴이 바뀌는 경우 파일 스토리지 비용에서 비용을 추가로 최적화하고 최대 92%까지 자동으로 절감할 수 있습니다. 이번 새롭게 인하된 가격을 이용하면 이제 월별 GB당 0.08 USD의 저렴한 비용으로 파일 시스템에서 기본적으로 파일을 저장하고 파일에 액세스할 수 있습니다. Amazon […]

Read More

Parquet 형식의 EMRFS S3 최적화 커미터를 통한 Apache Spark 쓰기 성능 개선하기

EMRFS S3 최적화 커미터는 Amazon EMR 5.19.0부터 Apache Spark 작업에 사용할 수 있는 새로운 출력 커미터입니다. 이 커미터는 EMRFS(EMR 파일 시스템)을 사용하는 Amazon S3에 Apache Parquet 파일을 쓸 때의 성능을 개선합니다. 이 게시물에서는 최근 성능 벤치마크를 실행하여 신규 최적화된 커미터를 기존 커미터 알고리즘(FileOutputCommitter 알고리즘 버전 1 및 2)과 비교하여 어떻게 Spark 쓰기 성능이 개선되었는지 알아봅니다. […]

Read More

AWS Snowball 및 Snowball Edge, 대용량 데이터 이동 서비스 서울 리전 출시

AWS의 대용량 데이터 이동 장치 서비스인 AWS Snowball 및 Snowball Edge가 서울 리전에 출시되었습니다. Snowball 및 Snowball Edge는 안전하고 견고한 장치를 사용하여 데이터 마이그레이션, 에지 컴퓨팅, 기계 학습 및 분석을 위해 Amazon S3로의 페타 바이트 단위로 데이터를 이동하는 전송 서비스입니다. AWS Snowball 및 AWS Snowball Edge는 기존 저장소에서 네트워크 대역폭이 충분하지 않을 때, 대용량 데이터 […]

Read More

AWS Batch 및 Amazon FSx for Lustre 기반 다중 노드 병렬 작업을 통한 확장 가능한 딥 러닝 학습 방법

Toyota Research Institute는 지난 AWS re:Invent 2018에서 딥러닝을 위한 고성능 컴퓨팅 아키텍처를 발표했습니다. 이는 올해 초 출시된 확장 가능한 딥 러닝 고성능 컴퓨팅(HPC) 솔루션을 위한 참조 아키텍처를 기반으로 했습니다. 본 아키텍처는 Apache MXNet 및 TensorFlow 프레임워크에서 ImageNet 및 ResNet-50 벤치마크를 실행하도록 설계되었습니다. AWS가 제공하는 확장성과 탄력성을 활용하기 위해 다양한 클라우드 모범 사례를 사용했습니다. AWS의 혁신 […]

Read More

Amazon Athena 및 Amazon QuickSight를 활용한 2백년간 글로벌 기후 데이터 시각화

전 세계 기후 변화는 우리의 삶의 질에 심각한 영향을 미치고 있습니다. 이 때문에 향후 지속 가능성에 대한 조사도 증가하고 있습니다. 공공 및 민간 부문의 연구원은 기록된 기후의 역사를 연구하고 기후 예측 모델을 사용하여 미래를 계획하고 있습니다. 이 글은 기후 변화와 그 개념에 대한 설명을 돕기 위해 Global Historical Climatology Network Daily(GHCN-D)를 소개합니다. 그리고, Amazon Web […]

Read More

AWS Backup 및 AWS IoT Greengrass 서울 리전 출시

오늘은 지난 주에 서울 리전에 새로 선보인 서비스에 대해 간략하게 소개해 드립니다. AWS Backup – 완전 관리형 데이터 백업 서비스 AWS Backup은 중앙 집중식 관리형 서비스를 바탕으로 Storage Gateway를 사용하여 클라우드 및 온프레미스에서 AWS 서비스의 데이터를 백업해 주는 관리형 서비스로서 오늘 부터 서울 리전에서 사용 가능합니다. AWS Backup은 AWS 내부 다양한 서비스의 데이터 즉, Amazon […]

Read More

Amazon S3 업데이트 – SigV2 사용 중지 기간 연장 및 수정 계획

Amazon S3 API 모든 요청은 진짜임을 보장할 수 있도록 암호화 서명을 추가하도록 되어 있습니다. AWS 초기에는 SigV2(서명 버전 2)라는 서명 모델이 사용되었습니다. 그리고 AWS는 2012년에 보다 유연한 서명 방식인 SigV4를 발표하여 이를 2013년 이후 출시되는 모든 리전에서 사용되는 유일한 서명 방식으로 지정하였습니다. 당시에 AWS에서는 모든 신규 S3 애플리케이션에 이 모델을 사용할 것을 권장해 드렸습니다. 작년에 […]

Read More

Amazon S3 경로 기반 API 사용 중지 계획 안내

지난 주 저희는 Amazon S3 버킷에 있는 객체의 주소를 지정하는 데 사용되는 경로 기반 액세스 모델을 중지할 것임을 발표했습니다. 이 블로그 게시물을 작성하기 위해 저는 현 상황에 대해 S3 팀과 대화의 시간을 가졌으며, 이와 관련된 자세한 설명을 해드리고자 합니다. 아시다시피 S3는 2006년 초에 출시되었습니다. Jeff Bezos가 생각했던 S3의 초기 사양은 간단했습니다. 그는 인터넷을 위한 malloc(C […]

Read More

Amazon S3 Batch Operations 기능 정식 출시 (서울 리전 포함)

AWS 고객은 개별 Amazon Simple Storage Service(S3) 버킷에 수백만 또는 수십억 개의 객체를 일상적으로 저장하면서 확장성, 내구성, 낮은 비용, 보안, 스토리지 옵션 등 S3의 다양한 이점을 활용하고 있습니다. 고객들은 이미지, 동영상, 로그 파일, 백업 등 미션 크리티컬 데이터를 저장하며 S3를 데이터 스토리지 전략의 중요한 부분으로 활용하고 있습니다. S3 Batch Operations 정식 출시 Amazon S3 Batch […]

Read More

Woot.com은 어떻게 AWS 기반 서버리스 데이터 레이크를 구축 하였는가?

이 글에서는 관계형 데이터베이스를 기반으로 구축된 기존 데이터 웨어하우스를 대체할 클라우드 네이티브 데이터 웨어하우스를 설계하는 방법에 대해 Woot.com의 사례를 소개합니다. (Woot는 2004 년에 설립되어 2010년 Amazon에 의해 인수된 최초의 일일 거래 사이트입니다. 원래 Woot는 매진 할 때까지 하루에 단 하나의 제품만을 제공했으나, 최근에는 7 가지 카테고리에 걸쳐 특별 일일 거래 및 기타 기간 한정 상품을 […]

Read More