Amazon Web Services 한국 블로그

Category: Open Source

Amazon ElastiCache, Redis 6 버전 지원 (서울 리전 포함)

Amazon ElastiCache에 대한 지난 Redis 5.0 호환성 제공 이후, 5.0.6과 같은 업스트림 지원을 비롯하여 Amazon ElastiCache for Redis에서 많은 사항이 개선되었습니다. 올해 초반에는 한 개 리전의 클러스터를 최대 2개의 다른 리전의 클러스터로 복제할 수 있는 Global Datastore for Redis를 발표했습니다. 최근 18개의 추가 엔진 및 노드 수준 CloudWatch 지표를 활성화하여 Redis 플릿을 모니터링하는 기능을 개선했습니다. […]

Read More

AWS Solutions Constructs – AWS CDK에 대한 아키텍처 패턴 라이브러리

클라우드 애플리케이션은 가상 서버, 컨테이너, 서버리스 함수, 스토리지 버킷 및 데이터베이스 등 다수의 구성 요소를 사용하여 구축됩니다. 이러한 리소스를 안전하고 반복 가능한 방법으로 프로비저닝하고 구성하는 기능은 프로세스를 자동화하여 구현의 고유한 부분에 집중하는 데 매우 중요합니다. AWS Cloud Development Kit를 사용하면 자주 사용하는 프로그래밍 언어의 표현 기능을 활용하여 애플리케이션을 모델링할 수 있습니다. “적절한 기본값”으로 미리 구성되는 […]

Read More

Amazon SageMaker와 Apache Airflow을 통한  기계학습 워크플로 구축하기

기계 학습(Machine Learning, ML) 워크플로는 데이터 수집 및 변환을 가능하게 함으로써 ML 작업 순서를 오케스트레이션하고 자동화합니다. 그런 다음 ML 모델을 학습, 테스트 및 평가하여 결과를 얻습니다. 예를 들어 Amazon SageMaker에서 모델을 학습하고 모델을 프로덕션 환경에 배포하여 추론하기 전에 Amazon Athena에서 쿼리를 수행하거나 AWS Glue에서 데이터를 통합하고 준비 할 수 있습니다. 이러한 작업을 자동화하고 다양한 서비스에서 […]

Read More

Amazon EMR에서 Apache Ranger를 사용하여 권한 부여 및 감사 구현

업데이트 날짜: 2020년 2월 14일: EMR 최신 버전 및 Apache Ranger 2.0을 지원하도록 업데이트 되었습니다. Apache Ranger 2.0을 필요로하는 Ranger Presto 플러그인에 대한 지원 추가됨. 참고: Ranger Presto 플러그인은 EMR 5.29 에서만 테스트 되었음. 업데이트 날짜: 2018년 9월 26일: EMR 및 Apache Ranger의 최신 버전을 지원하도록 업데이트 되었습니다. ————————————————– RBAC(역할 기반 액세스 제어)는 멀티 테넌트 […]

Read More

Amazon EMR에서 Apache Knox를 사용하여 경계 보안 구현

경계 보안은 클러스터 외부에서 액세스하는 사용자에게 안전한 Apache 하둡 클러스터 리소스를 제공하는 데 도움이 됩니다. Apache 하둡 클러스터와의 모든 REST 및 HTTP 상호 작용을 위한 단일 액세스 지점을 제공하여 클라이언트와 클러스터의 상호 작용을 간소화합니다. 예를 들어 클라이언트 애플리케이션에서 Kerberos가 활성화된 클러스터의 서비스와 상호 작용하려면 Kinit 또는 SPNEGO를 사용하여 Kerberos 티켓을 받아야 합니다. 이 게시물에서는 Apache […]

Read More

Amazon SageMaker의 MXNet 추론 컨테이너를 활용한 KoGPT2 모델 배포하기

기계 학습 기반 자연어 처리를 위한 다양한 학습 모델이 나오고 있는 가운데, 다국어로 학습된 BERT의 한국어 성능 한계를 극복하기 위해 SK텔레콤의 T-Brain에서는 KoBERT라는 한국형 사전 훈련 모델을 개발하였습니다. 위키피디아나 뉴스 등에서 수집한 수백만 개의 한국어 문장으로 이루어진 대규모 말뭉치(corpus)를 기반으로 학습하였으며, 한국어의 불규칙한 언어 변화의 특성을 반영하기 위해 데이터 기반 토큰화(Tokenization) 기법을 적용하여 Apache MXNet을 […]

Read More

PyTorch용 오픈 소스 모델 서버 TorchServe 출시

PyTorch는 딥 러닝을 위한 가장 인기 있는 오픈 소스 라이브러리 중 하나입니다. 개발자와 연구자들은 모델 개발 및 학습에서 특히 PyTorch가 제공하는 유연성을 즐깁니다. 하지만, 프로덕션 환경에서 모델의 배포 및 관리는 맞춤형 예측 API를 개발하고 이를 확장하며 보안을 제공하는 것과 같은 기계 학습 프로세스의 가장 까다로운 부분이기도 합니다. 모델 배포 프로세스를 간소화하기 위한 한 가지 방법은 […]

Read More

Bottlerocket – 컨테이너 호스팅을 위한 오픈 소스 운영체제(OS) 공개

최근 IT 업계에서는 컨테이너가 현대적 애플리케이션을 패키징하고 확장하기 위한 엄선된 방법으로 많이 활용되고 있습니다. AWS 고객 역시 Amazon ECS와 Amazon Elastic Kubernetes Service를 효율적으로 활용하고 있으며 모든 클라우드 기반 컨테이너의 80% 이상을 AWS에서 실행하고 있습니다. 컨테이너 기반 환경은 쉽게 확장할 수 있으며 고객은 수백 또는 수천 개의 인스턴스를 포함하는 호스팅 환경을 실행할 수 있습니다. 이러한 […]

Read More

Amazon EC2 스팟 인스턴스를 통한 EMR 기반 Apache Spark 활용 10가지 모범 사례

Apache Spark는 사용 편의성, 빠른 성능, 메모리 및 디스크 사용률과 내결함성 등 다양한 이유로 가장 인기 있는 오픈소스 빅데이터 분석 플랫폼이 되었습니다. 이러한 기능은 인스턴스의 폐기 및 삭제가 가능한 클라우드 컴퓨팅의 개념과 매우 깊은 관련이 있습니다. Amazon EMR은 EC2 인스턴스를 사용하여 방대한 양의 데이터를 쉽고 빠르고 경제적으로 처리할 수 있는 관리형 하둡 프레임워크를 제공합니다. Amazon […]

Read More

Amazon Managed Apache Cassandra Service(MCS) – 미리 보기 출시

대규모 데이터베이스를 관리하기란 결코 쉽지 않습니다. 키-값 및 테이블 형식과 같은 대량의 구조화된 데이터를 저장하고 검색하고 관리할 때 사용할 수 있는 옵션 중 하나는 Apache Cassandra입니다. Cassandra에서는 명시적 CQL(Cassandra Query Language)을 사용하여 애플리케이션을 빠르게 구축할 수 있습니다. 그러나, 대규모 Cassandra 클러스터를 관리하기가 어렵고 많은 시간이 소모될 수 있습니다. 기반 인프라를 설정, 구성 및 유지 관리하는 […]

Read More