Category: Open Source

데이터 텔레메터리(Telemetry, 관측)가 무엇인지 파악하는 데 꽤 오랜 시간이 걸렸습니다. 1, 2년 전에 주변에 열심히 물어봤고, 동료들이 Charity Majors를 팔로우하고 Charity의 블로그를 읽어보라고 알려줬습니다(모두 완료). 바로 이번 주에 Charity가 이런 트윗을 남겼습니다. Kislay의 트윗에서 링크를 타고 그가 작성한 블로그 게시물, 관측은 디버깅이 아니다를 읽어보니 큰 도움이 되었습니다. Charity도 언급했지만, Kislay의 글에 따르면 관측 가능성이란 가동 […]

Amazon ElastiCache에 대한 지난 Redis 5.0 호환성 제공 이후, 5.0.6과 같은 업스트림 지원을 비롯하여 Amazon ElastiCache for Redis에서 많은 사항이 개선되었습니다. 올해 초반에는 한 개 리전의 클러스터를 최대 2개의 다른 리전의 클러스터로 복제할 수 있는 Global Datastore for Redis를 발표했습니다. 최근 18개의 추가 엔진 및 노드 수준 CloudWatch 지표를 활성화하여 Redis 플릿을 모니터링하는 기능을 개선했습니다. […]

클라우드 애플리케이션은 가상 서버, 컨테이너, 서버리스 함수, 스토리지 버킷 및 데이터베이스 등 다수의 구성 요소를 사용하여 구축됩니다. 이러한 리소스를 안전하고 반복 가능한 방법으로 프로비저닝하고 구성하는 기능은 프로세스를 자동화하여 구현의 고유한 부분에 집중하는 데 매우 중요합니다. AWS Cloud Development Kit를 사용하면 자주 사용하는 프로그래밍 언어의 표현 기능을 활용하여 애플리케이션을 모델링할 수 있습니다. “적절한 기본값”으로 미리 구성되는 […]

기계 학습(Machine Learning, ML) 워크플로는 데이터 수집 및 변환을 가능하게 함으로써 ML 작업 순서를 오케스트레이션하고 자동화합니다. 그런 다음 ML 모델을 학습, 테스트 및 평가하여 결과를 얻습니다. 예를 들어 Amazon SageMaker에서 모델을 학습하고 모델을 프로덕션 환경에 배포하여 추론하기 전에 Amazon Athena에서 쿼리를 수행하거나 AWS Glue에서 데이터를 통합하고 준비 할 수 있습니다. 이러한 작업을 자동화하고 다양한 서비스에서 […]

업데이트 날짜: 2020년 2월 14일: EMR 최신 버전 및 Apache Ranger 2.0을 지원하도록 업데이트 되었습니다. Apache Ranger 2.0을 필요로하는 Ranger Presto 플러그인에 대한 지원 추가됨. 참고: Ranger Presto 플러그인은 EMR 5.29 에서만 테스트 되었음. 업데이트 날짜: 2018년 9월 26일: EMR 및 Apache Ranger의 최신 버전을 지원하도록 업데이트 되었습니다. ————————————————– RBAC(역할 기반 액세스 제어)는 멀티 테넌트 […]

경계 보안은 클러스터 외부에서 액세스하는 사용자에게 안전한 Apache 하둡 클러스터 리소스를 제공하는 데 도움이 됩니다. Apache 하둡 클러스터와의 모든 REST 및 HTTP 상호 작용을 위한 단일 액세스 지점을 제공하여 클라이언트와 클러스터의 상호 작용을 간소화합니다. 예를 들어 클라이언트 애플리케이션에서 Kerberos가 활성화된 클러스터의 서비스와 상호 작용하려면 Kinit 또는 SPNEGO를 사용하여 Kerberos 티켓을 받아야 합니다. 이 게시물에서는 Apache […]

기계 학습 기반 자연어 처리를 위한 다양한 학습 모델이 나오고 있는 가운데, 다국어로 학습된 BERT의 한국어 성능 한계를 극복하기 위해 SK텔레콤의 T-Brain에서는 KoBERT라는 한국형 사전 훈련 모델을 개발하였습니다. 위키피디아나 뉴스 등에서 수집한 수백만 개의 한국어 문장으로 이루어진 대규모 말뭉치(corpus)를 기반으로 학습하였으며, 한국어의 불규칙한 언어 변화의 특성을 반영하기 위해 데이터 기반 토큰화(Tokenization) 기법을 적용하여 Apache MXNet을 […]

PyTorch는 딥 러닝을 위한 가장 인기 있는 오픈 소스 라이브러리 중 하나입니다. 개발자와 연구자들은 모델 개발 및 학습에서 특히 PyTorch가 제공하는 유연성을 즐깁니다. 하지만, 프로덕션 환경에서 모델의 배포 및 관리는 맞춤형 예측 API를 개발하고 이를 확장하며 보안을 제공하는 것과 같은 기계 학습 프로세스의 가장 까다로운 부분이기도 합니다. 모델 배포 프로세스를 간소화하기 위한 한 가지 방법은 […]

최근 IT 업계에서는 컨테이너가 현대적 애플리케이션을 패키징하고 확장하기 위한 엄선된 방법으로 많이 활용되고 있습니다. AWS 고객 역시 Amazon ECS와 Amazon Elastic Kubernetes Service를 효율적으로 활용하고 있으며 모든 클라우드 기반 컨테이너의 80% 이상을 AWS에서 실행하고 있습니다. 컨테이너 기반 환경은 쉽게 확장할 수 있으며 고객은 수백 또는 수천 개의 인스턴스를 포함하는 호스팅 환경을 실행할 수 있습니다. 이러한 […]

Apache Spark는 사용 편의성, 빠른 성능, 메모리 및 디스크 사용률과 내결함성 등 다양한 이유로 가장 인기 있는 오픈소스 빅데이터 분석 플랫폼이 되었습니다. 이러한 기능은 인스턴스의 폐기 및 삭제가 가능한 클라우드 컴퓨팅의 개념과 매우 깊은 관련이 있습니다. Amazon EMR은 EC2 인스턴스를 사용하여 방대한 양의 데이터를 쉽고 빠르고 경제적으로 처리할 수 있는 관리형 하둡 프레임워크를 제공합니다. Amazon […]