Category: Analytics

오늘 AWS는 Amazon MSK 서버리스를 정식 출시합니다. 서버 용량 계획 및 확장을 AWS에게 맡기고 Apache Kafka 클러스터 관리에서 발생하는 운영 오버헤드를 더 많이 줄일 수 있도록 지원합니다. 2019년 5월에는 고객이 Apache Kafka를 사용하여 데이터를 스트리밍할 수 있도록 지원하기 위해 Apache Kafka용 Amazon 관리형 스트리밍을 출시했습니다. Apache Kafka는 고객이 클릭스트림 이벤트, 트랜잭션 및 IoT 이벤트와 같은 […]

설비의 가동률을 높이려고 하는 많은 제조 기업들이 제조 설비에 부착된 센서를 통해서 설비 이상 예측을 하기 위해서 대용량 센서 데이터를 모니터링하고 있습니다. 하지만, 많은 수의 센서를 사람이 직접 보고 설비의 이상 유무를 판단하는 것은 한계가 있습니다. 설비 이상 예측을 성공적으로 구현하려면 많은 기계 센서에서 수집된 특정 데이터를 기계학습(ML)에 적용하여 매우 정확한 예측을 수행해야 합니다. 그러나 […]

데이터 레이크를 통한 데이터 누적, 분석 및 활용이 기업의 경쟁력을 높이기 위한 필수 요건이 되었습니다. 많은 기업들이 현재 필요한 데이터뿐만 아니라, 미래를 대비한 다양한 종류의 데이터를 저장하고 있습니다. 데이터의 누적만큼, 데이터 보관 및 활용 관련 지켜야 할 다양한 규정 준수 요건들이 생겨나고, 데이터의 정합성과 관리 감독에 대한 필요성이 아래와 같이 발생하고 있습니다. 개인정보 보호법, GDPR(General […]

이제 Amazon SageMaker Studio 서비스에 세 가지 새로운 개선 사항을 제공하게 되어 매우 기쁩니다. 현재 SageMaker Studio의 사용자는 단일 AWS 계정 내에서 그리고 조직 전체의 공유 계정에서 실행되는 Amazon EMR 클러스터를 생성, 종료, 관리, 검색 및 연결할 수 있습니다. 이 모든 작업을 SageMaker Studio에서 직접 수행할 수 있습니다. 또한 SageMaker Studio Notebook 사용자는 SparkUI를 활용하여 […]

데이터 레이크는 데이터 사일로를 분해하고, 다양한 유형의 분석을 중앙집중식 리포지토리로 결합하는 데 도움이 될 수 있습니다. 모든 정형 및 비정형 데이터를 이 리포지토리에 저장할 수 있습니다. 그러나 데이터 레이크를 설정 및 관리하려면, 수동의, 복잡하고 시간이 많이 걸리는 수동 작업이 많이 필요합니다. AWS Lake Formation을 사용하면 몇 주 또는 몇 개월이 아닌 며칠 만에 안전한 데이터 […]

기존 데이터 웨어하우스를 관리할 전문성 또는 시간이 부족한 개발자 또는 LOB 분석가 등의 사용자처럼 조직 내 새로운 고객들로 데이터 분석 사용이 확대되고 있습니다. 또한 일부 고객은 워크로드가 예측할 수 없는 급격한 증가로 가변적이어서 지속적인 용량 관리가 매우 어려울 수 있습니다. Amazon Redshift를 사용하면 SQL을 사용하여 데이터 웨어하우스, 운영 데이터베이스 및 데이터 레이크에 걸쳐 구조화된 데이터와 […]

오늘 새로운 용량 모드인 Amazon Kinesis Data Streams 온디맨드를 출시합니다. 이 용량 모드는 스트리밍 워크로드에 대한 용량 프로비저닝 및 관리를 사라지게 합니다. Kinesis Data Streams는 대규모의 스트리밍 데이터를 실시간으로 처리하기 위한 완전 관리형 서버리스 서비스입니다. Kinesis Data Streams는 어떤 수량의 소스에서도 원하는 양의 데이터를 가져와 필요에 따라 확장 및 축소할 수 있습니다. 2013년 11월에 Kinesis […]

기계 학습 모델 훈련에 사용되는 대규모 데이터 세트, 관계형 데이터베이스, API 기반 통합 등 데이터는 많은 프로세스와 제품의 중심에 있습니다. AWS Data Exchange를 사용하면 Reuters, Foursquare, Change Healthcare, Vortexa, IMDb 등과 같은 타사에서 제공하는 Amazon Simple Storage Service(Amazon S3)를 통해 수백 개의 파일 기반 데이터 세트를 검색, 구독 및 사용할 수 있습니다. 또한 Amazon Redshift용 […]

2019년에는 AWS Data Exchange에 대해 설명하고 데이터 제품을 검색, 구독, 사용하는 방법을 보여드렸습니다. 현재 10가지 범주에서 3,600개 이상의 데이터 제품 중에서 선택할 수 있습니다. 소개 게시물에서, 데이터 제품을 구독한 다음 데이터 세트를 Amazon Simple Storage Service(Amazon S3) 버킷으로 다운로드하는 방법을 보여드렸습니다. 그리고 추가 처리를 위해 AWS Lambda 함수, AWS Glue 크롤러 또는 Amazon Athena 쿼리를 […]

관계형 데이터를 조작하고 분석하는 경우에 있어, 정형 쿼리 언어(SQL)는 제가 태어나기 몇 년 전인 1986년부터 국제 표준이었습니다. 또한 새 데이터베이스 또는 데이터 웨어하우스 액세스, 자격 증명 또는 Single Sign-On 구성, 여러 데스크톱 라이브러리 또는 드라이버 다운로드 및 설치, 새 스키마 적응 등에 몇 시간이 소요되기도 합니다. 쿼리를 실행하기도 전에 걸리는 시간이 그렇습니다. 쿼리, 결과 및 […]