Category: Analytics

데이터 거버넌스는 효율적인 데이터 관리를 위해 필수적인 요소입니다. 대부분의 데이터 지향 조직에서 데이터레이크의 메타데이터(Metadata) 관리, 카탈로깅(Cataloging), 데이터 리니지(Data Lineage), 데이터 분류(Classification) 등을 통해 효과적으로 그들의 데이터를 검색하고 활용하기를 원하고 있습니다. 이번 게시글에서는 Apache Atlas를 Amazon EMR 위에 설치하여, AWS Glue에서 관리되고 있는 카탈로그와 메타데이터를 포함하여 Apache Atlas에서 통합적으로 관리하고, 데이터 리니지 생성을 통해 데이터 흐름을 […]

이 글은 AWS Big Data Blog에 게시된 Simplify semi-structured nested JSON data analysis with AWS Glue DataBrew and Amazon QuickSight by Sriharsh Adari, Amogh Gaikwad, and Rahul Sonawane을 한국어 번역 및 편집을 하였습니다. 산업이 성장하고 데이터양이 늘어나면서 빅데이터 분석이 데이터 분석이나 기계 학습(ML)에서 공통으로 사용되고 있습니다. 데이터는 정형, 반정형 및 비정형 형식의 다양한 소스에서 발생합니다. […]

결함 감지 자동화 시스템 개발 배경 현재 제조 업계 인공지능 기술은 23억 달러의 시장 가치를 가지고 있으며, 이 가치는 2027년에는 163억 달러까지 성장할 것으로 예상됩니다. 오늘날 인공지능 기술 중 제조업에서 많이 사용하는 머신 비전은 대부분 PC 기반이지만, 머신 비전을 온프레미스 서버 또는 기계와 소프트웨어 통합형으로 사용하는 데에는 아직 많은 불편함이 있습니다. 고객은 머신 비전을 채택하는 […]

2022년 11월 : 이 블로그는 Amazon Redshift 스트리밍 수집이 정식 출시됨에 따라 도입된 변경 사항을 반영하기 위해 업데이트 되었습니다. Amazon Redshift는 빠르고 확장이 쉽고 안전한 완전 관리형 클라우드 데이터 웨어하우스로, 표준 SQL을 사용하여 데이터를 간단하고 비용 효율적으로 분석할 수 있는 서비스입니다. Amazon Redshift는 다른 클라우드 데이터 웨어하우스보다 더 나은 가격 대비 성능을 제공하고 있고 이미 […]

데이터는 전략자산입니다. 적시에 데이터로부터 가치를 얻기 위해서는 비용을 낮게 유지하면서도 규모에 맞는 성능을 제공할 수 있도록 고성능 시스템이 필요합니다. Amazon Redshift는 가장 유명한 클라우드 데이터 웨어하우스로 수만 명의 고객이 매일 엑사바이트 규모의 데이터를 분석하는 데 사용합니다. 고객들은 Amazon Redshift 환경으로 더욱더 많은 데이터를 가져오기 때문에, 저희는 가격 대비 성능의 비율을 개선하기 위한 기능을 지속해서 추가하고 […]

최근 많은 기업들은 여러 데이터 소스, 즉 클라우드, 온프레미스, 멀티 클라우드 내에 있는 데이터로부터 쉽고 지속적으로 비즈니스 인사이트를 얻기 위해 단일 데이터 쿼리 플랫폼을 도입하려고 고민 중입니다. 더불어, 이 플랫폼에서 데이터 보안 및 거버넌스는 필수적인 요소이며, 기업들은 데이터 소유권을 각 비즈니스 도메인에 유지하면서 데이터를 제품으로서 지속적으로 생산 및 재활용하기를 원합니다. 이를 뒷바침하는 아키텍처로 Data Fabric […]

AWS Serverless Developer Advocate 팀은 2022년 6월 29일에 Serverless Land 사이트에 AWS Step Functions 워크플로를 쉽게 검색, 배포 및 공유할 수 있도록 Workflows Collection을 새롭게 출시했습니다. 이 글에서는 AWS Step Functions 워크플로우가 무엇인지, 어떤 문제들을 해결해주는지를 소개하고, Step Functions 사용에 도움이 되는 플랫폼인 Workflows Collection을 소개합니다. 이를 통하여 서버리스 애플리케이션을 쉽게 구축하는 방법을 알게 되며, […]

AWS Glue와 AWS Database Migration Service (DMS)는 온프레미스 데이터 소스를 Amazon Simple Storage Service (Amazon S3) 데이터레이크에 복제하는 도구로서  유용하게 사용되고 있습니다. 많은 고객들이 데이터 소스에서 업데이트가 발생할 때마다 데이터레이크에 반영되기를 원하지만,  관계형 데이터베이스 (RDB) 만큼 쉽게 데이터레이크에 UPDATE나 DELETE하는 것은 쉽지 않습니다. Apache Hudi, Delta Lake와 함께 Apache Iceberg는 데이터레이크 내의 데이터를 쉽게 수정하고 […]