ENGIE, AWS 기반 Common Data Hub를 구축하여 탄소 제로 전환 가속화

2021

ENGIE - 프랑스에서 가장 큰 유틸리티 공급업체 중 하나이며 탄소 제로 에너지 전환 분야의 세계적 기업 중 하나로서 전기, 가스 및 에너지 서비스를 생산, 운송 및 거래합니다. 전 세계적으로 160,000명의 직원을 보유하고 있는 ENGIE는 분산형 조직으로 높은 수준의 위임과 권한을 가진 25개의 사업부를 운영하고 있습니다. ENGIE의 분산형 글로벌 고객 기반은 많은 데이터를 축적했으며, 이니셔티브를 조정하고 글로벌 사업부 전체에서 수집, 구성, 관리, 공유 및 실행 가능한 데이터를 제공하기 위해 더 스마트하고 고유한 접근 방식과 솔루션이 필요했습니다. 

2018년에 ENGIE는 데이터 중심 기업으로 전환함으로써 데이터와 혁신을 통해 디지털 트랜스포메이션을 가속화하기로 결정했습니다. 먼저, ENGIE는 Common Data Hub라는 이름의 엔터프라이즈 데이터 리포지토리를 구축하여 고객과 사업부를 동일한 솔루션 중심으로 조정하고자 했습니다. Common Data Hub는 ENGIE의 사업부가 통합 플랫폼과 고도로 보안이 설정된 환경을 통해 데이터 집합을 쉽게 수집, 저장, 공유 및 사용할 수 있도록 지원함으로써 궁극적으로 생산성을 높이고 정확한 에너지 생산을 예측하며 고객에게 새로운 서비스를 제공할 수 있도록 지원했습니다. 

ENGIE는 Amazon Web Services(AWS)를 사용하여 전 세계에 분산된 AWS 기반 데이터 레이크 및 분석 솔루션을 사용하여 구축된 사용자 지정 솔루션인 Common Data Hub를 만들었습니다. Common Data Hub는 데이터 액세스를 단순화하고 포괄적인 분석 도구 세트를 제공하여 팀의 혁신을 지원합니다. AWS Professional Services는 ENGIE가 솔루션을 설계 및 구현하고 Common Data Hub 플랫폼의 진화 및 운영을 담당하는 내부 서비스 팀(data@ENGIE 팀)을 배치하도록 지원했습니다.

ENGIE가 AWS 데이터 및 분석을 활용해 탄소 중립성을 얻는 방법

더 스마트한 데이터의 필요성 파악

ENGIE의 고객은 도시부터 소매 고객, 대기업 외에도 매우 다양합니다. 태양광 패널과 풍력 발전소 등 분산형 자산으로 고객 스스로 전기를 생산할 수 있도록 지원하는 사례도 늘고 있습니다. ENGIE는 탈중앙화 과정을 진행함에 따라, 데이터 처리 전사적 자원 관리 소프트웨어의 시스템, 애플리케이션 및 제품을 업데이트해야 한다는 사실을 알게 되었습니다. 이 회사는 고객이 가치 사슬을 관리할 수 있도록 데이터를 수집하고 분석하는 통일된 방법이 필요했습니다. ENGIE 데이터 프로그램의 개발 및 제공을 안내하는 기술 팀장 Gregory Wolowiec은 “예를 들어 소비량을 측정하고 일기예보에 따라 전력 생산량을 예상하려면 데이터를 사용해야 합니다.”라고 말합니다. Wolowiec은 또한 국가 간 고립과 불일치의 문제를 언급합니다. “모든 솔루션이 국가마다 달랐습니다. 조직의 부문들 간에 공유가 없었죠. 전 세계 어디에서나 데이터를 효율적으로 수집하고 공유할 수 있다는 것이 우리에게 매우 중요한 일이 되었습니다.” 

ENGIE의 최고 디지털 책임자인 Yves Le Gélard는 회사의 목적에 대해 설명합니다. “ENGIE의 지속 가능성은 모든 것의 알파이자 오메가입니다. 이것이 우리의 존재 이유입니다. 우리는 대기업과 지구상에서 가장 큰 도시들이 가능한 한 빨리 탄소 제로로 전환하도록 돕고 있습니다. 왜냐하면 이것이 오늘날 인류에게 가장 중요한 문제이기 때문입니다.” 

ENGIE의 그룹 최고 데이터 책임자인 Gérard Guinamand는 “데이터에 관한 우리의 전략은 실제로 우리의 목적과 직접적으로 연결되어 있습니다. 탄소 제로 전환을 추진하고 달성하려면 먼저 현재 상황에 대한 데이터를 수집해야 합니다. 여기에는 얼마나 많은 이산화탄소를 태우는지, 어디서 태우는지, 그리고 날씨, 온도, 사람 수와 같은 환경적인 주제와 어떤 상관 관계가 있는지에 대한 데이터가 포함됩니다. 진행 상황을 측정하고 로드맵을 따를 수 있도록 이러한 모든 데이터를 저장, 수집 및 계산해야 한다”고 덧붙입니다. 

ENGIE가 어떤 방법을 채택하든 높은 수준의 보안을 유지하고 전 세계의 규정을 준수할 필요가 있었습니다. 이 회사는 개념 증명을 작성하면서 국내 및 글로벌 클라우드 공급업체와 함께 다양한 솔루션을 모색했습니다. Wolowiec은 “우리는 AWS가 비용 모델, 특히 데이터 스토리지 측면에서 좋은 솔루션이라고 확신했습니다.”라고 말합니다. 그래서 ENGIE는 2018년 중반에 AWS에서 대규모 데이터 프로젝트를 시작했습니다.

Common Data Hub 개발 및 전 세계 배포

Wolowiec은 Common Data Hub를 “ENGIE가 데이터를 저장하고, 데이터를 공유하며, 데이터를 통해 가치를 창출할 수 있는 협업 및 분산형 데이터 레이크”라고 설명합니다. 이 데이터 레이크는 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스인 Amazon Simple Storage Service(Amazon S3)를 사용하여 구축되었습니다. 이 솔루션은 Amazon S3 데이터 레이크의 반정형 데이터를 쿼리할 수 있는 완전관리형의 페타바이트급 클라우드 데이터 웨어하우스 서비스인 Amazon Redshift도 사용하여 데이터 웨어하우징에 대한 레이크 하우스 접근 방식을 입증합니다. 

솔루션에 Amazon Redshift가 사용되므로 고객은 Common Data Hub 환경 안에 안전하게 데이터 웨어하우스를 배포하고 분석을 활용할 수 있습니다. 이 회사의 사업부 관리자는 Common Data Hub에서 Amazon Redshift 클러스터를 관리함으로써 Common Data Hub 프로젝트에 추가하고 Amazon S3 데이터 레이크의 데이터 집합에 쉽게 액세스할 수 있을 뿐만 아니라 Common Data Hub의 풍부한 데이터 집합 카탈로그를 통해 귀중한 인사이트를 구축할 수 있습니다. Common Data Hub는 두 가지 데이터 액세스 유형에 Amazon Redshift를 사용합니다. Amazon Redshift Spectrum을 사용하여 Common Data Hub의 S3 버킷에 직접 쿼리하고 자체 내부 스토리지를 갖춘 프로비저닝된 데이터 웨어하우스로 Amazon Redshift를 사용합니다. Wolowiec은 “우리는 Amazon Redshift Spectrum 기능을 사용하여 Common Data Hub가 관리하는 Amazon S3 데이터 레이크와 Amazon Redshift 데이터 웨어하우스를 연결합니다.”라고 말합니다.

Common Data Hub와 관련된 다른 AWS 서비스로는 확장성과 내구성이 뛰어난 실시간 데이터 스트리밍 서비스인 Amazon Kinesis Data Streams(Amazon KDS)가 있습니다. ENGIE는 Amazon KDS를 사용하여 사물 인터넷(IoT) 디바이스의 스트리밍 데이터를 실시간으로 손쉽게 수집, 처리 및 분석하여 인사이트 개발에 사용하는 정보를 빠르게 확보할 수 있습니다. AWS Glue - 메타데이터 리포지토리를 위한 완전관리형 추출, 로드, 변환(ETL) 서비스로, 데이터의 전송 및 정리에 도움이 됩니다. Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스입니다. ENGIE의 사업부에서는 이 서비스를 통해 데이터를 볼 수 있습니다. 또한 데이터에서 추가 인사이트를 도출하기 위해 Amazon SageMaker를 사용하는데 이 서비스는 모든 개발자 및 데이터 사이언티스트가 기계 학습 모델을 빠르게 구축, 훈련, 배포할 수 있도록 하는 완전관리형 서비스입니다.

전 세계에서 Common Data Hub를 원활하고 쉽게 채택할 수 있도록 ENGIE는 사업부 관리자가 수집한 데이터의 가치를 확인하고 분산된 데이터 레이크의 데이터에 액세스할 수 있도록 가속화 템플릿과 문서를 제공했습니다. Common Data Hub는 또한 높은 수준의 데이터 거버넌스 및 보안을 지원합니다. 데이터 생산자는 데이터 집합 및 워크플로에 대한 액세스를 공유하고 제어할 수 있으며, 소비자는 데이터에 대한 액세스를 요청하고 사용할 수 있습니다. 

AWS 서비스의 통합은 ENGIE를 위한 안전하고 민첩하며 확장 가능한 솔루션을 제공했습니다. 이제 여러 사업부가 운영에 필수적인 요소를 희생하지 않고 필요한 방식으로 프레임워크를 사용할 수 있습니다. ENGIE 사업부는 사용 편의성과 자동화를 통해 AWS에서 Common Data Hub 솔루션을 구축한 후 신속하게 생산성을 높일 수 있습니다. 또한 환경적인 면에서도 긍정적인 영향이 있습니다. ENGIE는 데이터를 사용하여 풍력 발전으로부터 가능한 최대 에너지를 얻음으로써 이 중요한 재생 에너지원의 효율성을 높이는 데 도움을 줍니다. Wolowiec은 “우리는 기업이 기술적 문제를 처리하는 데 시간을 들이는 대신 가치 창출에 집중할 수 있도록 적절한 도구를 제공합니다.”라고 말합니다. 지금까지 ENGIE는 Common Data Hub에 설정된 200TB의 데이터를 수집했습니다.

표준화된 하향식 접근 방식 지원

Common Data Hub는 정보 기술과 비즈니스 사용자 간의 데이터 커뮤니티를 활성화하여 ENGIE 데이터 중심 전략의 중추를 형성하고, 모든 수준에서 ENGIE의 데이터 활용 능력을 높이고 내부 프로세스를 최적화하거나 새로운 데이터 중심 서비스를 창출하는 데 도움을 주는 액셀러레이터입니다. 이제 모든 사업부에서 데이터 중심 애플리케이션을 더 빨리 구축할 수 있는 고유한 솔루션을 사용할 수 있습니다. ENGIE는 현재 전 세계적으로 Common Data Hub에 1,000개 이상의 프로젝트를 진행하고 있습니다. Common Data Hub는 사일로를 제거하고 모든 부서에서 공통 프레임워크에 동등하게 액세스할 수 있는 진정한 통합 솔루션을 제공합니다. 

ENGIE는 새로운 데이터 수집 및 공유 방법을 통해 비즈니스 수행 방식을 바꿀 수 있는 기회를 얻었으며, 이를 위해 수직 데이터 허브를 구축하는 과정에 있습니다. ENGIE는 역사적으로 상향식 접근 방식을 사용해 왔으며 사업부가 각 리전의 고객을 위해 서비스를 제공하고 있습니다. 그러나 많은 에너지 서비스가 동일하기 때문에 불필요한 업무 중복이 발생합니다. Wolowiec은 “우리의 발전 활동과 특히 재생 에너지 생산은 기본적으로 어디에서나 동일합니다.”라며, “우리는 Common Data Hub를 사용하여 전 세계에 공통적인 사용 사례를 구축할 수 있습니다. 다음 단계는 특히 풍력 발전을 위한 하향식 접근 방식을 점점 더 많이 도입하는 것”이라고 말합니다. 

ENGIE는 Common Data Hub를 구축하기 위해 AWS 서비스를 사용하여 글로벌 사업부가 보다 생산적인 방식으로 데이터를 수집, 공유 및 분석할 수 있도록 함으로써 상당한 가치를 발견했습니다. ENGIE의 사업부는 여전히 자율성을 유지하고 있지만, 이제는 중앙 집중식 데이터의 장점을 활용하여 유사한 사용 사례에서 중요한 인사이트를 얻음으로써 전 세계를 보다 새롭고 효율적으로 운영할 수 있는 방법을 찾을 수 있습니다.


ENGIE 소개

ENGIE는 전 세계에서 25개의 사업부를 운영하고 있는 글로벌 에너지 기업입니다. 이 회사는 수백만 명의 고객에게 전력을 제공하고 가치 사슬 전반에 걸쳐 통합된 솔루션을 개발하여 기업 및 지방 당국의 탄소 제로 전환을 지원합니다.

AWS의 이점

  • 1,000개 프로젝트에서 200TB의 데이터 수집
  • 에너지 예측 자동화
  • 사업부 생산성 개선
  • 풍력 에너지 생산 극대화

사용된 AWS 서비스

Amazon Kinesis Data Streams(KDS)

Amazon Kinesis Data Streams(KDS)는 고도로 확장 가능하고 내구력 있는 실시간 데이터 스트리밍 서비스입니다. KDS는 수십만 개의 소스에서 초당 몇 기가바이트 규모의 데이터를 지속적으로 캡처할 수 있습니다. 수집된 데이터는 실시간 대시보드, 실시간 이상 항목 탐지, 동적 요금 등과 같은 실시간 분석 사용 사례를 지원할 수 있도록 수 밀리초 만에 제공됩니다.

자세히 알아보기 »

 

Amazon Redshift

Amazon Redshift는 전 세계에서 가장 빠른 클라우드 데이터 웨어하우스이며 매년 그 속도가 더 빨라지고 있습니다. Redshift는 스타트업부터 중소기업, Fortune지 선정 500대 기업에 이르기까지의 모든 기업이 분석 워크로드를 강화할 수 있도록 합니다.

자세히 알아보기 »

AWS Glue

AWS Glue는 분석, 기계 학습 및 애플리케이션 개발을 위해 데이터를 쉽게 탐색, 준비, 그리고 조합할 수 있도록 지원하는 서버리스 데이터 통합 서비스입니다. AWS Glue에서는 데이터 통합에 필요한 모든 기능을 제공하므로, 몇 개월이 아니라 몇 분 안에 데이터 분석을 시작하고 해당 내용을 활용할 수 있습니다.

자세히 알아보기 »

Amazon Athena

Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스입니다. Athena는 서버리스 서비스이므로 관리할 인프라가 없으며 실행한 쿼리에 대해서만 비용을 지불하면 됩니다.

자세히 알아보기 »

시작하기

모든 산업에서 다양한 규모의 조직이 AWS를 통해 매일 비즈니스를 혁신하고 임무를 수행하고 있습니다. 지금 전문가와 상담하고 AWS로의 여정을 시작하세요.