Amazon Kinesis 서비스를 통해 비용을 절감하고 속도를 높이고 보존 시간을 증가시킨 AGCO

농업 솔루션 글로벌 공급 업체인 AGCO Corporation(AGCO)은 농업을 혁신하기 위해 설계된 산업용 농업 장비와 최첨단 디지털 제품을 제조합니다. 데이터 중심 정밀 농업 솔루션의 목표는 농부들이 지속 가능하고 생산적으로 곡물 및 축산 농장을 관리하고 수확량과 수익성을 극대화할 수 있도록 하는 것입니다. AGCO에는 스마트 농업에 필요한 데이터를 추적하고 스토리지를 확장할 수 있는 현대적인 기술이 필요했습니다. 이러한 이유에서 Amazon Web Services(AWS)로 눈을 돌리게 되었습니다.

이 회사는 2015년 마이그레이션을 통해 AWS 여정을 시작했고, 2019년 이후에는 마이크로서비스, 자동화, 서버리스 아키텍처로 현대화에 집중하고 있습니다. AGCO가 예전에 사용한 타사 블랙박스 데이터 시스템은 기업이 데이터를 사용할 수 있는 방법이 제한되어 있었습니다. 결정적으로 농업의 긴 성장 주기와 투자 주기를 설명할 데이터 스트림 보존 시간이 충분하지 않았습니다. 이러한 시스템을 세 가지 Amazon Kinesis 서비스를 포함한 AWS 서비스의 오케스트레이션을 통해 대체하여 이 기업은 적시에 인사이트를 얻고 새로운 정보에 신속하게 대응할 수 있었습니다. AGCO는 비용을 절감하면서 극적으로 데이터 보존 시간을 늘리고 데이터 검색 속도를 높였으며, 이를 통해 디지털 우선 전략을 추진하고 미래의 역량을 위한 초석을 다질 수 있었습니다.

농장을 더욱 지속 가능하게 운영하기 위해 디지털 기술을 이용하는 농부들이 점점 더 증가하고 있으며, AGCO는 농부들이 더욱 효율적이고 수익성 있게 운영을 관리할 수 있도록 지원하는 제품을 만들고 있습니다. “저희는 환기, 조명, 난방과 같은 환경적 요소를 엣지 컴퓨팅이 운영하는 농장을 만듭니다. 그것들은 모두 농장 컨트롤러에 연결되어 클라우드로 공급됩니다“라고 AGCO의 제품 개발 관리자 Paul Thornhill은 설명합니다. “클라우드는 데이터를 수집하고 분석한 다음 그 결과를 농장으로 전송하며, 그에 따라 환기, 조명, 난방을 조절합니다. 클라우드는 농부에게 모든 것을 보고합니다.” 이러한 프로세스를 자동화함으로써 농부들은 시간을 절약할 수 있을 뿐만 아니라 비용과 전력을 낭비하지 않고 성장을 촉진하는 온도, 습도, 기타 매개 변수가 항상 적절한 수준으로 유지되도록 설정할 수 있습니다. 

AGCO의 레거시 시스템으로는 농부들이 성장 주기를 비교할 수 없었습니다. 그것은 레코드 보존이 7억 5천만 개로 제한되어 있었는데, 이는 돼지가 태어나서 판매되는 185일 주기를 겨우 충족하는 약 6개월 동안만 사용할 수 있는 양이었습니다. 각 고객이 하루에 180,000개의 레코드를 저장하고 데이터 보존이 어려웠기 때문에 AGCO는 신규 고객이 유입되어 얻는 수입보다 사실상 더 많은 비용을 들였습니다. 

AGCO에는 스마트 농업 장비에서 모든 데이터를 수집한 다음 그 데이터를 보존하고 분석하여 인사이트와 실시간 기기 진단을 제공할 기술이 필요했습니다. 그 목표를 달성하기 위한 대부분의 옵션은 비싸고 시간이 많이 소요되었지만, Amazon Kinesis 서비스는 관리형 서비스와 자동 크기 조정을 제공하여 AGCO의 기존 AWS 인프라에서 원할하게 운영되었습니다.

2020년 1월에 AGCO는 세 가지의 Amazon Kinesis 서비스를 사용하여 구축한 서버리스 데이터 파이프라인을 가동했습니다. 수십만 개의 소스에서 초당 기가바이트의 데이터를 연속적으로 캡처하는 조정 가능하고 내구성이 뛰어난 실시간 데이터 스트리밍 서비스인 Amazon Kinesis Data Streams(Amazon KDS)는 AGCO 농업 장비에서 데이터를 수집하고 저장합니다. 그런 다음 Amazon KDS는 객체 스토리지 서비스인 Amazon Simple Storage Service(S3)에 장비의 데이터를 공급합니다. 또한 분석 서비스, 데이터 레이크, 데이터 스토어에 스트리밍 데이터를 안정적으로 로드하는 간단한 방법을 제공하는 Amazon Data Firehose는 장비 데이터를 캡처하며, AGCO는 특정 고객 사용 사례에 맞게 이를 이용합니다. 다운스트림 Amazon Data Firehose는 데이터를 다른 AGCO 제품과 함께 사용할 수 있도록 합니다. AGCO의 시스템은 이러한 도구를 사용하여 분당 1,200개의 데이터 포인트를 이동하고, 테스트 시 분당 1만 개의 데이터 포인트로 자동 확장할 수 있었습니다. 

데이터가 수집되면 저장되거나 Amazon Managed Service for Apache Flink로 바로 이동합니다. Amazon Kinesis Data Analytics는 오픈 소스 분석 프레임워크인 Apache Flink를 이용하여 실시간으로 스트리밍 데이터를 변환하고 분석합니다. 농부들이 이 서비스를 사용하면 가치 있는 인사이트를 얻을 수 있습니다. “저희는 농부들에게 농장을 운영하는 방법에 대한 데이터 중심 지식을 제공하고 싶습니다.”라고 Thornhill은 말합니다. “그런 다음 생산 프로세스를 개선하기 위한 인사이트와 각 기기와 모범 사례 및 벤치마크에 맞게 조정하는 방법에 대한 실시간 진단 피드백을 제공하려 합니다.” 

AGCO는 Amazon Kinesis 서비스를 사용하여 15억 개의 레코드를 저렴한 비용으로 보존하여 78%의 비용을 절감했습니다. 화면에 데이터를 지속적으로 로드하는 프로세스는 이전에 8~30초 걸렸지만 600밀리초로 단축했습니다. 또한 AGCO는 Simple Storage Service(Amazon S3)를 사용함으로써 매우 절감된 비용으로 더 많은 데이터 스토리지를 얻었습니다. 

AGCO가 비용을 절감할 수 있었던 또 다른 이유는 타사와의 계약을 종료할 수 있다는 점입니다. “데이터를 처리하기 위해 저희 쪽에 더 많은 인력을 투입하고 있지만, 다른 회사에게 지불하는 비용보다 더 저렴합니다.”라고 Thornhill은 말합니다. “Amazon Kinesis 서비스를 통해 저희는 필요한 블록을 저렴한 비용으로 구축할 수 있었습니다. 이전에 지불한 비용의 60% 이상을 보상하기 때문에 저희는 1:3 또는 1:4의 수익을 얻을 수 있습니다.” 

AGCO는 기존 인프라 위에 Amazon Kinesis 서비스를 추가하여 복잡성을 줄이고 기본 서비스를 관리합니다. 그 결과 AGCO에서는 인프라를 관리하는 데 3~5명이 아닌 한 명만 필요합니다. “현재 이동 중인 데이터의 양과 인프라의 복잡성에도 불구하고 파이프라인은 일년 내내 거의 자동으로 운영되고 있습니다.”라고 Thornhill은 말합니다.

AGCO는 AWS를 사용하여 직접 구축한 게이트웨이 대신 사물 인터넷(IoT) 코어를 통해 진정한 엣지 통신을 구축할 계획입니다. 예를 들어 기계 학습을 사용하여 기상 데이터를 분석하면 농부들이 기존과 같이 기상 변화 2시간 후가 아닌 기상 변화 몇 분 전에 온도와 습도를 조절할 수 있습니다. 농부가 직접 하지 않고도 환경을 조절할 수 있는 잠재력을 가진 이 시스템을 통해 생산량이 증가하게 될 것입니다. 

동물 복지를 더욱 개선하기 위해 AGCO는 암퇘지 실시간 모니터링을 위한 솔루션을 개발할 계획입니다. 이를 통해 농부들은 암퇘지의 환경을 데이터를 기반으로 신속하게 조절하여 복지를 개선하고 생산성 및 수익성을 향상시킬 수 있습니다. 

AGCO는 AWS를 사용하여 비용을 절감하고 데이터 보존 및 검색 속도를 향상함으로써 농업 고객에 대한 서비스를 개선했습니다. “AWS 도구를 사용하여 수집되고 농부들에게 제공된 데이터를 통해 더 나은 의사 결정과 동물 복지를 실현할 수 있었습니다.”라고 Thornhill은 말합니다. AGCO는 계속 AWS를 이용하여 변화하는 농업계에 적응할 계획입니다.