DataFarming은 Amazon ECS를 사용하여 3천5백만 에이커의 데이터를 처리합니다.

호주의 정밀 농업 회사인 DataFarming은 위성 이미지의 고품질 데이터를 농부들에게 빠르고 효과적으로 제공하여 농작물의 성장을 최적화할 수 있는 능력을 향상시키고자 했습니다. 회사는 농부들이 대역폭이 매우 제한된 현장에서 모바일 장치로 데이터를 볼 수 있기를 원했습니다. 기업이나 고객의 비용을 늘리지 않고 이러한 목표를 달성하기 위해 DataFarming은 Amazon Web Services(AWS)의 솔루션을 선택했습니다. DataFarming은 컨테이너식 애플리케이션을 간편하게 배포, 관리 및 확장할 수 있게 해주는 완전 관리형 컨테이너 오케스트레이션 서비스인 Amazon Elastic Container Service(Amazon ECS)와 AWS의 기타 서비스를 사용하여 불과 4년여 만에 호주 곡물 시장에서 위성 이미지 사용을 900% 늘리는 성과를 거두었습니다.

2017년에 설립되어 호주 퀸즐랜드에 본사를 둔 DataFarming은 농부들이 농작물과 토양의 변화에 대응하여 더 생산적인 농사를 지을 수 있도록 지원하는 디지털 솔루션을 제공합니다. DataFarming은 처음부터 디지털 솔루션 측면에서 클라우드 서비스가 레거시 소프트웨어 및 데이터베이스보다 우수하다고 결정했으므로 항상 AWS 서비스를 사용해 왔습니다. DataFarming의 수석 소프트웨어 엔지니어인 Paul Grambauer는 “AWS를 사용하면 솔루션을 신속하게 구현하고 현장 사람들의 변화하는 요구 사항에 대응하며 신속하게 대응할 수 있습니다”라고 말합니다.

이 회사의 디지털 솔루션은 위성 이미지를 사용하여 농부들이 해충과 질병 발생 및 비료 비용 증가와 같은 문제를 해결할 수 있도록 지원합니다. 또한 이 이미지는 농부들에게 작물 수분 함량 및 성숙도와 같은 요인에 대한 인사이트를 제공하여 이상적인 수확 시기를 결정하도록 돕습니다. 이러한 모든 변수는 농가의 수익성과 생산성에 영향을 미칩니다. DataFarming 설립자들은 2003년에 호주 농업 산업에 최초의 고해상도 원격 감지 위성을 도입했습니다. 이를 통해 회사는 농업 산업이 더 낮은 비용, 더 나은 품질, 더 빈번한 위성 이미지에 대해 더 쉽게 접근하도록 보장하는 데 중요한 역할을 했습니다.

원래 DataFarming은 하루에 처리할 수 있는 시간에 제한을 두고 일정에 따라 고해상도 위성 이미지 데이터를 처리했습니다. 민첩성을 개선하고 농부들에게 더 빨리 데이터를 제공하기 위해 회사는 2021년에 이벤트 기반 처리로 변경하기로 결정했습니다. 동시에 회사는 대역폭이 제한된 지역에서도 농부들이 쉽게 액세스할 수 있도록 가능한 가장 작은 패키지로 데이터를 제공하길 원했습니다. AWS를 사용해 온 오랜 역사를 지닌 DataFarming은 목표를 달성하기 위해 다시 한 번 AWS 솔루션을 찾았습니다.

DataFarming은 사용자가 서버를 프로비저닝하거나 관리하지 않고도 거의 모든 유형의 애플리케이션 또는 백엔드 서비스에 대한 코드를 실행할 수 있는 서버리스 이벤트 기반 컴퓨팅 서비스인 AWS Lambda의 컨테이너식 환경에서 개념 증명을 개발하기 시작했습니다. 하지만 Amazon ECS가 특정 요구 사항에 더 적합하다는 것을 알게 되었습니다. 이 회사는 이미 AWS의 컨테이너를 사용하고 있었기 때문에 Amazon ECS로의 전환이 순조롭게 진행되었습니다. Grambauer는 “AWS에서 컨테이너를 실행하는 환경을 통해 솔루션을 매우 간단하게 선택할 수 있습니다”라고 말합니다. “Amazon ECS가 가장 적합하지만 AWS Lambda도 비슷한 기능을 합니다. AWS를 사용하여 솔루션을 개발할 때 요구 사항에 맞는 서비스를 선택할 수 있다는 점이 가장 마음에 듭니다.”

이 회사는 현재 Amazon ECS를 기본 컴퓨팅 환경으로 사용하고 있으며, 이 서비스를 사용하여 디지털 솔루션용 사용자 인터페이스를 지원하는 백엔드 API용 기능을 제공합니다. 이 컨테이너화된 환경에서 프로세스를 실행하기 위해 DataFarming은 Amazon Elastic Compute Cloud(Amazon EC2) 스팟 인스턴스를 사용합니다. 이 스팟 인스턴스는 기업에서 빅 데이터, 컨테이너화된 워크로드, 테스트 및 개발 워크로드와 같은 다양한 무상태, 내결함성 또는 유연한 애플리케이션에 사용할 수 있습니다. “Amazon EC2 스팟 인스턴스는 비용 최적화와 관련하여 많은 성과를 거두었습니다. 주문이 쇄도하고 컴퓨팅할 인스턴스를 늘어나면 규모를 확장할 수 있습니다”라고 Grambauer는 말합니다. “Amazon EC2 스팟 인스턴스를 사용하면 온디맨드 Amazon EC2 요금에 비해 비용을 70% 절약할 수 있습니다.”

DataFarming은 스팟 인스턴스를 사용하여 비용 효율적으로 확장하면서 데이터 스토리지의 확장성도 최적화합니다. 회사는 대부분의 이미지 기반 데이터를 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스인 Amazon Simple Storage Service(Amazon S3)에 저장합니다. DataFarming의 전무 이사 Tim Neale은 “농장에서 데이터를 캡처하여 해당 데이터를 영구적으로 저장하므로 사용자는 몇 년 전을 되돌아보고 성능을 비교할 수 있게 됩니다”라고 말합니다. “고객이 해당 데이터에 액세스할 수 있도록 하는 것이 중요하므로 데이터를 효과적으로 저장해야 합니다. Amazon S3가 하는 일은 바로 이것입니다.” DataFarming은 유연한 실시간 사용 사례를 지원하는 완전 관리형 인메모리 캐싱 서비스인 Amazon ElastiCache와 함께 Amazon S3를 사용합니다. Amazon ElastiCache를 임시 데이터 스토리지로 사용하여 전송을 개선하고 모바일 친화적이고 대역폭이 낮은 방식으로 데이터를 최적화함으로써 농부에게 빠르고 효율적으로 전달합니다.

DataFarming은 AWS 서비스를 사용하여 28,000개의 농장을 포함한 3,500만 에이커의 농지에 대한 데이터를 처리하는 솔루션을 구축했습니다. Neal은 이렇게 말합니다. “우리는 4년 만에 호주 곡물 시장의 40%에 서비스를 제공하고 있으며 우리 서비스 이전에는 4%의 농부들만이 위성 이미지를 사용했습니다.” “이것은 제가 본 것 중 가장 큰 기술 발전입니다.” 이 회사의 발전은 긍정적인 사용자 경험을 제공하는 확장 가능한 솔루션에 의해 촉진되었으며, DataFarming은 AWS 서비스를 사용하여 이를 달성했습니다.

앞으로 DataFarming은 사용자 기반을 국제적으로 계속 확장할 계획입니다. 이 회사는 전 세계 농민들의 위성 이미지 사용을 늘리기 위해 현재 서유럽, 아프리카, 북미 및 남미, 동남아시아 등 농부가 많은 국가를 대상으로 확장하고 있습니다.

또한 농부들이 날로 증가하는 기후 변동성 문제를 겪고 있으므로 DataFarming은 잠재적인 기후 관련 문제를 예측하고 작물 스트레스, 해충 및 질병의 조기 발견을 개선하기 위한 기계 학습 솔루션을 개발하고 있습니다. “조기 탐지를 위해서는 기계 학습이 필요합니다”라고 Neale은 말합니다. “공간 정보로 작업하면 일반 기계 학습으로는 해결할 수 없는 과제가 추가됩니다. 미래를 기대하고 있으며 AWS가 제공하는 더 많은 기계 학습 도구를 탐색할 것입니다.”