DataFarming elabora i dati di 14 milioni di ettari utilizzando Amazon ECS

DataFarming, un'azienda australiana che si occupa di agricoltura di precisione, voleva migliorare la sua capacità di fornire agli agricoltori dati di alta qualità provenienti da immagini satellitari in modo rapido ed efficace, aiutandoli a ottimizzare la crescita delle colture. L'azienda desiderava che gli agricoltori fossero in grado di visualizzare i dati sui dispositivi mobili sul campo, dove solitamente la larghezza di banda è molto limitata. Per raggiungere questi obiettivi senza aumentare i costi per l'azienda o i suoi clienti, DataFarming si è rivolta alle soluzioni di Amazon Web Services (AWS). Utilizzando Amazon Elastic Container Service (Amazon ECS), un servizio di orchestrazione di container completamente gestito che semplifica l'implementazione, la gestione e la scalabilità delle applicazioni containerizzate, e altri servizi di AWS, DataFarming ha raggiunto un aumento del 900% dell'uso di immagini satellitari nel mercato australiano dei cereali in poco più di 4 anni.

Fondata nel 2017 e con sede nel Queensland, in Australia, DataFarming fornisce soluzioni digitali che consentono agli agricoltori di agire in risposta ai cambiamenti delle colture e del suolo, per un'agricoltura più produttiva. Avendo deciso dall'inizio che per le sue soluzioni digitali i servizi cloud sarebbero stati superiori ai software e ai database legacy, DataFarming ha sempre utilizzato i servizi AWS. "AWS ci consente di implementare soluzioni velocemente e di rispondere alle mutevoli esigenze delle persone sul campo con un'azione rapida", afferma Paul Grambauer, Senior Software Engineer di DataFarming.

Le soluzioni digitali dell'azienda utilizzano immagini satellitari per aiutare gli agricoltori ad affrontare varie sfide, come l'incidenza di parassiti e malattie e l'aumento dei costi dei fertilizzanti. Inoltre, queste immagini aiutano gli agricoltori a comprendere innumerevoli fattori come il contenuto di umidità delle colture e il grado di maturazione, per determinare il momento ideale per la raccolta. Tutte queste variabili influiscono sulla redditività e sulla produttività degli agricoltori. I fondatori di DataFarming hanno introdotto i primi satelliti di telerilevamento ad alta risoluzione nel settore agricolo australiano nel 2003. In questo modo, l'azienda ha svolto un ruolo fondamentale in un contesto di aumento nel settore agricolo dell'accesso a immagini satellitari con una migliore qualità, costi inferiori e una maggiore frequenza.

Originariamente, DataFarming elaborava i dati di immagini satellitari ad alta risoluzione su base programmata, con limitazioni al numero di ore che poteva elaborare in un giorno. Volendo migliorare l'agilità e la possibilità di fornire dati agli agricoltori più velocemente, nel 2021 l'azienda ha deciso di passare all'elaborazione basata sugli eventi. Al contempo, l'azienda desiderava fornire i propri dati in un fomato che fosse il più piccolo possibile per semplificare l'accesso da parte degli agricoltori, anche in aree con larghezza di banda limitata. Sulla base della sua lunga esperienza nell'utilizzo di AWS, DataFarming si è affidata ancora una volta alle soluzioni AWS per raggiungere i propri obiettivi.

DataFarming ha iniziato a sviluppare proof of concept in un ambiente containerizzato in AWS Lambda, un servizio di elaborazione serverless e basato su eventi che consente agli utenti di eseguire codice per praticamente qualsiasi tipo di applicazione o servizio di backend, senza dover fornire o gestire server. Tuttavia, ha scoperto che Amazon ECS si adattava meglio alle sue esigenze specifiche. Poiché l'azienda utilizzava già i container su AWS, il passaggio ad Amazon ECS è stato semplice. "L'ambiente per l'esecuzione dei container in AWS semplifica notevolmente la scelta di una soluzione", afferma Grambauer. "Amazon ECS è più adatto al nostro utilizzo, anche se AWS Lambda opera in modo simile, e la capacità di scegliere il servizio giusto per le nostre esigenze è l'aspetto che preferisco nello sviluppo di una soluzione con AWS."

L'azienda ora utilizza Amazon ECS come ambiente di elaborazione principale e sfrutta questo servizio per fornire funzioni per le sue API di backend a supporto dell'interfaccia utente delle sue soluzioni digitali. Per eseguire i processi per questo ambiente containerizzato, DataFarming utilizza le istanze spot di Amazon Elastic Compute Cloud (Amazon EC2), che le aziende possono utilizzare per varie applicazioni stateless, tolleranti ai guasti o flessibili, come big data, carichi di lavoro containerizzati e carichi di lavoro di test e sviluppo. "Le istanze spot di Amazon EC2 ci hanno offerto notevoli risultati in termini di ottimizzazione dei costi. Possiamo aumentare man mano che arriva un afflusso di ordini e disporre di istanze su cui basare i calcoli", spiega Grambauer. "Utilizzando le istanze spot di Amazon EC2 stiamo riscontrando un risparmio del 70% rispetto ai prezzi di Amazon EC2 on demand."

Pur utilizzando le istanze Spot per scalare in modo conveniente, DataFarming ottimizza anche la sua scalabilità nell'archiviazione di dati. L'azienda archivia la maggior parte dei dati basati su immagini in Amazon Simple Storage Service (Amazon S3), un servizio di archiviazione di oggetti che offre scalabilità, disponibilità dei dati, sicurezza e prestazioni all'avanguardia nel settore. "Se acquisiamo dati su un'azienda agricola, abbiamo la capacità di archiviarli per sempre, consentendo agli utenti di guardare indietro di diversi anni per fare un confronto tra le prestazioni", afferma Tim Neale, Managing Director di DataFarming. "È importante che abbiano accesso a quei dati, quindi dobbiamo assicurarci che siano archiviati in modo efficace, ed è ciò che Amazon S3 ci garantisce." DataFarming utilizza Amazon S3 insieme ad Amazon ElastiCache, un servizio di caching in memoria completamente gestito che supporta casi d'uso flessibili e in tempo reale. Utilizza Amazon ElastiCache come archivio temporaneo di dati per migliorare la consegna e ottimizzare i dati in modo ideale per i dispositivi mobili e a bassa larghezza di banda, per offrire un servizio rapido ed efficiente agli agricoltori.

Utilizzando i servizi AWS, DataFarming ha creato una soluzione che include 28.000 aziende agricole ed elabora i dati per 14 milioni di ettari di terreni agricoli. "Abbiamo raggiunto il 40% del mercato australiano dei cereali in 4 anni e prima del nostro arrivo, solo il 4% degli agricoltori utilizzava immagini satellitari", afferma Neale. "Questa rappresenta la più grande diffusione di una tecnologia che io abbia mai visto in vita mia." I progressi dell'azienda sono incentivati da soluzioni scalabili che forniscono un'esperienza utente positiva, ottenuta da DataFarming utilizzando i servizi AWS.

In futuro, DataFarming ha intenzione di continuare ad espandere la propria base di utenti a livello internazionale. Con l'obiettivo di aumentare l'uso delle immagini satellitari da parte degli agricoltori in tutto il mondo, attualmente l'azienda si rivolge a Paesi con un gran numero di agricoltori in Europa occidentale, Africa, Nord e Sud America e Sud-Est asiatico.

Inoltre, poiché gli agricoltori stanno affrontando una crescente variabilità climatica, DataFarming sta lavorando a soluzioni di machine learning per prevedere potenziali problemi legati al clima e migliorare la diagnosi precoce di stress delle colture, parassiti e malattie. "La diagnosi precoce richiederà il machine learning", afferma Neale. "La possibilità di lavorare con le informazioni spaziali aggiunge sfide che un normale machine learning non sarà in grado di affrontare. Siamo entusiasti per il futuro e desiderosi di esplorare gli altri strumenti di machine learning che AWS ha da offrire."