DataFarming verarbeitet Daten von 35 Millionen Hektar mit Amazon ECS

DataFarming, ein australisches Unternehmen für Präzisionslandwirtschaft, wollte seine Fähigkeit verbessern, Landwirten schnell und effektiv hochwertige Daten aus Satellitenbildern zur Verfügung zu stellen und ihnen so bei der Optimierung ihres Pflanzenwachstums zu helfen. Das Unternehmen wollte, dass Landwirte die Daten auf Mobilgeräten auf dem Feld einsehen können, wo eine sehr begrenzte Bandbreite üblich ist. Um diese Ziele zu erreichen, ohne die Kosten für das Unternehmen oder seine Kunden zu erhöhen, entschied sich DataFarming für Lösungen von Amazon Web Services (AWS). Mithilfe von Amazon Elastic Container Service (Amazon ECS) – einem vollständig verwalteten Container-Orchestrierungsservice, der die Bereitstellung, Verwaltung und Skalierung von containerisierten Anwendungen vereinfacht – und anderen Services von AWS hat DataFarming in etwas mehr als 4 Jahren einen Anstieg der Nutzung von Satellitenbildern auf dem australischen Getreidemarkt um 900 % erzielt.

2017 gegründet mit Sitz in Queensland, Australien, bietet DataFarming digitale Lösungen, mit denen Landwirte auf Veränderungen bei Pflanzen und Böden reagieren können, um eine produktivere Landwirtschaft zu erzielen. DataFarming entschied zu Beginn, dass Cloud-Services für seine digitalen Lösungen besser geeignet sind, als veraltete Software und Datenbanken. DataFarming hat daher immer schon AWS-Services genutzt. „AWS ermöglicht es uns, Lösungen schnell zu implementieren und auf sich ändernde Anforderungen von Mitarbeitern vor Ort zu reagieren und schnell darauf zu handeln“, sagt Paul Grambauer, Senior Software Engineer bei DataFarming.

Die digitalen Lösungen des Unternehmens nutzen Satellitenbilder, um Landwirten bei der Bewältigung von Herausforderungen wie dem Auftreten von Schädlingen und Krankheiten und den steigenden Düngemittelkosten zu helfen. Darüber hinaus helfen diese Bilder Landwirten, Einblicke in Faktoren wie den Feuchtigkeitsgehalt und die Reife der Pflanzen zu gewinnen, um den idealen Erntezeitpunkt zu bestimmen. All diese Variablen wirken sich auf die Rentabilität und Produktivität der Landwirte aus. Die Gründer von DataFarming brachten bereits 2003 die ersten hochauflösenden Fernerkundungssatelliten in die australische Landwirtschaft. Auf diese Weise hat das Unternehmen eine wichtige Rolle dabei gespielt, dass die Agrarindustrie zunehmend Zugang zu kostengünstigeren, qualitativ besseren und häufigeren Satellitenbildern erhält.

Ursprünglich verarbeitete DataFarming hochauflösende Satellitenbilddaten planmäßig, wobei die Anzahl der Stunden, die es an einem Tag verarbeiten konnte, begrenzt war. Um die Agilität zu verbessern und den Landwirten Daten schneller zur Verfügung zu stellen, beschloss das Unternehmen 2021, auf ereignisgesteuerte Verarbeitung umzustellen. Gleichzeitig wollte das Unternehmen in der Lage sein, seine Daten in einem möglichst kleinen Paket bereitzustellen, um den Landwirten den Zugriff zu erleichtern, selbst in Gebieten mit begrenzter Bandbreite. DataFarming nutzt seit langem AWS und entschied sich erneut für AWS-Lösungen, um seine Ziele zu erreichen.

DataFarming begann mit der Entwicklung von Machbarkeitsstudien in einer containerisierten Umgebung in AWS Lambda, einem ereignisgesteuerten Serverless-Rechenservice, mit dem Benutzer Code für praktisch jede Art von Anwendung oder Backend-Service ausführen können, ohne Server bereitstellen oder verwalten zu müssen. Es stellte sich jedoch heraus, dass Amazon ECS seinen spezifischen Anforderungen besser entsprach. Da das Unternehmen bereits Container auf AWS verwendete, verlief die Umstellung auf Amazon ECS reibungslos. „Die Umgebung für den Betrieb von Containern in AWS macht es sehr einfach, eine Lösung auszuwählen“, sagt Grambauer. „Amazon ECS funktioniert am besten für uns, aber AWS Lambda macht etwas Ähnliches, und die Möglichkeit, den richtigen Service für unsere Bedürfnisse auszuwählen, ist mein Lieblingsteil bei der Entwicklung einer Lösung mit AWS.“

Das Unternehmen verwendet jetzt Amazon ECS als primäre Rechenumgebung und nutzt den Service, um Funktionen für seine Backend-APIs bereitzustellen, um die Benutzeroberfläche seiner digitalen Lösungen zu unterstützen. Um Prozesse für diese containerisierte Umgebung auszuführen, verwendet DataFarming Amazon Elastic Compute Cloud (Amazon EC2)-Spot-Instances, die Unternehmen für verschiedene zustandslose, fehlertolerante oder flexible Anwendungen verwenden können, wie z. B. Big Data, containerisierte Workloads sowie Test- und Entwicklungsworkloads. „Amazon-EC2-Spot-Instances haben uns bei der Kostenoptimierung viele Ergebnisse gebracht. Wir können skalieren, sobald ein Zustrom von Bestellungen eingeht, und haben Instances, auf denen wir rechnen können“, sagt Grambauer. „Mit Amazon-EC2-Spot-Instances erzielen wir Einsparungen von 70 % im Vergleich zu den On-Demand-Preisen von Amazon EC2.“

DataFarming verwendet Spot-Instances für eine kostengünstige Skalierung, optimiert aber auch die Skalierbarkeit der Datenspeicherung. Das Unternehmen speichert die meisten seiner bildbasierten Daten in Amazon Simple Storage Service (Amazon S3), einem Objektspeicherservice, der branchenführende Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Leistung bietet. „Wenn wir Daten über eine Farm erfassen, haben wir die Möglichkeit, diese Daten für den Benutzer für immer zu speichern, sodass er mehrere Jahre zurückblicken und die Leistung vergleichen kann“, sagt Tim Neale, Managing Director bei DataFarming. „Es ist wichtig, dass sie Zugriff auf diese Daten haben, also müssen sie effektiv gespeichert werden, und genau das macht Amazon S3 für uns.“ DataFarming verwendet Amazon S3 zusammen mit Amazon ElastiCache, einem vollständig verwalteten In-Memory-Caching-Service, der flexible Anwendungsfälle in Echtzeit unterstützt. Es verwendet Amazon ElastiCache als temporären Datenspeicher, um die Bereitstellung zu verbessern und Daten auf mobilfreundliche Weise und mit geringer Bandbreite zu optimieren und so eine schnelle und effiziente Bereitstellung an Landwirte zu gewährleisten.

Mithilfe von AWS-Services entwickelte DataFarming eine Lösung, die 28 000 Bauernhöfe umfasst und Daten für 35 Millionen Hektar Ackerland verarbeitet. „In 4 Jahren haben wir 40 % des australischen Getreidemarktes erreicht, und bevor wir auf den Markt kamen, nutzten nur 4 % der Landwirte Satellitenbilder“, sagt Neale. „Dies ist die größte Verbreitung von Technologie, die ich in meinem Leben gesehen habe.“ Der Fortschritt des Unternehmens wird durch skalierbare Lösungen vorangetrieben, die ein positives Benutzererlebnis bieten, was DataFarming mithilfe von AWS-Services erreicht.

In Zukunft plant DataFarming, seine Benutzerbasis international weiter auszubauen. Um die Nutzung von Satellitenbildern durch Landwirte auf der ganzen Welt zu erhöhen, zielt das Unternehmen derzeit auf Länder mit einer großen Anzahl von Landwirten in Westeuropa, Afrika, Nord- und Südamerika sowie Südostasien ab.

Da Landwirte mit zunehmender Klimavariabilität konfrontiert sind, arbeitet DataFarming außerdem an Lösungen für Machine Learning, um potenzielle klimabedingte Probleme vorherzusagen und die Früherkennung von Erntestress, Schädlingen und Krankheiten zu verbessern. „Früherkennung erfordert Machine Learning“, sagt Neale. „Die Arbeit mit räumlichen Informationen bringt Herausforderungen mit sich, die normales Machine Learning nicht bewältigen kann. Wir freuen uns auf die Zukunft und sind sehr daran interessiert, weitere Tools für Machine Learning zu erkunden, die AWS zu bieten hat.“