DataFarming traite les données de 35 millions d'acres à l'aide d'Amazon ECS

La société australienne d'agriculture de précision DataFarming souhaitait améliorer sa capacité à fournir rapidement et efficacement aux agriculteurs des données de haute qualité issues d'images satellites, afin de les aider à optimiser la croissance de leurs cultures. L'entreprise souhaitait que les agriculteurs puissent consulter les données sur des appareils mobiles sur le terrain, où la bande passante est très limitée. Pour atteindre ces objectifs sans augmenter les coûts pour l'entreprise ou ses clients, DataFarming s'est tournée vers les solutions d'Amazon Web Services (AWS). Grâce à Amazon Elastic Container Service (Amazon ECS), un service d'orchestration de conteneurs entièrement géré qui facilite le déploiement, la gestion et le dimensionnement d'applications conteneurisées, et à d'autres services d'AWS, DataFarming a augmenté de 900 % l'utilisation de l'imagerie satellite sur le marché céréalier australien en un peu plus de 4 ans.

Fondée en 2017 et basée dans le Queensland, en Australie, DataFarming fournit des solutions numériques qui permettent aux agriculteurs de réagir aux changements des cultures et des sols pour une agriculture plus productive. Ayant décidé dès le début que les services cloud seraient supérieurs aux anciens logiciels et bases de données pour ses solutions numériques, DataFarming a toujours utilisé les services AWS. « AWS nous permet de mettre en œuvre rapidement des solutions, de réagir à l'évolution des exigences des personnes sur le terrain et d'y répondre rapidement », explique Paul Grambauer, ingénieur logiciel senior chez DataFarming.

Les solutions numériques de l'entreprise utilisent l'imagerie satellite pour aider les agriculteurs à relever des défis tels que l'incidence des nuisibles et des maladies et l'augmentation du coût des engrais. En outre, ces images aident les agriculteurs à mieux comprendre des facteurs tels que le taux d'humidité et la maturité des cultures, afin de déterminer le moment idéal pour la récolte. Toutes ces variables ont un effet sur la rentabilité et la productivité des agriculteurs. Les fondateurs de DataFarming ont introduit les premiers satellites de télédétection à haute résolution dans l'industrie agricole australienne en 2003. L'entreprise a ainsi joué un rôle clé dans l'accès croissant du secteur agricole à des images satellites moins coûteuses, de meilleure qualité et plus fréquentes.

À l'origine, DataFarming traitait les données d'imagerie satellite à haute résolution selon une programmation, avec des limites sur le nombre d'heures de traitement en une journée. Désireuse d'améliorer son agilité et de fournir plus rapidement des données aux agriculteurs, l'entreprise a décidé en 2021 de passer au traitement basé sur les événements. Dans le même temps, l'entreprise souhaitait être en mesure de fournir ses données dans le format le plus compact possible afin de faciliter l'accès aux agriculteurs, même dans les zones où la bande passante est limitée. Forte de sa longue expérience avec AWS, DataFarming s'est de nouveau tournée vers les solutions AWS pour atteindre ses objectifs.

DataFarming a commencé à développer des preuves de concept dans un environnement conteneurisé AWS Lambda, un service de calcul sans serveur orienté événements qui permet aux utilisateurs d'exécuter du code pour presque tout type d'application ou de service back-end, sans se soucier de l'approvisionnement ou de la gestion des serveurs. Elle a toutefois constaté qu'Amazon ECS répondait mieux à ses besoins spécifiques. Comme l'entreprise utilisait déjà des conteneurs sur AWS, le passage à Amazon ECS s'est fait en douceur. « L'environnement d'exécution des conteneurs dans AWS facilite grandement le choix d'une solution », explique Grambauer. « Amazon ECS fonctionne très bien pour nous, mais AWS Lambda fait la même chose, et la possibilité de choisir le service adapté à nos besoins est le point que je préfère dans le développement d'une solution avec AWS. »

L'entreprise utilise désormais Amazon ECS comme environnement informatique principal et exploite ce service pour fournir à ses API principales des fonctions qui leur permettent de prendre en charge l'interface utilisateur de ses solutions numériques. Pour exécuter des processus pour cet environnement conteneurisé, DataFarming utilise les instances Spot Amazon Elastic Compute Cloud (Amazon EC2), que les entreprises peuvent utiliser pour diverses applications sans état, tolérantes aux pannes ou flexibles, telles que les big data, les charges de travail conteneurisées et les charges de travail de test et de développement. « Les instances Spot Amazon EC2 nous ont permis d'obtenir de nombreux résultats en termes d'optimisation des coûts. Nous pouvons évoluer au fur et à mesure que nous recevons un afflux de commandes et disposer d'instances sur lesquelles nous appuyer. », explique Grambauer. « Nous réalisons des économies de 70 % grâce aux instances Spot Amazon EC2 par rapport aux tarifs d'Amazon EC2 à la demande. »

En utilisant les instances Spot pour évoluer de manière rentable, DataFarming optimise également sa capacité de mise à l'échelle en matière de stockage de données. L'entreprise peut stocker la plupart de ses données basées sur des images dans Amazon Simple Storage Service (Amazon S3), un service de stockage d'objets offrant une capacité de mise à l'échelle, une disponibilité des données, une sécurité et des performances de pointe. « Si nous capturons des données sur une ferme, nous sommes en mesure de les stocker pour toujours, pour que l'utilisateur puisse regarder en arrière sur plusieurs années et comparer les performances », détaille Tim Neale, directeur général de DataFarming. « Il est important qu'ils aient accès à ces données ; elles doivent donc être stockées de manière efficace, et c'est ce qu'Amazon S3 fait pour nous. » DataFarming utilise Amazon S3 parallèlement à Amazon ElastiCache, un service de mise en cache en mémoire entièrement géré qui prend en charge des cas d'utilisation flexibles en temps réel. Elle utilise Amazon ElastiCache comme stockage de données temporaire afin d'améliorer la livraison et d'optimiser les données de manière adaptée aux appareils mobiles et à faible bande passante pour une livraison rapide et efficace aux agriculteurs.

À l'aide des services AWS, DataFarming a créé une solution qui inclut 28 000 fermes et traite les données de 35 millions d'acres de terres agricoles. « Nous avons atteint 40 % du marché céréalier australien en 4 ans ; avant notre arrivée, seuls 4 % des agriculteurs utilisaient l'imagerie satellite », raconte Neale. « Il s'agit de la plus grande adoption de technologie que j'ai vue de ma vie. » Les progrès de l'entreprise sont stimulés par des solutions évolutives qui offrent une expérience utilisateur positive, ce que DataFarming parvient à réaliser grâce aux services AWS.

À l'avenir, DataFarming prévoit de continuer à étendre sa base d'utilisateurs à l'international. Cherchant à accroître l'utilisation de l'imagerie satellite par les agriculteurs du monde entier, l'entreprise cible actuellement les pays comptant un grand nombre d'agriculteurs en Europe occidentale, en Afrique, en Amérique du Nord et du Sud et en Asie du Sud-Est.

En outre, étant donné que les agriculteurs sont confrontés à une variabilité climatique croissante, DataFarming travaille sur des solutions de machine learning pour prévoir les potentiels problèmes liés au climat et améliorer la détection précoce du stress, des nuisibles et des maladies des cultures. « La détection précoce va nécessiter le machine learning », déclare Neale. « L'utilisation d'informations spatiales pose des défis que le machine learning normal ne sera pas en mesure de relever. Nous sommes impatients de voir l'avenir et d'explorer d'autres outils de machine learning proposés par AWS. »