DataFarming procesa datos de 35 millones de acres con Amazon ECS

La empresa australiana de agricultura de precisión DataFarming quería mejorar su capacidad de ofrecer datos de alta calidad a partir de imágenes satelitales a los agricultores de forma rápida y eficaz, para ayudarlos a optimizar el crecimiento de sus cultivos. La empresa quería que los agricultores pudieran ver los datos en dispositivos móviles en el campo, donde es habitual un ancho de banda muy limitado. Para lograr estos objetivos sin aumentar los costos para la empresa o sus clientes, DataFarming recurrió a las soluciones de Amazon Web Services (AWS). Con Amazon Elastic Container Service (Amazon ECS), un servicio de orquestación de contenedores completamente administrado que facilita la implementación, la administración y el escalado de aplicaciones en contenedores, y otros servicios de AWS, DataFarming logró un aumento del 900 % en el uso de imágenes satelitales en el mercado de cereales australiano en poco más de 4 años.

Fundada en 2017 y con sede en Queensland, Australia, DataFarming ofrece soluciones digitales que permiten a los agricultores reaccionar ante los cambios en los cultivos y el suelo para lograr una agricultura más productiva. Tras haber decidido desde un principio que los servicios en la nube serían superiores al software y las bases de datos tradicionales para las soluciones digitales, DataFarming siempre utilizó los servicios de AWS. “AWS nos permite implementar soluciones con rapidez, reaccionar a los requisitos cambiantes de las personas en el campo y responder rápido a ellos”, afirma Paul Grambauer, ingeniero de software sénior en DataFarming.

Las soluciones digitales de la empresa utilizan imágenes satelitales para ayudar a los agricultores a abordar los desafíos, como la incidencia de plagas y enfermedades y el aumento de los costos de los fertilizantes. Además, estas imágenes ayudan a los agricultores a comprender factores, como el contenido de humedad y la madurez de los cultivos, para determinar el momento ideal de cosecha. Todas estas variables afectan a la rentabilidad y la productividad de los agricultores. Los fundadores de DataFarming introdujeron los primeros satélites de teledetección de alta resolución en el sector agrícola australiano en 2003. De este modo, la empresa tuvo un papel clave en el creciente acceso del sector agrícola a las imágenes satelitales de menor costo, mejor calidad y más frecuentes.

En un principio, DataFarming procesaba datos de imágenes satelitales de alta resolución de forma programada, con limitaciones en el número de horas que podía procesar en un día. Con el objetivo de mejorar la agilidad y entregar datos a los agricultores con mayor rapidez, la empresa decidió en 2021 cambiar al procesamiento basado en eventos. Al mismo tiempo, la empresa quería poder entregar sus datos en el paquete más pequeño posible para facilitar el acceso de los agricultores, incluso en áreas con ancho de banda limitado. Con su larga trayectoria de uso de AWS, DataFarming recurrió una vez más a las soluciones de AWS para lograr sus objetivos.

DataFarming comenzó a desarrollar pruebas de concepto en un entorno en contenedores en AWS Lambda, un servicio de computación sin servidor basado en eventos que permite a los usuarios ejecutar código para casi cualquier tipo de aplicación o servicio de backend sin aprovisionar ni administrar servidores. Sin embargo, descubrió que Amazon ECS se adaptaba mejor a sus necesidades específicas. Como la empresa ya utilizaba contenedores en AWS, el cambio a Amazon ECS fue sencillo. “El entorno de ejecución de contenedores en AWS hace que sea muy sencillo elegir una solución”, señala Grambauer. “Amazon ECS funciona mejor para nosotros, pero AWS Lambda hace algo similar y la capacidad de elegir el servicio adecuado para nuestras necesidades es mi parte favorita del desarrollo de una solución con AWS”.

La empresa ahora utiliza Amazon ECS como su entorno de computación principal y utiliza el servicio para proporcionar funciones a sus API de backend a fin de admitir la interfaz de usuario de sus soluciones digitales. Para ejecutar procesos en este entorno en contenedores, DataFarming utiliza instancias de spot de Amazon Elastic Compute Cloud (Amazon EC2), que las empresas pueden aprovechar para diversas aplicaciones flexibles, tolerantes a errores o sin estado, como los macrodatos, las cargas de trabajo en contenedores y las cargas de trabajo de prueba y desarrollo. “Las instancias de spot de Amazon EC2 nos brindaron muchos resultados en la optimización de costos. Podemos escalar verticalmente a medida que llega una afluencia de pedidos y disponer de instancias con las que calcular”, indica Grambauer. “Vemos un ahorro del 70 % con las instancias de spot de Amazon EC2 en comparación con los precios de Amazon EC2 bajo demanda”.

Además de utilizar instancias de spot para escalar de forma rentable, DataFarming también optimiza su escalabilidad en el almacenamiento de datos. La empresa almacena la mayor parte de sus datos en Amazon Simple Storage Service (Amazon S3), un servicio de almacenamiento de objetos que ofrece escalabilidad, disponibilidad de datos, seguridad y rendimiento líderes en el sector. “Si capturamos datos en una granja, tenemos la capacidad de almacenarlos para el usuario por siempre, de modo que pueda retroceder varios años y comparar el rendimiento”, señala Tim Neale, director general en DataFarming. “Es importante que tenga acceso a esos datos, por lo que deben almacenarse de forma eficaz y eso es lo que Amazon S3 hace por nosotros”. DataFarming utiliza Amazon S3 junto con Amazon ElastiCache, un servicio de almacenamiento en memoria caché completamente administrado que admite casos de uso flexibles y en tiempo real. Utiliza Amazon ElastiCache como almacenamiento de datos temporal con la finalidad de mejorar la entrega y optimizar los datos de una manera compatible con dispositivos móviles y con un ancho de banda reducido para una entrega rápida y eficaz a los agricultores.

Con los servicios de AWS, DataFarming creó una solución que incluye 28 000 granjas y procesa datos para 35 millones de acres de tierras de cultivo. “Alcanzamos al 40 % del mercado australiano de cereales en 4 años y, antes de que llegáramos, solo el 4 % de los agricultores utilizaban imágenes satelitales”, asegura Neale. “Esta es la mayor adopción de tecnología que he visto en mi vida”. El progreso de la empresa se ve impulsado por soluciones escalables que proporcionan una experiencia de usuario positiva, algo que DataFarming logra con los servicios de AWS.

En el futuro, DataFarming tiene planes de continuar expandiendo su base de usuarios a nivel internacional. En este momento, con el objetivo de aumentar el uso de imágenes satelitales por parte de los agricultores de todo el mundo, la empresa apunta a países con un gran número de agricultores en Europa occidental, África, América del Norte y América del Sur y el sudeste asiático.

Además, dado que los agricultores se enfrentan a una creciente variabilidad climática, DataFarming trabaja en soluciones de machine learning para predecir posibles problemas relacionados con el clima y mejorar la detección temprana del estrés de los cultivos, las plagas y las enfermedades. “La detección temprana va a requerir machine learning”, indica Neale. “Trabajar con información espacial agrega desafíos que el machine learning normal no podrá abordar. Estamos entusiasmados con el futuro y ansiosos de explorar más herramientas de machine learning que AWS tiene para ofrecer”.