Clientes de Amazon MSK

Kafka ha sido un componente central de nuestra plataforma de análisis de ingeniería en Arm desde hace varios años, tanto en las instalaciones como en la nube. Lo hemos utilizado en la arquitectura Arm desde su puesta en servicio inicial. Sin embargo, para mejorar la fiabilidad y reducir los gastos de administración, queríamos utilizar Amazon Managed Streaming para Apache Kafka (MSK).

Con la mejora de MSK para que sea compatible con Graviton 3, podemos devolver nuestro servicio de análisis a una solución totalmente basada en Arm, lo que ofrece un mayor rendimiento a un costo menor y, al mismo tiempo, reduce la huella de carbono de nuestras operaciones.

Amazon MSK nos permitió escalar sin inconvenientes y, al mismo tiempo, beneficiarnos de una fiabilidad y seguridad de nivel empresarial. Al descargar la gestión de Kafka a AWS, pudimos seguir centrados en nuestro negocio principal e innovar más rápido.

Tardábamos 10 horas en sincronizar nuestros almacenes de metadatos. Ahora, gracias a Amazon MSK, este proceso solo nos lleva 30 minutos.

Al migrar de nuestro centro de datos a AWS, necesitábamos una forma de retener nuestras inversiones críticas para el negocio en Kafka y, al mismo tiempo, reducir significativamente la sobrecarga de ejecutar Kafka nosotros mismos. Esto nos llevó a MSK. Trasladamos una parte importante de la infraestructura y de la gestión del software de Kafka a los clústeres de MSK, que se ampliaron para admitir más de 40 GB/seg de media de consumo de datos. Por ejemplo, ya no tenemos que gestionar el hardware y el software para mantener nuestros clústeres actualizados. Como resultado, podemos invertir más recursos en el desarrollo de servicios en torno a Kafka para nuestros equipos de clientes, que es lo que mejor sabemos hacer. El uso de MSK nos permite centrarnos en nuestras competencias principales, lo que nos permite lanzar mejores productos con mayor rapidez y frecuencia.

Desde que adoptamos Amazon MSK, hemos podido aumentar significativamente la eficiencia de nuestros equipos de trabajo y reducir el tiempo que se dedica al mantenimiento de nuestros clústeres. A medida que aumentaron los requisitos de datos y casos de uso, comenzamos a experimentar sobrecarga y complejidad considerables en la administración de nuestros clústeres de Kafka. El uso de Amazon MSK nos ha permitido administrar nuestros clústeres con confianza, dedicar menos tiempo a verificar su rendimiento, escalar con facilidad y dedicar más tiempo a innovar y crear interesantes aplicaciones en tiempo real.

Amazon Managed Streaming para Apache Kafka (Amazon MSK) ha facilitado la configuración, el mantenimiento y el escalamiento de los clústeres de Kafka. Esto permite una canalización durante la incorporación de extremo a extremo, con el soporte de un servicio completamente administrado. A medida que aumentan nuestras demandas, confiamos en que podremos escalar con facilidad y expandir nuestras canalizaciones para la incorporación de streaming a fin de permitir el enriquecimiento de datos y el machine learning en tiempo real. De esta manera, ofreceremos una mejor experiencia a nuestros clientes.

Con Amazon MSK, Vonage ha reducido los gastos generales de mantenimiento al crear una plataforma basada en microservicios que permite a las empresas colaborar de manera más productiva e involucrar a sus clientes de forma más efectiva. Ahora podemos configurar nuevos grupos de Kafka de manera más ágil y escalarlos a medida que aumentan nuestras demandas. Amazon MSK ha eliminado la complejidad de la configuración y el mantenimiento, lo que nos permite centrarnos en lo más importante: crear nuevas capacidades innovadoras para nuestros clientes.

Al desarrollar y lanzar nuestra aplicación de análisis de seguridad, Secureworks eligió el servicio de Amazon MSK para acelerar el tiempo de comercialización y reducir la sobrecarga en la infraestructura y la administración. Esto nos permitió centrarnos en la innovación y en nuestros diferenciadores únicos para ayudar a proteger a nuestros clientes de las ciberamenazas.

La tecnología de streaming es una parte importante de lo que hacemos como empresa, pero su administración implica mucho trabajo pesado por parte de nuestros desarrolladores de software. Amazon MSK nos ha permitido eliminar gran parte de este trabajo pesado. Al usar Amazon MSK, ya no necesitamos destinar esfuerzos para garantizar la durabilidad de los datos, la disponibilidad del clúster y la escalabilidad. Ahora podemos centrarnos en crear aplicaciones. Amazon MSK libera a nuestro equipo de la carga de tener que operar y mantener Kafka. Al mismo tiempo, experimentamos menos tiempo de inactividad, ya que nuestros clústeres están completamente administrados.

En ZipRecruiter, utilizamos Apache Kafka para nuestras canalizaciones de registros de eventos. Estos son los componentes críticos de la infraestructura, que recopilan, almacenan y procesan continuamente más de 6 mil millones de eventos por día desde el centro de empleo de ZipRecruiter. Elegimos a Amazon Managed Streaming for Apache Kafka (Amazon MSK) para que sea más fácil administrar, ejecutar y mantener esta infraestructura crítica. Amazon MSK redujo significativamente nuestros gastos de gestión y de administración de Apache Kafka. De esta forma, los ingenieros que administraban Apache Kafka habitualmente cambiaron su enfoque hacia las innovaciones de productos que facilitan y mejoran la correlación entre los candidatos a empleos y los gerentes de contratación.

Delhivery utiliza Apache Kafka como un componente fundamental en su canalización a fin de recopilar, almacenar y cambiar de manera lógica los metadatos de operaciones iniciales, intermedias y de entrega. A medida que escalamos nuestras operaciones logísticas, dedicamos un esfuerzo significativo a la gestión de las complejidades de la infraestructura dentro de nuestros clústeres de Apache Kafka. Amazon MSK no solo nos ayudó a bajar la sobrecarga de la infraestructura, sino que también logramos mantener un alto rendimiento y capacidad de nuestras canalizaciones de metadatos críticos para el negocio de una manera más segura y confiable.

Vortexa usa Apache Kafka para aplicar modelos a escala de machine learning a secuencias de datos nuevas e históricas. También permite hacer predicciones de mercado en tiempo real que están disponibles de inmediato para sus clientes a través de su plataforma de análisis. Amazon MSK ha sido una tecnología fundamental para Vortexa. Junto con Lenses.io, nos permitió cambiar el enfoque de nuestros esfuerzos significativos, y pasamos de mantener y estabilizar una infraestructura compleja y frágil de Apache Kafka a centrarnos más en la calidad de los análisis y el conocimiento del mercado, lo cual impacta directamente en el valor que entregamos a nuestros clientes. Ahora podemos actualizar con confianza y de manera frecuente nuestras aplicaciones a escala, ejecutar complejas topologías de secuencias de Kafka con facilidad y depurar aplicaciones en lugar de infraestructura. Nuestros ingresos y la participación en el mercado se ven directamente afectados por la velocidad a la que entregamos datos precisos al mercado. Amazon MSK fue clave para lograrlo.

Usamos varios productos de AWS para transmitir y procesar grandes cantidades de datos de deportes en vivo, por lo que muchas partes de nuestra infraestructura tienen un uso muy elevado los días de partido y nada de uso el resto de días. Antes de usar Amazon Managed Streaming para Apache Kafka (Amazon MSK) sin servidor, las partes móviles y los gastos operativos necesarios para escalar y desescalar verticalmente de manera eficiente durante los días de partido suponían una carga importante, y la capacidad a menudo se aprovisionaba excesivamente. Amazon MSK sin servidor nos ayudó a transferir los problemas de escalamiento a Amazon, lo que nos dio la libertad de dedicar el tiempo invertido en ingeniería a otros aspectos. Empezamos inmediatamente a ahorrar decenas de miles de dólares en nuestra factura mensual de AWS y pudimos reasignar nuestro valioso tiempo de ingeniería dedicado a la planificación de la capacidad y la optimización de los mecanismos de escalamiento a otras tareas.