Numerix escala workloads de HPC para modelagem de preços e riscos usando o AWS Batch

A Numerix fornece seu software de análise a mais de 250 clientes globais, incluindo bancos, reguladores e seguradoras. Seus amplos modelos matemáticos negociam preços com uma ampla variedade de estados do mercado para simular os efeitos prováveis em caso de queda dos preços das ações. As instituições financeiras se baseiam nesses dados para tomar decisões com implicações de bilhões de dólares e exigem a análise mais avançada disponível. Para complicar ainda mais, os mercados financeiros estão em um território sem precedentes desde o início da pandemia da COVID-19. As informações de gerenciamento de negociações e de riscos são especialmente valiosas neste momento de instabilidade. “Temos clientes que estão fazendo portfólios de 20 mil negociações”, afirma Jockle. E esses portfólios só crescem à medida que as empresas adotam a análise de risco na tentativa de se proteger da vulnerabilidade.

A complexidade desse aumento no volume de negociações e análise é um imenso desafio matemático que exige muita capacidade de computação. Segundo Bill Humphrey, chief technology officer da Numerix: “para que os clientes executem nossas soluções on-premises, precisamos dizer a eles: ‘você precisa ter esta quantidade de núcleos de CPU no datacenter para instalar nosso software e executá-lo todos os dias. E você precisará comprar ainda mais no próximo ano porque seu portfólio está crescendo’”. Esse custo inicial tem sido uma barreira para a adoção das ferramentas da Numerix.

“A nuvem é uma jornada inevitável para a Numerix fornecer eficiência e disponibilidade”, diz Jockle. A Numerix começou a realizar alguns projetos de software como serviço na nuvem em 2012. Em 2019, a migração para a AWS se acelerou quando os engenheiros começaram a usar o Amazon Elastic Compute Cloud (Amazon EC2), que fornece capacidade computacional segura e redimensionável na nuvem para executar suas soluções de HPC. A Numerix começou a usar o AWS Batch em 2021 para provisionar dinamicamente a quantidade e o tipo ideais de recursos de computação no Amazon EC2. Com o novo método, a performance analítica melhorou 180 vezes.

Os líderes da Numerix concordam que adotar um orquestrador nativo de nuvem e uma arquitetura com tecnologia sem servidor foi a chave para aproveitar toda a elasticidade da nuvem. Embora a Numerix tenha usado uma metodologia lift-and-shift nas etapas iniciais da migração, a migração completa para um modelo com tecnologia sem servidor foi um marco. “O modelo com tecnologia sem servidor é exatamente o que precisamos para não termos recursos caros em execução o tempo todo”, afirma Humphrey. “Enviamos essas workloads para o AWS Batch, que orquestra os recursos de computação provisionando as instâncias certas do Amazon EC2 para os trabalhos enviados, executa esses trabalhos e desliga as instâncias quando o trabalho é concluído. Pagamos apenas pelos segundos reais de uso.” A Numerix usa o AWS Step Functions, um serviço de fluxo de trabalho visual de baixo código para aplicações modernas para executar seus recursos com tecnologia sem servidor.

Mais importante ainda, ao usar a alocação dinâmica de recursos na AWS, a Numerix pode atender às exigências rigorosas dos clientes com mais eficiência. “Com o AWS Batch, cumprimos contratos de nível de serviço de 40 minutos ou menos em portfólios com dezenas de milhares de negociações”, diz Jockle. “Isso é totalmente inédito.” Os engenheiros estão armazenando informações com o Amazon Simple Storage Service (Amazon S3), um armazenamento de objetos na nuvem criado para recuperar qualquer volume de dados em qualquer lugar. O aumento da capacidade de memória e armazenamento na AWS reduziu gargalos em todo o processo de análise. Agora, a Numerix está muito mais preparada para assumir portfólios maiores. Em vez de dizer aos clientes que eles precisarão esperar vários meses para comprar, receber e instalar servidores toda vez que aumentarem a escala, a Numerix pode ajudá-los a responder às mudanças de tamanho em dias ou horas. “A capacidade de se adaptar rapidamente é uma grande vitória”, diz Humphrey.

Muitos clientes da Numerix valorizaram a transição para uma mentalidade que prioriza a nuvem. “No modelo de nuvem, os clientes não precisam mais ter um departamento de TI muito grande para executar nossas soluções de HPC”, afirma Humphrey. Em vez de comprar mais servidores toda vez que aumentam a escala verticalmente, as organizações podem se adaptar às mudanças de tamanho na nuvem em questão de horas. A Numerix também usa amplamente as instâncias spot do Amazon EC2, que ajudam os usuários a executar workloads tolerantes a falhas com até 90% de desconto nos preços sob demanda do Amazon EC2. Ao usar instâncias spot do Amazon EC2 e tecnologia sem servidor, a Numerix obteve economias de custo significativas.

A Numerix está ansiosa para fazer a transição de mais clientes para a nuvem e está trabalhando na expansão de seu modelo de software como serviço como principal framework de operações e de entrega. “A AWS fornece uma grande variedade de serviços e recursos”, afirma Humphrey. Em vez de preparar o hardware para o pior cenário possível, os clientes pagam pela capacidade de computação conforme a necessidade.

Esses aprimoramentos técnicos têm impacto no mundo real. “Os clientes estão usando nossa análise de risco para evitar perdas de bilhões de dólares”, diz Jockle. “A introdução da análise quase em tempo real com escalabilidade praticamente ilimitada da AWS foi um verdadeiro divisor de águas.”