Atlassian escala para milhões de bancos de dados usando Amazon RDS e Amazon Aurora

A Atlassian fornece produtos de ambiente de trabalho projetados para desenvolvedores de software e gerentes de projeto com o objetivo de ajudar a promover o sucesso de equipes de todos os tamanhos. Antes de 2017, a Atlassian executava os produtos de software Jira (que facilita o rastreamento de bugs e o gerenciamento ágil de projetos) e Confluence (que ajuda as equipes a colaborar e compartilhar conhecimento de forma eficiente) em seus próprios datacenters autogerenciados. O intenso crescimento de clientes motivou a Atlassian a se concentrar mais no suporte a seus clientes e menos no gerenciamento da infraestrutura física. Ao migrar para a AWS, a Atlassian estabeleceu uma base que apoiaria o crescimento e a inovação no futuro. Um componente essencial dessa base foi o datastore que dava suporte aos clientes da Atlassian. A Atlassian selecionou o Amazon RDS para PostgreSQL, que os desenvolvedores podem usar para fazer implantações escaláveis do PostgreSQL em poucos minutos com capacidade de hardware econômica e redimensionável, como banco de dados para o Jira e o Confluence. Quando a Atlassian concluiu sua migração para a AWS, em 2017, a empresa tinha 350.000 bancos de dados relacionais em execução no Amazon RDS.

A Atlassian conseguiu criar um ambiente do Amazon RDS eficiente usando uma combinação de abordagens. Essas abordagens incluíram a otimização de sua infraestrutura de banco de dados e o uso de Instâncias reservadas do Amazon RDS, que oferecem aos clientes da AWS a opção de reservar uma instância de banco de dados por um período de 1 ou 3 anos e receber um desconto significativo em comparação com os preços de instâncias de banco de dados sob demanda do Amazon RDS. Essas economias impulsionaram ainda mais o crescimento dos clientes e ajudaram a Atlassian a se concentrar em inovações para eles, incluindo a introdução de um nível de preços gratuito para clientes que quisessem usar as ofertas de nuvem da Atlassian. “Sabíamos que precisaríamos adicionar algo maior à medida que continuássemos a crescer”, diz Arul Shaji Arulappan, engenheiro principal sênior da Atlassian. Após testes rigorosos, a Atlassian optou por adotar o Amazon Aurora, edição compatível com PostgreSQL, um serviço de banco de dados relacional que combina a velocidade e a disponibilidade de bancos de dados comerciais de ponta com a simplicidade e a economia dos bancos de dados de código aberto, para seus “locatários”, ou grupos de usuários, maiores. A empresa continua usando o Amazon RDS para seus locatários menores, oferecendo flexibilidade de acordo com a necessidade dos clientes. Inicialmente, os serviços de nuvem da Atlassian ofereciam suporte a locatários para clientes com até 5.000 usuários. No entanto, a inovação da equipe da Atlassian logo possibilitou que os clientes de nuvem da Atlassian hospedassem até 25.000 usuários por locatário no Aurora.

Como a equipe da Atlassian estava familiarizada com o uso do Amazon RDS para PostgreSQL, os desenvolvedores já tinham muito do conhecimento necessário para operar o novo banco de dados Aurora. “Não é um sistema novo”, diz Arulappan. “É igual ao Amazon RDS para PostgreSQL, mas com uma arquitetura diferente.”

O Amazon RDS e o Aurora oferecem automações que simplificam as operações diárias, como o uso de APIs de alto nível para grupos de segurança. Ao usá-las, a Atlassian pode atender melhor aos requisitos de conformidade e manter uma postura de segurança padrão e consistente para todas as instâncias do Amazon RDS e do Aurora em sua solução. Além disso, a Atlassian conta com as implantações Multi-AZ do Amazon RDS, que oferecem maior disponibilidade e durabilidade para instâncias de banco de dados do Amazon RDS. “Não ter que configurar manualmente nenhuma dessas partes é uma grande vitória para a empresa”, diz Philip O'Sullivan, gerente de engenharia da Atlassian.

Usando o Amazon RDS e o Aurora, que podem ser escalados automaticamente, a empresa é capaz de melhorar a performance e reduzir os custos. Durante períodos de pico de tráfego, a Atlassian usa Réplicas de leitura do Amazon Aurora e Réplicas de leitura do Amazon RDS, que facilitam o aumento horizontal da escala de maneira elástica além das restrições de capacidade de uma única instância de banco de dados para workloads de banco de dados com leitura intensa. A empresa pode então reduzir o tamanho das réplicas de leitura quando elas não forem necessárias, resultando em uma economia significativa de custos.

Os bancos de dados Amazon RDS e Aurora da Atlassian são gerenciados por duas equipes, uma focada no provisionamento do Amazon RDS e em questões de segurança e conformidade e outra focada no gerenciamento de frotas do Amazon RDS, como rebalanceamento de locatários e monitoramento de performance. Essas equipes usam várias soluções da AWS para gerenciar os mais de 2,8 milhões de bancos de dados da empresa. Para monitoramento e alertas, as equipes da Atlassian usam o Amazon CloudWatch, um serviço de monitoramento e observabilidade criado para engenheiros de DevOps, desenvolvedores, engenheiros de confiabilidade de sites e gerentes de TI. “Usar o Amazon CloudWatch nos ajuda a obter insights sobre nossa saúde operacional”, diz Arulappan. E, usando o AWS Key Management Service (AWS KMS), que facilita aos clientes a criação e o gerenciamento de chaves criptográficas, a Atlassian consegue criptografar o conteúdo em seus bancos de dados com facilidade.

Outra oferta da AWS que a Atlassian aproveitou é o Insights de Performance do Amazon RDS, um recurso de monitoramento e ajuste de performance de bancos de dados que ajuda os usuários a avaliar e visualizar rapidamente a carga em seus bancos de dados. Seu painel fornece insights como tempos de performance recentes e carga de performance. Em caso de aumento nas atividades, a equipe da Atlassian usa esse painel para identificar qual locatário pode estar causando isso. “O Insights de Performance do Amazon RDS é a primeira coisa que a equipe operacional analisa quando há um problema”, diz Arulappan. “Na maioria das vezes, isso é suficiente para descobrir onde está o problema.”

A Atlassian continuará usando o Amazon RDS para PostgreSQL e o Amazon Aurora, edição compatível com PostgreSQL, para oferecer suporte ao seu crescimento à medida que a empresa se concentra em objetivos de negócios. Em vez de dedicar tempo e recursos ao gerenciamento diário do banco de dados, a Atlassian agora pode se concentrar na implementação de mudanças que serão relevantes para futuros clientes corporativos. “O uso do Amazon RDS para PostgreSQL e do Amazon Aurora, edição compatível com PostgreSQL, reduz a complexidade do processo de ajuste de escala”, diz Arulappan. “Sem dúvida, foi uma experiência positiva para a Atlassian.” Agora, a Atlassian está trabalhando para permitir que seus maiores clientes hospedem até 50.000 usuários por locatário, aproveitando ao máximo a solução da Atlassian na AWS.