Migração concluída – O negócio ao consumidor da Amazon desativou seu último banco de dados Oracle

Por Jeff Barr, Diretor Evangelista da AWS

Ao longo dos meus 17 anos na Amazon, vi que meus colegas da equipe de engenharia nunca se contentam apenas com o satisfatório. Rotineiramente, eles reavaliam todos os sistemas internos a fim de garantir serem o mais escalável, eficiente, com desempenho, e segurança possível. Quando encontram um caminho para melhorias, eles usarão o que aprenderam a fim de modernizar totalmente nossas arquiteturas e implementações, frequentemente chegando ao ponto de desmontar os sistemas existentes e reconstruí-los do início, se necessário.

Hoje, gostaria de falar sobre um esforço interno de migração de banco de dados desse tipo que acabou de ser concluído, depois de muitos anos de trabalho. Ao longo dos anos, chegamos à conclusão de que gastávamos muito tempo ao gerenciar e dimensionar milhares de bancos de dados Oracle. Em vez de focar no trabalho diferenciado e de alto valor, nossos administradores de banco de dados (DBAs) gastavam muito tempo apenas para manter as luzes acesas enquanto as taxas de transação aumentavam e a quantidade geral de dados armazenados subia. Isso incluía o tempo gasto lidando com o complexo e ineficiente processo de provisionamento de hardware, gerenciamento de licenças, e diversos outros problemas que, hoje, são facilmente tratados por serviços de bancos de dados gerenciados mais modernos.

Mais de 100 equipes de Negócio ao consumidor da Amazon tomaram parte no esforço de migração. Isso inclui marcas e sites conhecidos do cliente, como Alexa, Amazon Prime, Amazon Prime Video, Amazon Fresh, Kindle, Amazon Music, Audible, Shopbop, Twitch e Zappos, bem como equipes internas, como AdTech, Amazon Fulfillment Technology, Pagamentos de consumidores, Devoluções ao cliente, Sistemas de catálogos, Entrega de experiência, Dispositivos digitais, Pagamentos externos, Finanças, InfoSec, Marketplace, Pedidos, e Sistemas de varejo.

Migração concluída

Fico feliz em informar que tal esforço de migração de banco de dados agora está concluído. O Negócio ao consumidor da Amazon acabou de desativar o seu último banco de dados Oracle (alguns aplicativos de terceiros estão fortemente vinculados ao Oracle e não foram migrados).

Migramos 75 petabytes de dados internos armazenados em quase 7.500 bancos de dados da Oracle para diversos serviços de banco de dados da AWS, incluindo Amazon DynamoDB, Amazon Aurora, Amazon Relational Database Service (RDS), e Amazon Redshift. As migrações foram realizadas com nenhum tempo ou quase nenhum tempo de parada e cobriram 100% dos nossos sistemas proprietários. Isso inclui compras complexas, gerenciamento de catálogos, atendimento de pedidos, contabilidade, e cargas de trabalho de streaming de vídeo. Acompanhamos questões de custos e desempenho atentamente, e tivemos os seguintes resultados:

• Redução de custos – reduzimos os custos com bancos de dados em mais de 60%, isso sobre a grande taxa de desconto que negociamos com base em nossa escala. Os clientes informam-nos com frequência uma economia de 90% ao trocar da Oracle para a AWS.
• Melhorias de desempenho – a latência dos nossos aplicativos voltados para o consumidor foi reduzida em 40%.
• Despesas administrativas – a troca para serviços gerenciados reduziu a sobrecarga de despesas administrativas de banco de dados em 70%.

A migração propiciou a cada equipe interna a liberdade de escolher o serviço de banco de dados da AWS criado para atender diretamente às suas necessidades e também ofereceu-lhes melhor controle sobre seu orçamento e modelo de custos. Serviços de baixa latência foram migrados para o DynamoDB e outros bancos de dados não relacionais altamente escaláveis, como o Amazon ElastiCache. Cargas de trabalho relacionais transacionais com requisitos de alta consistência de dados foram movidas para o Aurora e o RDS; as cargas de trabalho analíticas foram migradas para o Redshift, o nosso serviço de Data Warehouse na nuvem.

Capturamos o desligamento do último banco de dados da Oracle e fizemos uma rápida comemoração:

Plano de carreira do DBA

Como expliquei mais cedo, nossos DBAs gastaram muito tempo gerenciando e escalando nossos bancos de dados Oracle. A migração liberou um tempo que nossos DBAs usam atualmente para realizar um trabalho de monitoramento de desempenho e otimização de consultas ainda melhor, tudo isso tendo como objetivo permitir-lhes oferecer uma melhor experiência para o cliente.
Como parte da migração, também trabalhamos para criar uma nova carreira para nossos DBAs Oracle ao treiná-los para se tornarem especialistas e consultores em migração de bancos de dados. Tal treinamento inclui capacitação em tecnologias de banco de dados da AWS, arquitetura baseada na nuvem, segurança na nuvem, gestão de custos estilo OpEx. Atualmente, eles trabalham com clientes internos e externos em uma função de consultoria, onde têm a oportunidade de compartilhar sua experiência com migrações em grande escala de bancos de dados de missão crítica.

Exemplos de migração

Aqui estão alguns exemplos retirados de algumas das migrações:

Publicidade – depois da migração, esta equipe foi capaz de dobrar o tamanho da frota do banco de dados (e de throughput) em minutos a fim de acomodar o tráfego de pico, graças ao RDS. Tal esforço de expansão levaria meses.

Fraude de comprador – esta equipe moveu 40 TB de dados com apenas uma hora de tempo de parada e obteve o mesmo desempenho ou até melhor pela metade do custo, impulsionado pelo Amazon Aurora.

Contabilidade financeira e razão – esta equipe moveu 120 TB de dados, reduziu a latência em 40%, reduziu os custos em 70%, e reduziu as despesas administrativas em 70% também, tudo isso impulsionado pelo DynamoDB.

Carteira – esta equipe migrou mais de 10 bilhões de registros para o DynamoDB, com redução de 50% da latência e de 90% dos custos operacionais no processo. Para saber mais sobre esta migração, leia Amazon Wallet Scales Using Amazon DynamoDB.

Minha postagem recente no Prime Day 2019 tem mais exemplos da escala e do desempenho extremos que são possíveis com a AWS.

Recursos de migração

Se você está pronto para migrar do Oracle (ou de qualquer outro banco de dados legado gerenciado manualmente) para um ou mais serviços de banco de dados da AWS, aqui estão alguns recursos para você começar:

AWS Migration Partners – nosso quadro de parceiros AWS (AWS Migration Partners) possui a experiência, o conhecimento, e as ferramentas para ajudar você a entender, planejar, e executar uma migração de banco de dados.

Estudos de caso de migração – leia Como a Amazon está obtendo a liberdade de banco de dados usando a AWS para aprender mais sobre tal esforço; leia os estudos de caso de Publicidade do Prime Video, Itens e ofertas, Centro de atendimento da Amazon e Análise a fim de aprender mais sobre os exemplos que eu mencionei acima.

AWS Professional Services – meus colegas do time AWS Professional Services estão prontos para trabalhar junto com você, a fim de tornar da sua migração um sucesso.

Ferramentas e serviços de migração da AWS – verifique nossa página de Migração na nuvem, leia mais sobre o Migration Hub e não se esqueça do AWS Database Migration Services.

AWS Database Freedom – o programa AWS Database Freedom foi desenvolvido para ajudar clientes qualificados a migrarem dos bancos de dados tradicionais para os bancos de dados nativos da nuvem da AWS.

Sessões AWS re:Invent – estamos finalizando uma extensa linha de palestras chalk talks e sessões de debates para AWS re:Invent que focarão no tema de migração, tudo isso conduzido pelos membros da nossa equipe que planejam e atuam nas migrações.

Este artigo foi traduzido do Blog da AWS em Inglês.

Sobre o autor

Jeff Barr é diretor evangelista da AWS. Ele iniciou este blog em 2004 e vem escrevendo publicações quase ininterruptamente desde então.

Sobre o revisor

Murilo Nascimento é um arquiteto de soluções da AWS que trabalha no desenvolvimento dos parcerios AWS. Especialista em tecnologias de bancos de dados, gosta muito de estudar sobre o tema e gosta mais ainda de compartilhar o que aprende com outras pessoas.