Integrações com o Amazon DynamoDB

Com o Amazon DynamoDB, você pode integrar facilmente suas workloads com o Amazon DynamoDB Accelerator (DAX) para melhorar a performance em até 10 vezes, o Amazon OpenSearch Service para permitir recursos de pesquisa e análise em tempo real e uma variedade de outros serviços da AWS. O DynamoDB oferece a flexibilidade de integração com uma ampla variedade de serviços da AWS que atendem aos requisitos do seu caso de uso.

O Amazon DynamoDB Accelerator (DAX) é um serviço de armazenamento em cache totalmente gerenciado e altamente disponível criado para o Amazon DynamoDB. O DAX oferece uma melhoria de performance de até 10 vezes (de milissegundos para microssegundos) mesmo com milhões de solicitações por segundo. O DAX gerencia toda a invalidação do cache e a população de dados para adicionar aceleração na memória às suas tabelas do DynamoDB. O DAX é um cache embutido e, portanto, se o item em cache não existir ou estiver obsoleto, o DAX passará automaticamente para a tabela subjacente.

Agora, você pode se concentrar na criação de excelentes aplicações para os clientes sem se preocupar com a performance em grande escala. Como o DAX é compatível com as chamadas de API existentes do DynamoDB, nenhuma alteração na aplicação é necessária, facilitando assim os trabalhos iniciais. 

A Integração ETL zero do Amazon DynamoDB com o Amazon OpenSearch Service fornece um pipeline de ETL sem código e totalmente gerenciado com replicação quase em tempo real do DynamoDB para o OpenSearch Service. Essa integração ETL zero permite que os clientes sincronizem perfeitamente seus dados do DynamoDB com o OpenSearch Service em poucos segundos, eliminando a necessidade de escrever código personalizado para criar e manter pipelines de dados complexos para operações de extração, transformação e carregamento (ETL). Essa integração reduz a carga operacional e o custo envolvidos em manter os dados sincronizados entre os bancos de dados transacionais e de pesquisa, permitindo que os clientes se concentrem em seus principais problemas comerciais. 

Você pode criar rapidamente seu primeiro pipeline na guia Integrações no console do DynamoDB. A integração utiliza os pipelines do Amazon OpenSearch Ingestion para definir e processar as transformações, o roteamento e o mapeamento dos seus dados do DynamoDB para índices específicos do OpenSearch Service.

Essa Integração ETL zero facilita a criação de índices para realizar pesquisa de texto completo, pesquisas geoespaciais, pesquisas vetoriais e muito mais. As pesquisas e agregações do OpenSearch Service funcionam em conjunto com as consultas do DynamoDB para permitir aplicações interativas e de alta performance. Agora, os clientes do DynamoDB podem aproveitar os amplos recursos de pesquisa e machine learning do OpenSearch Service para proporcionar novas experiências que aumentam o envolvimento dos usuários e melhoram a satisfação com as suas aplicações. Saiba mais neste tutorial sobre ETL zero.

Acionadores do AWS Lambda para o Amazon DynamoDB permitem que você configure facilmente uma lógica personalizada para ser executada em resposta a qualquer alteração em um item no DynamoDB. Você pode criar rapidamente seu primeiro gatilho na guia Exportações e fluxos do console do DynamoDB, depois de habilitar Fluxos do DynamoDB. Após a configuração do gatilho, seu código do Lambda pode ser acionado em poucos segundos após qualquer alteração nos dados da sua tabela.

Com gatilhos do AWS Lambda para DynamoDB, você pode criar facilmente gatilhos de banco de dados para validar e enriquecer dados, integrar-se a outros serviços replicando os dados ou criar arquiteturas completas baseadas em eventos, como atendimento de pedidos ou processamento de mídia, que reagem à modificação de dados em tabelas do DynamoDB. A função do Lambda pode realizar qualquer ação que você especificar, como enviar uma notificação ou iniciar um fluxo de trabalho.  

A Integração ETL zero do DynamoDB com o OpenSearch Service reduz a complexidade operacional na orquestração da replicação de dados de um datastore transacional para um datastore de pesquisa. Os pipelines de dados usados para manter os datastores transacionais e de pesquisa sincronizados podem ser desafiadores e caros de criar e gerenciar, além de sofrerem erros intermitentes que são difíceis de rastrear. 

Essa integração permite que os clientes do Amazon DynamoDB obtenham resultados de pesquisa quase em tempo real a partir de seus dados transacionais, oferecendo uma solução totalmente gerenciada para disponibilizar dados transacionais do DynamoDB no OpenSearch Service poucos segundos depois de serem gravados. Os clientes simplesmente escolhem as tabelas do DynamoDB contendo os dados que desejam analisar com o OpenSearch Service, e a Integração ETL zero replica perfeitamente o esquema e os dados no OpenSearch Service usando pipelines do OpenSearch Ingestion. Os clientes podem replicar dados de várias tabelas do DynamoDB em um único domínio gerenciado do OpenSearch Service ou coleção sem servidor para obter insights holísticos em várias aplicações e, ao mesmo tempo, consolidar seus principais ativos de análise, obtendo economias significativas de custos e eficiências operacionais. 

Os clientes podem começar usando o Console de Gerenciamento da AWS para DynamoDB, o OpenSearch Service, a AWS CLI, o SDK da AWS ou o AWS CloudFormation. Para habilitarem uma integração, os clientes escolhem primeiro a tabela do DynamoDB cujos dados precisam ser replicados. Em seguida, os clientes escolhem Fluxos do DynamoDB para replicação quase em tempo real ou Exportações incrementais do DynamoDB para replicação atrasada como o mecanismo de CDC para manter os dados em sincronia entre os dois sistemas. 

Essa Integração ETL zero configura um pipeline do OpenSearch Ingestion na conta do cliente que se encarrega de replicar os dados em um cluster gerenciado do OpenSearch Service ou em uma coleção sem servidor. O OpenSearch Ingestion compreende a estrutura das tabelas do DynamoDB e cria um domínio gerenciado equivalente do OpenSearch Service ou uma coleção sem servidor e inicializa o destino com os dados existentes das tabelas do DynamoDB. Opcionalmente, os clientes podem especificar um esquema para os índices que serão criados no OpenSearch Service. 

Essa Integração ETL zero fornece um painel no qual você pode monitorar o estado de sua integração de ponta a ponta com métricas e logs em tempo real do Amazon CloudWatch. É possível configurar alertas em caso de violação dos limites definidos pelo usuário. Essa integração também monitora continuamente o estado das tabelas do DynamoDB e dos índices do OpenSearch Service e notifica imediatamente os usuários em caso de regressões com qualquer uma dessas entidades.

Para garantir que o OpenSearch Ingestion tenha as permissões necessárias para replicar dados em ambos os sistemas, a Integração ETL zero do DynamoDB com o OpenSearch Service cria um perfil do IAM com as permissões necessárias para ler dados das tabelas do DynamoDB e gravar em um domínio ou coleção do OpenSearch. Esse perfil é então assumido por pipelines do OpenSearch Ingestion para garantir que a postura de segurança correta seja sempre mantida ao mover os dados da origem para o destino.

A Integração ETL zero usa os recursos nativos de transformação de dados dos pipelines do OpenSearch Ingestion para agregar e filtrar os dados enquanto eles estão em movimento. Ao mover os dados de uma tabela do DynamoDB, os clientes podem querer eliminar alguns campos ou criar novos campos com base nas agregações entre os campos existentes. 

Opcionalmente, os clientes também podem escrever uma lógica personalizada para o OpenSearch Ingestion de forma a obter uma capacidade de transformação personalizada. Para outros usuários, que desejam apenas mover seus dados inteiros da origem para o coletor, a integração ETL zero fornecerá esquemas do OpenSearch Ingestion prontos para uso, para que eles possam realizar as integrações com apenas alguns cliques de botão.

A Integração ETL zero oferece aos clientes opções para especificar seu esquema de dados personalizado junto com mapeamentos de índice usados pelo OpenSearch Ingestion ao gravar dados do DynamoDB no OpenSearch Service. Essa experiência é adicionada ao console da interface do usuário no DynamoDB, para que os clientes tenham controle total sobre o formato dos índices criados no OpenSearch Service.

Não há custo adicional para usar a Integração ETL zero do DynamoDB com o OpenSearch Service além do custo dos componentes subjacentes existentes. A Integração ETL zero usa o Amazon OpenSearch Ingestion para ler dados em tabelas do DynamoDB e os replica no OpenSearch Service. O custo envolvido no uso da Integração ETL zero do DynamoDB com o OpenSearch Service é o custo das unidades de computação (OCUs) do OpenSearch necessárias para o OpenSearch Ingestion replicar os dados nos sistemas. Além disso, os clientes têm a opção de escolher fluxos do DynamoDB ou exportações incrementais como opção de CDC. Para exportações incrementais, há um custo associado à gravação de dados em buckets do S3. Para streams do DynamoDB, os clientes pagam as taxas padrão de uso de streams do DynamoDB.

A Integração ETL zero do DynamoDB com o OpenSearch Service permite a ingestão de dados entre contas. Os usuários poderão ler dados de tabelas do DynamoDB em uma conta e gravar em domínios do OpenSearch Service ou coleções sem servidor em outra conta. O OpenSearch Ingestion já permite a ingestão entre contas com outras origens das ele quais lê dados, como buckets do Amazon S3 e clusters do Amazon MSK, e permitirá o acesso entre contas às tabelas do Amazon DynamoDB usando os mesmos paradigmas do IAM.

A Integração ETL zero do DynamoDB com o Amazon OpenSearch Service está disponível em todas as regiões nas quais o OpenSearch Ingestion está disponível atualmente.