O blog da AWS

Category: AWS Big Data

Torne seus dados anônimos usando uma máquina de estado

Por Lesly Reyes, Telco Solutions Architect e Maddyzeth Ariza, Data Architect   No desenvolvimento de software os clientes acostumam procurar terceiros para a implantação ou desenvolvimento de novas características de seus produtos, como um parceiro de desenvolvimento na nuvem ou serviços profissionais. No desenvolvimento de software é necessário provar a característica que está sendo desenvolvida […]

Transformando o TR-069 bulk data em insights com o AWS IoT Core e os serviços de análise na AWS

Por Murat Balkan, Specialist Solutions Architect Introdução Os provedores de serviços de comunicação (CSPs) geralmente gerenciam milhões de dispositivos (CPEs) de seus clientes para fornecer diversos serviços. Existem diversos tipos de dispositivos, dependendo das tecnologias de comunicação utilizadas. Modems via cabo e xDSL, decodificadores e roteadores sem fio são alguns exemplos de tipos de equipamentos […]

AWS serverless data analytics – arquitetura de referência

Por Praful Kava, Sr. Specialist Solutions Architect na AWS e Changbin Gong é Senior Solutions Architect na AWS   O onboarding de novos dados ou a construção de novos pipelines de analytics em arquiteturas de análise tradicionais normalmente requer uma coordenação extensiva entre as equipes de negócios, engenharia de dados e ciência de dados e […]

Crie cópias de backup dos recursos do Data Lake dos provedores de telecomunicações

Por Lesly Reyes, Telco Solutions Architect e Maddyzeth Ariza, Data Architect Os data lakes oferecem a capacidade de carregar e consultar dados de forma natural. Atualmente, eles permitem que as organizações acelerem sua estratégia de dados. O principal desafio para gerenciar o data lake se deve ao armazenamento de dados brutos ou não supervisionados do […]

Crie dashboards no Microsoft Power BI utilizando o conector do Amazon Athena

Por Lesly Reyes, Telco Specialist Solutions Architect     O Amazon Athena permite que você execute consultas interativas sobre dados armazenados no Amazon S3 usando o padrão SQL. Uma das características da Athena é que você só paga pelas consultas que executa, pois não usa um servidor, então não é necessário implantar uma infraestrutura para […]

Apresentando Amazon Managed Workflows para Apache Airflow (MWAA)

Por Danilo Poccia, Chief Evangelist AWS Londres   À medida que o volume e a complexidade dos pipelines de processamento de dados aumentam, é possível simplificar o processo geral decompondo-o em uma série de tarefas menores e coordenar a execução dessas tarefas como parte de um workflow. Para isso, muitos desenvolvedores e engenheiros de dados […]

Migrando para um serviço totalmente gerenciado: Amazon Elasticsearch Service

Por Kevin Fallis, Arquiteto Especialista em Pesquisa de Soluções na AWS   Antes de ingressar na AWS, liderei uma equipe de desenvolvimento que criou soluções de Mobile Advertising com o Elasticsearch. O Elasticsearch é um mecanismo popular de pesquisa e análise de código aberto para análises de log, monitoramento de aplicativos em tempo real, análise […]

Como o Verizon Media Group migrou do Apache Hadoop e do Spark on-premisses para o Amazon EMR

Esta é uma postagem de convidados do Verizon Media Group   No Verizon Media Group (VMG), um dos principais problemas que enfrentamos era a incapacidade de dimensionar a capacidade de computação em um período de tempo necessário — as aquisições de hardware demoravam meses para serem concluídas. A escalabilidade e o upgrade do hardware para […]

Usando Python shell e Pandas no AWS Glue para processar datasets pequenos e médios

Angelo Carvalho is a Big Data Solutions Architect for Amazon Web Services   O AWS Glue é um serviço de ETL totalmente gerenciado. Entre muitos recursos, ele oferece um ambiente de execução serverless para executar seus trabalhos de ETL. Muitos clientes da AWS estão usando o ambiente Spark do AWS Glue para executar tais tarefas, […]

#AWS Summit Insights – Movile – Building Mobile Apps @ Scale

A Movile, primeira pontocom do país de projeção internacional, trabalha com serviços móveis e de entretenimento, e registra em seus sistemas mais de 70 milhões de atividades de usuários por mês. Mas não foi sempre assim, como explicou no Keynote de abertura do AWS Summit São Paulo o diretor de TI da Movile, Igor Ribeiro. “Nosso crescimento […]