O blog da AWS
Crie dashboards no Microsoft Power BI utilizando o conector do Amazon Athena
Por Lesly Reyes, Telco Specialist Solutions Architect
O Amazon Athena permite que você execute consultas interativas sobre dados armazenados no Amazon S3 usando o padrão SQL. Uma das características da Athena é que você só paga pelas consultas que executa, pois não usa um servidor, então não é necessário implantar uma infraestrutura para visualizar seus dados.
Amazon Athena usa Presto com suporte ao SQL ANSI e suporta uma variedade de formatos de dados padrões, incluindo CSV, JSON, ORC, Avro e Parquet. O Athena fornece desempenho interativo mesmo em grandes conjuntos de dados porque executa consultas simultaneamente. O Amazon Athena usa o Amazon S3 como o data warehouse subjacente, de modo que seus dados têm altos níveis de disponibilidade, durabilidade e sem taxas adicionais de armazenamento.
Existem diferentes ferramentas de visualização para consultar seus dados armazenados em visualizações do Amazon Athena como Amazon QuickSight, Microsoft Power BI, Tableau, entre outros. O Amazon QuickSight é um serviço de inteligência de negócios (BI) nativo em nuvem que é fácil de usar em qualquer dispositivo, a qualquer momento. O QuickSight é usado para analisar dados visualmente e compartilhar dashboards interativos com todos os usuários da sua organização. O Amazon QuickSight permite que você combine diferentes fontes de dados para criar modelos de dados complexos. Amazon QuickSight é um serviço sem servidor e para dimensionar a exploração de dados para milhares de usuários usa seu armazenamento de memória chamado SPICE. O uso do Amazon QuickSight em conjunto com a Athena permite que você acelere sua implantação de dashboards personalizados sem se preocupar em fornecer ou gerenciar infraestruturas complexas.
O Microsoft Power BI permite que você analise seus dados de forma semelhante. Antes do lançamento do conector do Amazon Athena, era necessário baixar todos os dados localmente, gerando uma duplicação dos dados na nuvem e nos computadores dos usuários ou o download de dados parciais limitando os usuários em sua análise.
Com o conector do Amazon Athena, você pode criar análises no local sem gerar duplicatas ou perder dados devido à falta de capacidade no seu computador, pois você pode consultar diretamente as visualizações do Athena sem importar todos os seus dados.
Neste post, demonstramos como instalar e configurar o conector do Amazon Athena para consultar e visualizar dados no Microsoft Power BI.
Requisitos
Para começar a criar dashboards no Microsoft Powe BI, você precisa atender aos seguintes requisitos.
- Conta AWS
- Chave de acceso programática
- Permissões para usar a Amazônia Athena
- Conecte o Power BI com o driver ODBC do Amazon Athena
- Power BI Desktop
As seções a seguir demonstrarão como criar e instalar cada componente no ambiente do AWS Cloud.
Chave de acesso programática
Uma chave de acesso concede acesso programático aos seus recursos. O acesso programático é um tipo de acesso da interface da linha de comando AWS usada pelos desenvolvedores. É necessário configurar o driver Amazon Athena ODBC para ter uma chave de acesso programática, recomenda-se rodar as chaves em períodos de tempo para maior segurança. Além disso, como prática recomendada, use chaves temporárias (funções IAM) no lugar de chaves de acesso, para obter mais informações, consulte As melhores práticas para gerenciar chaves de acesso.
Para criar a chave de acesso, você deve fazer login no console IAM, na barra de navegação você deve selecionar Usuários e criar um novo usuário. Quando você criar o par de chaves de acesso Power_BI_User, salve o ID da chave de acesso(access key) e a chave de acesso secreta(secret key) em um lugar seguro. A chave de acesso secreta só está disponível no momento de sua criação. Se você perder sua chave de acesso secreta, você deve excluir a chave de acesso e criar uma nova.
Permissões para utilizar o Amazon Athena
Acessar os dados de visualização do Amazon Athena através do conector ODBC requer permissões de acesso do serviço Amazon Athena e dos arquivos S3 onde os dados são armazenados. Você deve garantir que o conjunto de permissões do usuário IAM Power_BI_User inclua todas as ações listadas na política gerenciada amazonquicksightAthenaAccess. Se faz uso desta política porque contém todas as permissões para usar uma ferramenta de business intelligence como Amazon QuickSight e Microsoft Power BI.
Conjunto de permissões de política gerenciadas
A política AWSQuicksightAthenaAccess é agrupada nos seguintes conjuntos de permissões.
- Athena: permite que o usuário execute consultas sobre os recursos do Athena.
- Glue: permite que o usuário acesse bancos de dados, tabelas e partições da AWS Glue. Isso é necessário antes que o usuário Power_BI_User possa usar o catálogo de dados do AWS Glue com o Athena.
- S3: permite que o usuário escreva e leia os resultados das consultas nos arquivos do Amazon S3.
Código de amostra de política IAM
Você pode incluir diretamente as permissões do usuário IAM Power_BI_User no console do IAM, como mostrado na imagem a seguir.
Sempre que você usar as políticas do IAM, certifique-se de seguir as melhores práticas de segurança do IAM no Guia do Usuário do IAM.
Os drivers JDBC e ODBC do Athena, suportam autenticação baseada em SAML 2.0. Os seguintes provedores de identidade estão incluídos neste método de autenticação: Active Directory Federation Service (ADFS), Azure Active Directory (AD), entre outros.
Conectar o Power BI com o conector ODBC do Amazon Athena
Deve ser baixado a licença do driver ODBC do Amazon Athena, o controlador ODBC e a documentação do ODBC. Para obter informações sobre a sequência de conexão ODBC, consulte o arquivo PDF do Guia de instalação e Configuração do Driver ODBC, que pode ser baixado a partir desta página.
Configurando o conector Magnitude Simba no Amazon Athena ODBC
O conector Simba Amazon Athena ODBC permite que as organizações conectem suas ferramentas de inteligência de negócios ao serviço de consulta do Amazon Athena. O conector recupera metadados do catálogo AthenaAPI. O conector está em conformidade com o padrão de dados ODBC 3.80, incluindo a funcionalidade de Unicode e o suporte de 32 bits e 64 bits para ambientes de computação de alto desempenho em todas as plataformas.
O ODBC é uma das APIs mais estabelecidas com maior suporte para conectar e trabalhar com bancos de dados. O conector Simba Amazon Athena ODBC está disponível para as plataformas Windows, Linux e macOS.
Depois de instalar o conector Simba Amazon Athena ODBC, você precisa criar o Nome de Origem de Dados. No Provedor de Origem de Dados ODBC, na seção controladores, você deve confirmar que o conector Simba Amazon Athena ODBC aparece na lista alfabética dos conectores ODBC instalados em seu sistema. Em seguida, você precisa pressionar a opção de criar. Para a criação do DSN é necessário preencher os seguintes dados no formulário de administrador Simba.
- Região AWS onde você deseja se conectar
- Localização do arquivo S3 onde você deseja salvar resultados de consulta
- Controlador ODBC Amazon Athena
- Opções de autenticação: com credenciais IAM
- Use a chave de acesso a AWS e o segredo neste formulário
Uma vez que o formulário seja concluído, a fonte de dados chamada Simba Athena será criada e será visível a partir da área de trabalho Power BI.
Criar a conexão do Athena no Poder BI
Para criar a conexão Amazon Athena, você deve fazê-lo a partir da área de trabalho do Power BI. Uma vez dentro do Power Bi, selecione obter dados (em inglês Get Data), em seguida, pesquise a fonte de dados do Amazon Athena e pressione o botão de conexão.
Na próxima janela você será solicitado a digitar o nome da sua fonte de dados, digite a caixa Simba Athena ou o nome que foi usado na etapa anterior para o seu DSN. Para o modo de conectividade de dados, escolha um modo apropriado para o seu caso de uso, seguindo estas diretrizes gerais:
- Para conjuntos de dados menores, opte por importar os dados. Ao usar este modo, o Power BI importa todo o conjunto de dados para o seu computador ou EC2.
- Para grandes conjuntos de dados, use o DirectQuery que executará consultas diretas aos dados armazenados na nuvem. Este modo não baixa os dados para sua estação de trabalho. O Microsoft Power BI trabalha com a Athena para consultar dinamicamente a fonte de dados subjacente para que você esteja sempre vendo os dados atuais.
Quando solicitado a configurar e autenticação da origem de dados, selecione as configurações de origem de dados ou a autenticação AAD e pressione conectar.
O catálogo de dados, como as visualizações do Amazon Athena e seus bancos de dados, estará disponível na janela de navegação do Microsoft Power BI.
Conclusão
Neste artigo vimos que o Amazon Athena é uma excelente opção para analisar e criar visualizações de dados na nuvem. O Amazon Athena se adapta às ferramentas de visualização de dados que seu usuário usa e às características de seus dados, fornece uma conexão direta com o Amazon QuickSight e fornece um driver ODBC especializado para consulta ou importação de dados no Microsoft Power BI. Neste artigo vimos passo a passo como configurar e usar o conector do Amazon Athena com a ferramenta de inteligência de negócios Power BI. Se você quiser otimizar suas consultas com a Athena ou se aprofundar em técnicas para explorar seus dados, este artigo fornece uma série de dicas de otimização, e você pode continuar aprendendo consultando blogs AWS.
Você pode experimentar o Amazon Athena nas regiões EUA-Leste (Virgínia do Norte) e EUA-Oeste 2 (Oregon). Para obter mais informações, consulte a página de produtos Amazon Athena ou o Guia do Usuário da Amazônia.
Sobre a autora
Lesly Reyes é um Arquiteta de Soluções em Serviços Web da Amazon para a vertical de telecomunicações com vasta experiência em IA/ML.