O que é big data?
Big data pode ser descrito em termos de desafios de gerenciamento de dados que – devido aos crescentes volume, velocidade e variedade dos dados – não podem ser resolvidos com bancos de dados tradicionais. Embora haja várias definições para big data, a maioria delas inclui o conceito comumente conhecido como "três Vs" de big data:
Volume: varia de terabytes a petabytes de dados
Variedade: inclui dados de uma ampla variedade de origens e formatos (por exemplo, logs da web, interações de mídia social, comércio eletrônico e transações online, transações bancárias, etc.)
Velocidade: cada vez mais, os negócios enfrentam requisitos rígidos do momento em que os dados são gerados até o momento em que as descobertas práticas são entregues aos usuários. Portanto, os dados precisam ser coletados, armazenados, processados e analisados em curtos períodos de tempo, variando de diariamente até em tempo real
Por que você pode precisar de big data?
Apesar de toda a animação, muitas organizações não percebem que têm um problema de big data ou, simplesmente, não pensam nele em termos de big data. Em geral, é provável que uma organização se beneficie das tecnologias de big data quando os bancos de dados e aplicativos existentes não podem mais se expandir para oferecer suporte a aumentos repentinos no volume, na variedade e na velocidade dos dados.
A falha em tratar corretamente dos desafios de big data pode resultar na escalada de custos, além da redução de produtividade e competitividade. Por outro lado, uma estratégia sólida de big data pode ajudar as organizações a reduzir custos e ganhar eficiência operacional com a migração de cargas de trabalho pesadas existentes para tecnologias de big data; além de implantar novos aplicativos para aproveitas novas oportunidades.
Como o big data funciona?
Com novas ferramentas que tratam de todo o ciclo de gerenciamento de dados, as tecnologias de big data o tornam viável tanto técnica quanto economicamente, não só coletar e armazenar conjuntos de dados maiores, mas também analisá-los de maneira a fazer novas e valiosas descobertas. Na maioria dos casos, o processamento de big data envolve um fluxo de dados comum, da coleta de dados brutos ao consumo de informações práticas.
Coletar. A coleta de dados brutos (transações, logs, dispositivos móveis e muito mais) é o primeiro desafio que muitas organizações enfrentam quando tratam com big data. Uma boa plataforma de big data torna esta etapa mais fácil, permitindo aos desenvolvedores ingerir uma ampla variedade de dados – estruturados ou não estruturados – a qualquer velocidade – deste em tempo real até em lote.
Armazenamento. Qualquer plataforma de big data precisa de um repositório seguro, escalável e durável para armazenar dados antes ou, até mesmo, depois de processar tarefas. Dependendo dos seus requisitos específicos, você também pode precisar de armazenamentos temporários para dados em trânsito.
Processar e analisar. Esta é etapa em que os dados são transformados do estado bruto para um formato consumível, normalmente por meio da classificação, do agregamento, da união e, até mesmo, da execução de funções e algoritmos avançados. Os conjuntos de dados resultantes são então armazenados para processamento posterior ou disponibilizados para consumo através de inteligência de negócio e ferramentas de visualização de dados.
Consumir e visualizar. O objetivo do big data é obter descobertas práticas e de alto valor com base nos seus ativos de dados. Idealmente, os dados são disponibilizados para as partes envolvidas através de inteligência de negócio de autoatendimento e ferramentas ágeis de visualização de dados que permitem a exploração rápida e fácil de conjuntos de dados. Dependendo do tipo de análise, os usuários finais também podem consumir os dados resultantes na forma de "previsões" estatísticas, no caso de análise preditiva, ou ações recomendadas, no caso de análise prescritiva.
A evolução das procissões de big data
O ecossistema de big data continua a evoluir a um ritmo impressionante. Hoje, um conjunto variado de estilos de análise oferece suporte para várias funções dentro da organização.
Análises descritivas ajudam os usuários a responder à pergunta: “O que aconteceu e por quê?”. Os exemplos incluem ambientes tradicionais de consulta e relatório com scorecards e painéis.
Análises preditivas ajudam os usuários a estimar a probabilidade de um determinado evento no atributo. Os exemplos incluem sistemas de alerta precoce, detecção de fraude, aplicativos de manutenção preventiva e previsão.
Análises prescritivas oferecem recomendações (prescrições) específicas para o usuário. Ela trata da pergunta: "O que devo fazer se 'x' acontecer?".
Originalmente, as estruturas de big data como Hadoop suportavam apenas cargas de trabalho em lote, onde grandes conjuntos de dados eram processados em volume durante uma janela de tempo específica, normalmente medida em horas, se não em dias. No entanto, conforme o tempo até o insight tornou-se mais importante, a "velocidade" do big data impulsionou a evolução de novas frameworks, como o Apache Spark, Apache Kafka, Amazon Kinesis e outros, para dar suporte ao processamento de dados em tempo real e em transmissão.
Como a AWS pode oferecer suporte aos seus requisitos de big data?
A Amazon Web Services oferece um portfólio amplo e totalmente integrado de serviços de computação em nuvem para ajudar você a criar, proteger e implantar suas aplicações de big data. Com a AWS, não há necessidade de comprar hardware nem de manter e alterar a escala da infraestrutura, o que permite concentrar os seus recursos na descoberta de novas percepções. Com novas capacidades e recursos adicionados constantemente, você sempre será capaz de aproveitar as mais recentes tecnologias sem estabelecer compromissos de investimento de longa duração.
Saiba mais sobre a plataforma e as ferramentas de big data da AWS »
Disponibilidade imediata
A maioria das tecnologias de big data exige grandes clusters de servidores que resultam em longos ciclos de provisionamento e configuração. Com a AWS você pode implantar a infraestrutura que você precisa praticamente de imediato. Isso significa que as suas equipes podem ser mais produtivas, fica mais fácil testar novidades e os projetos podem ser implantados mais cedo.
Capacidades amplas e profundas
As cargas de trabalho de big data são tão variadas quanto os ativos de dados que pretendem analisar. Uma plataforma ampla e profunda significa que você pode criar virtualmente qualquer aplicativo de big data e suportar qualquer carga de trabalho, independentemente do volume, velocidade e variedade de dados. Com mais de 50 serviços e centenas de recursos adicionados a cada ano, a AWS oferece tudo o que é necessário para coletar, armazenar, processar, analisar e visualizar big data na nuvem. Saiba mais sobre a plataforma de big data da AWS.
Confiável e segura
Big data são dados importantes. Portanto, proteger ativos de dados e infraestrutura sem perder a agilidade é fundamental. A AWS oferece recursos para cumprir os mais rigorosos requisitos de instalações, rede, software e processos empresariais. Os ambientes são auditados continuamente quanto às certificações, como ISO 27001, FedRAMP, DoD SRG e PCI DSS. Os programas de garantia ajudam você a comprovar a conformidade com mais de 20 normas, inclusive da HIPAA, do NCSC, entre outras. Acesse o Centro de segurança na nuvem para obter mais informações.
Centenas de parceiros e soluções
Um amplo ecossistema de parceiros pode ajudar você a fechar a lacuna entre habilidades e começar a usar big data ainda mais rapidamente. Acesse a Rede de Parceiros da AWS para obter ajuda de um parceiro de consultoria ou escolher entre as várias ferramentas e aplicações em toda a pilha de gerenciamento de dados.
Soluções de big data na AWS
Conte com nossa ajuda para resolver seus desafios de big data. Deixe o trabalho pesado para nós, assim você pode concentrar mais tempo e recursos nas metas do seu negócio e da sua organização.
Saiba mais sobre as soluções de big data da AWS »
Comece a usar análises de big data na AWS criando uma conta hoje mesmo.
Próximas etapas na AWS
Obtenha acesso instantâneo ao nível gratuito da AWS.
