Dune desenvolve na AWS para ampliar o impacto dos dados de blockchain

Startups são geralmente fundadas por indivíduos destemidos que enfrentam um problema e que, em vez de serem dissuadidos, decidem resolvê-lo para si mesmos e para todos os outros.

Dune, uma empresa  unicórnio de análises web3 fundada em 2018, é uma dessas startups. Enquanto construíam protótipos de Ethereum na blockchain, os cofundadores Fredrik Haga e Mats Olsen reconheceram que fontes díspares de dados criptográficos eram um enorme impedimento para o desenvolvimento web3. Mats, que também é diretor de tecnologia (CTO) da Dune, explica: “Durante a construção, um dos nossos maiores problemas foi recuperar informações estruturadas da blockchain. É um banco de dados otimizado para escrita, mas não para leitura”.

A Dune está provando que é possível simplificar a consolidação e a análise de dados de blockchain. A empresa se baseia na Amazon Web Services (AWS) para fornecer uma plataforma Web que permite às pessoas consultar dados públicos de blockchain e agregá-los em painéis compartilháveis. Os usuários podem obter dados de cadeias cruzadas (dados de blockchains separados) para vários tokens, carteiras e protocolos e criar um painel que torna esses dados mais transparentes e práticos.

No início, a Dune se concentrava em reunir dados criptográficos e torná-los facilmente disponíveis e acessíveis para outros desenvolvedores web3. Como explica Mats, “as startups do setor precisavam duplicar muitas horas de trabalho e engenharia apenas para fazer perguntas como: ‘quantos usuários eu tenho?’”. Quando a Dune entrou no mercado com um produto que tornou os dados criptográficos mais fáceis de entender e usar, eles começaram a adicionar elementos de visualização e geração de painéis à sua plataforma para tornar os dados ainda mais práticos.

“Na área de criptografia, muitas pessoas dizem que dados estão disponíveis e você pode simplesmente consultá-los. É verdade que dados estão disponíveis, mas a Dune torna ainda mais prático usá-los”, diz Mats. “Tenho orgulho da transparência e da acessibilidade que trouxemos para esse espaço”.

Hoje, a Dune é conhecida por seus painéis criados por membros da comunidade que são compartilhados de forma viral em mídias sociais, sites de notícias criptográficas e na  própria Dune. “Um dos aspectos mais interessantes do espaço criptográfico é seu aspecto viral”, diz Mats. “Há uma chamada explosão de partes interessadas acontecendo, em que os dados públicos de uso de blockchain são valiosos para os proprietários do produto, mas também para seus investidores, concorrentes e reguladores. É um fenômeno interessante”.

Criação e ajuste de escala por meio da migração para a AWS

À medida que a base de usuários da Dune se expandia e suas necessidades técnicas cresciam, Mats e sua equipe decidiram que era hora de migrar de sua configuração multinuvem para um provedor de nuvem multifuncional. A Dune optou por apostar tudo na AWS.

Um dos principais motivos da migração da Dune foi hospedar workloads em um único local com serviços que pudessem atender às suas necessidades presentes e futuras. Mats explica: “O fato de a AWS ter uma variedade tão ampla de ofertas foi muito importante para nós. A AWS presta serviços muito bem, como o Amazon DynamoDB, por exemplo. Não o usamos muito agora, mas está em nossos planos futuros.”

Além de oferecer mais de 200 serviços completos, mais do que qualquer outro provedor de nuvem, a AWS é a nuvem mais amplamente adotada. Como a maioria das startups, a Dune quer que seus engenheiros possam inovar e construir o mais rápido possível.

“A AWS é muito conhecida e prolífica no cenário de engenharia. É fácil porque a maioria dos nossos engenheiros já a usou antes. Não há tempo de aceleração e isso é muito útil”, diz Mats.

A Dune aproveitou o Programa de Aceleração da Migração (MAP) da AWS e o AWS Activate para migrar para a AWS. Os créditos ajudaram a Dune a migrar para a AWS sem custos nos primeiros três meses.

Hoje, a pilha de tecnologias da Dune inclui o Amazon Simple Storage Service (Amazon S3) (um armazenamento de objetos que permite que qualquer quantidade de dados seja recuperada de qualquer lugar) para hospedar as imensas quantidades de dados que contribuem para seus painéis. Para processar esses dados, a Dune usa o Apache Spark e depois consulta os dados com o Trino. Eles também executam muitos clusters Kubernetes, e é por isso que a maioria das aplicações da Dune usa o Amazon Elastic Kubernetes Service (Amazon EKS). Para implementar uma prática segura e escalável de gerenciamento de identidade e acesso dos clientes, a Dune usa o Amazon Cognito.

Ao desenvolver a AWS, a Dune recebe suporte da equipe do AWS Startups para tudo, desde infraestrutura e otimização até entrada no mercado e rede. “Sempre ficamos muito satisfeitos com a ajuda que recebemos da AWS", diz Mats. "É bom saber que o suporte sempre disponível para nós, seja com os arquitetos de soluções ou oportunidades comerciais”.

Mais foco no produto e menos nos gastos

A Dune gira em torno de dados, inclusive no que se refere aos custos da nuvem: “O mais importante para nós é entender onde gastamos dinheiro e quanto valor isso agrega aos nossos clientes”, diz Mats.

Para reduzir os custos da nuvem e aproveitar ao máximo seus gastos, a Dune trabalhou com sua equipe de contas para escolher as opções mais adequadas financeiramente às suas necessidades técnicas. Isso inclui processadores  AWS Graviton  e o Karpenter, um autoescalador de clusters Kubernetes de código aberto.

Além disso, a Dune conseguiu economizar 26% em suas instâncias reservadas do Amazon EC2 (em comparação com o uso sob demanda). Eles conseguiram isso automatizando a compra dessas instâncias com o Zesty e usando o Savings Plans, um modelo de preços flexível para o uso da computação da AWS. Mats também observa que “as instâncias Spot também têm sido uma grande parte da nossa estratégia para reduzir os custos da nuvem porque ajudam no alto uso do Kubernetes”.

O AWS Activate (um programa que oferece às startups ferramentas, recursos gratuitos e muito mais) também é fundamental para a capacidade da Dune de se concentrar menos nos gastos e mais no produto. “Os créditos contribuíram incrivelmente para nos preocuparmos menos com a otimização das nossas workloads na nuvem”, diz Mats. Com os créditos recebidos do AWS Activate, a Dune conseguiu oferecer aos seus clientes um produto melhor e expandir a inovação.

“O mais importante que os créditos nos permitiram fazer foi nos concentrarmos na adequação do produto ao mercado e em melhorar nossos produtos para atender às necessidades dos usuários, em vez de nos preocuparmos com o gerenciamento de gastos”, explica Mats. “Os créditos reduziram a barreira que nos impedia de experimentar novos produtos, já que não tínhamos uma fatura imediata pelo uso deles, por assim dizer”.

Lições para fundar uma startup de sucesso

Como a Dune demonstrou com o uso dos créditos do AWS Activate, criar produtos que resolvem um problema para o cliente é a regra número um. Mat explica: “A única coisa que importa são os seus usuários. Se você não tiver nenhum, encontre-os”. A melhor maneira de fazer isso é detectar um problema e resolvê-lo para si mesmo, bem como para as pessoas desse espaço. Ele aconselha que ouvir os clientes é igualmente importante, assim como equilibrar o feedback deles com a visão de longo prazo que você tem do produto.

Fundar uma startup de sucesso não é um processo fácil. “A maioria das startups não dá certo porque as pessoas desistem”, adverte Mats. “Você precisa continuar no jogo se quer vencer”. Ele conta que, nos primeiros dias, os membros da equipe da Dune trabalharam por quase um ano sem ganhar salário, tinham apenas três clientes e, a certa altura, era uma questão de semanas para a empresa fechar suas portas. No entanto, eles não desistiram, e surgiu um investimento que permitiu à Dune continuar construindo e crescendo.

Unidos para criar o futuro da web3

Os primeiros cinco anos da Dune foram uma época empolgante. Além de apoiar as necessidades de dados durante duas grandes ondas de consumidores na área de criptomoedas, DeFi (finanças descentralizadas) e NFTs (tokens não fungíveis), a Dune passou simultaneamente de uma idealização para um unicórnio em apenas três anos. Agora, diz Mats, chegou a hora de a tecnologia ser “mais importante do que nunca” na contribuição para a inovação da web3, moedas e a maneira como as pessoas armazenam valor.

A Dune planeja estar à altura da ocasião. Com mais de 40 funcionários, eles têm a capacidade de incorporar novos atributos para tornar os dados criptográficos ainda mais acessíveis aos usuários. “A capacidade de escalar a computação no nosso back-end para atender às necessidades dos nossos usuários é importante”, diz Mats. “Estamos investindo muito para fazer com que o ajuste automático da escala proporcione uma experiência ainda melhor para os clientes”.

O que mais o futuro reserva? “O que mais me entusiasma é a IA generativa”, compartilha Mats. “Em junho, comecei a liderar uma iniciativa para experimentar como grandes modelos de linguagem podem permitir que os usuários interajam com nosso banco de dados sem usar SQL”. A capacidade de gerar consultas SQL a partir de texto em linguagem natural, conhecida como “Text-to-SQL”, reduzirá a barreira de entrada da Dune: isso permitirá que usuários que não sabem escrever e executar SQL interajam com seus bancos de dados.

A IA generativa é uma nova alavanca que pode ajudar a democratizar a web3, permitindo que mais pessoas do que nunca agreguem e visualizem dados entre cadeias. “Quando estamos preparados para experimentar modelos de grandes linguagens de código aberto, hospedá-los e ajustá-los na AWS faz muito mais sentido para nós”, diz Mats.

Seja otimizando sua pilha de tecnologias com a ajuda da AWS, criando novos produtos ou inovando com avanços tecnológicos, Mats sabe que a equipe da Dune está preparada para aproveitar todas as oportunidades que o futuro trará.

“O que nos diferencia de muitas outras empresas é a nossa capacidade de usar a tecnologia e modificá-la de acordo com as nossas necessidades. Não temos medo de usar ferramentas de código aberto e estamos felizes em nos aprofundar no assunto. Tudo isso resulta em uma experiência melhor para os usuários”, diz Mats.