O que é NeRF?
Um Neural Radiance Field (NeRF – Campo de radiância neural) é uma rede neural que pode reconstruir cenas tridimensionais complexas a partir de um conjunto parcial de imagens bidimensionais. Imagens tridimensionais são necessárias em várias simulações, jogos, mídia e aplicações de Internet das Coisas (IoT) para tornar as interações digitais mais realistas e precisas. O NeRF aprende a geometria da cena, os objetos e os ângulos de uma cena específica. Em seguida, ele renderiza vistas 3D fotorrealistas a partir de novos pontos de vista, gerando automaticamente dados sintéticos para preencher lacunas.
Quais são os casos de uso dos campos de radiação neural?
Os NeRFs podem renderizar cenas complexas e gerar imagens para vários casos de uso.
Computação gráfica e animação
Em computação gráfica, você pode usar o NeRFs para criar efeitos visuais, simulações e cenas realistas. Os NeRFs capturam, renderizam e projetam ambientes, personagens e outras imagens realistas. Os NeRFs são comumente usados para melhorar os gráficos de videogame e a animação de filmes VX.
Diagnóstico por imagem
Os NeRFs facilitam a criação de estruturas anatômicas abrangentes a partir de exames 2D, como ressonâncias magnéticas. Sua tecnologia pode reconstruir representações realistas de tecidos e órgãos corporais, fornecendo aos médicos e técnicos médicos um contexto visual útil.
Realidade virtual
Os NeRFs são uma tecnologia vital em simulações de realidade virtual e realidade aumentada. Como eles podem modelar cenas 3D com precisão, eles facilitam a criação e a exploração de ambientes virtuais realistas. Dependendo da direção de visualização, o NeRF pode exibir novas informações visuais e até mesmo renderizar objetos virtuais em um espaço real.
Planejamento e imagens de satélite
As imagens de satélite fornecem uma variedade de imagens que os NeRFs podem usar para produzir modelos abrangentes da superfície da Terra. É útil para casos de uso de captura de realidade (RC) que exigem a digitalização de ambientes reais — você pode transformar dados de localização espacial em modelos 3D altamente detalhados. Por exemplo, a reconstrução de imagens aéreas em renderizações de paisagens é comumente usada no planejamento urbano porque fornece uma referência útil para o layout real de uma área.
A imagem a seguir mostra um exemplo de um modelo de construção 3D.
Como funcionam os campos de radiação neural?
Imagens 3D renderizadas por computador, criadas por meio de várias técnicas gráficas digitais, possuem várias propriedades distintas que definem sua qualidade e realismo. Por exemplo:
- Aspectos geométricos, como posicionamento, orientação e escala de modelos 3D na cena
- Aspectos de iluminação, como sombras, brilho, cor e reflexos
- Transparência e translucidez que mostram como a luz passa por materiais como vidro ou neblina
- Volume e densidade, como a densidade de fumaça ou nuvens
- Texturas simulando materiais como tecido, madeira ou metal
A escolha das cores e sua distribuição também desempenham um papel fundamental no impacto visual da imagem. O sombreamento determina como as diferentes áreas de superfície são iluminadas, criando uma sensação de profundidade e forma.
Os NeRFs combinam técnicas de computação gráfica com arquitetura de rede neural para lidar com todos os aspectos anteriores.
A imagem a seguir é um exemplo de uma imagem 3D renderizada por computador.
Arquitetura de campos de radiância neural
Os NeRFs usam um aspecto neural chamado perceptron multicamada (MLP), uma arquitetura de rede neural totalmente conectada, para criar uma representação de uma cena 3D. Um MLP é um modelo de base em redes neurais e aprendizado profundo. Ele é treinado para mapear coordenadas espaciais e direções de visualização para valores de cor e densidade. Um MLP usa uma série de estruturas matemáticas que organizam entradas, como uma posição no espaço 3D ou uma direção de visualização 2D, para determinar os valores de cor e densidade em cada ponto em uma imagem 3D.
A rede também aprende como alterar o brilho e a cor dos raios de luz na cena. Ao desenvolver uma compreensão desses raios, conhecida como modelagem de radiância, ele pode exibir diferentes cores e densidades de diferentes perspectivas.
Leia sobre aprendizado profundo
Tipos de campos de radiância neural
As primeiras versões dos NeRFs eram difíceis de otimizar e lentas, e precisavam de informações de fotos para combinar com a iluminação usando os mesmos raios de câmera. Desde então, várias variações melhoraram a tecnologia inicial.
PixelNeRF
Uma das primeiras novas formas de NeRF foi o PixelNeRF (CPVR 2021). Essa implantação introduz uma arquitetura totalmente convolucional que pode ser condicionada a entradas de imagem única. Essa abordagem elimina a necessidade de muitas visualizações calibradas e organizadas e reduz o total de recursos computacionais necessários. Essa nova abordagem simplificou o processo de criação e otimização de NeRFs.
Mega-NeRD
O Mega-NeRD (CVPR 2022) é outra estrutura NeRF que é especialmente útil ao trabalhar com cenas de grande escala. Ele oferece um algoritmo alternativo de agrupamento geométrico e uma estrutura de rede esparsa que permite processar imagens com diversas condições de iluminação. Esse NeRF otimizado usa uma grade de radiância neural esparsa (SNeRG) para capturar e renderizar ambientes do mundo real de forma eficaz.
NSVF
O Neural Sparse Voxel Fields (NSVF) é um NeRF que pode pular qualquer pixel vazio durante sua fase de renderização, o que aumenta a velocidade de renderização. Essa técnica aprende estruturas de pixels em células de rede, permitindo criar imagens de alta qualidade sem precisar de pontos de vista específicos.
Plenoptic Voxel
Em vez de usar a rede neural perceptron multicamada, a inovação Plenoptic Voxel (2021) usa uma grade 3D esparsa. Com essa grade, você pode aumentar a velocidade de renderização de novas simulações e, ao mesmo tempo, manter a fidelidade visual por meio da interpolação de voxel.
Como os campos de radiação neural renderizam imagens?
Renderização neural é o termo para o processo de criação de imagens pelo NeRF. Os NeRFs usam várias técnicas para transformar dados brutos em representações 3D detalhadas.
Renderização gráfica
As técnicas de renderização do campo da computação gráfica permitem que os modelos NeRF projetem e manipulem cenas geometricamente. Por exemplo:
- A transmissão de raios simula a perspectiva do usuário para calcular a visibilidade dos objetos
- O traçado de raios amplia esse conceito simulando o comportamento físico da luz, incluindo reflexão, refração e sombras
- A rasterização converte informações vetoriais 3D em pixels em uma tela 2D, empregando vários algoritmos para simular efeitos de iluminação e textura de forma eficiente
Renderização de volume
A renderização de volume é outra estratégia essencial. Um algoritmo determina os valores de vermelho, verde, azul e alfa (densidade de volume) para cada pixel em um espaço ou imagem 3D. Essas figuras são mapeadas para suas posições correspondentes em uma imagem 2D.
Outra técnica é a síntese de visualizações, que opera inversamente à renderização de volume. Essa técnica constrói uma visão 3D a partir de uma série de imagens 2D. A síntese de visualizações cria um layout hemisférico que representa o objeto usando uma variedade de imagens tiradas de diferentes ângulos. Esse processo ajusta cada imagem 2D em sua respectiva posição ao redor de um objeto, reconstruindo-a em 3D.
Como a AWS pode apoiar seus requisitos de campo de radiância neural?
A Amazon Web Services (AWS) oferece dois serviços para atender aos seus requisitos de NeRF.
O AWS RoboMaker é um serviço de simulação baseado em nuvem que você pode usar para executar, escalar e automatizar a simulação sem gerenciar nenhuma infraestrutura. O AWS RoboMaker torna a construção de ambientes de simulação mais rápida e acessível ao fornecer mundos de simulação e vários ativos 3D. Você pode usar esses ativos de simulação para criar ambientes de simulação que correspondam ao nível de fidelidade exigido. Com o AWS RoboMaker WorldForge, você pode gerar centenas de mundos de simulação residencial interna 3D variados e definidos pelo usuário em minutos.
O AWS IoT TwinMaker é um serviço que cria gêmeos digitais de sistemas reais, como prédios, fábricas, equipamentos industriais e linhas de produção. Ele fornece a capacidade de usar dados existentes de várias fontes, criar representações virtuais de qualquer ambiente físico e combinar modelos 3D existentes com dados do mundo real. Com o AWS IoT TwinMaker, você pode aproveitar gêmeos digitais para criar uma visão holística de suas operações com mais rapidez e menos esforço.
Comece a usar campos de radiação neural na AWS criando uma conta hoje mesmo.
Próximas etapas na AWS
Obtenha acesso instantâneo ao nível gratuito da AWS.
