¿Qué es NeRF?
Un campo de resplandor neuronal (NeRF) es una red neuronal que puede reconstruir escenas tridimensionales complejas a partir de un conjunto parcial de imágenes bidimensionales. Se requieren imágenes tridimensionales en diversas aplicaciones de simulaciones, juegos, medios e internet de las cosas (IoT) para que las interacciones digitales sean más realistas y precisas. El NeRF aprende la geometría de la escena, los objetos y los ángulos de una escena en particular. A continuación, representa vistas 3D fotorrealistas desde puntos de vista novedosos y genera automáticamente datos sintéticos para rellenar los vacíos.
¿Cuáles son los casos de uso de los campos de radiación neuronal?
Los NeRFs pueden representar escenas complejas y generar imágenes para diversos casos de uso.
Gráficos por computadora y animación
En gráficos por computadora, utilice los NeRFs para crear efectos visuales, simulaciones y escenas realistas. Los NeRFs capturan, reproducen y proyectan entornos, personajes, y otras imágenes realistas. Generalmente, los NeRFs se utilizan para mejorar los gráficos de los videojuegos y la animación de películas VX.
Imágenes médicas
Los NeRFs facilitan la creación de estructuras anatómicas completas a partir de escaneos 2D, como las resonancias magnéticas. Su tecnología puede reconstruir representaciones realistas de tejidos y órganos corporales, de manera que los médicos y técnicos de la salud tengan un contexto visual útil.
Realidad virtual
Los NeRFs son una tecnología importante en las simulaciones de realidad virtual y de realidad aumentada. Pueden modelar escenas 3D con precisión, por lo que facilitan la creación y la exploración de entornos virtuales realistas. En función de la dirección de visualización, el NeRF puede mostrar información visual nueva e incluso presentar objetos virtuales en un espacio real.
Imágenes satelitales y planificación
Las imágenes satelitales proporcionan una variedad de imágenes que los NeRFs pueden utilizar para producir modelos completos de la superficie terrestre. Es útil para casos de captura de la realidad (RC) que requieren la digitalización de entornos del mundo real, ya que puede transformar los datos de ubicación espacial en modelos 3D muy detallados. Por ejemplo, la reconstrucción de imágenes aéreas en renderizaciones de paisajes se utiliza habitualmente en la planificación urbana porque proporciona una referencia útil para el diseño de un área en el mundo real.
La siguiente imagen muestra un ejemplo de un modelo de construcción 3D.
¿Cómo funcionan los campos de radiación neuronal?
Las imágenes 3D reproducidas en una computadora, creadas mediante diversas técnicas de gráficos digitales, poseen propiedades distintas que definen su calidad y realismo. Por ejemplo:
- Los aspectos geométricos, como el posicionamiento, la orientación y la escala de los modelos 3D en la escena
- Los aspectos de iluminación, como sombras, brillo, color y reflejos
- La transparencia y translucidez que muestran cómo pasa la luz a través de materiales como el vidrio o la niebla
- El volumen y la densidad del humo o de las nubes
- Las texturas que simulan materiales, por ejemplo, la tela, madera o metal
Asimismo, la elección de los colores y su distribución juegan un papel importante en el impacto visual de la imagen. El sombreado determina cómo se iluminan las diferentes áreas de superficie, ya que crea una sensación de profundidad y forma.
Los NeRFs combinan las técnicas de gráficos por computadora con la arquitectura de red neuronal para manejar todos los aspectos anteriores.
A continuación, se presenta un ejemplo de una imagen 3D renderizada en una computadora.
Arquitectura de campos de radiación neuronal
Los NeRFs utilizan un aspecto neuronal llamado perceptrón multicapa (MLP), que es una arquitectura de red neuronal completamente conectada, para crear una representación de una escena 3D. Un MLP es un modelo primordial en las redes neuronales y en el aprendizaje profundo. El modelo mapea coordenadas espaciales y direcciones de visualización con valores de color y densidad. Un MLP utiliza una serie de estructuras matemáticas que organizan las entradas, como una posición en el espacio 3D o una dirección de visualización en 2D, para determinar los valores de color y densidad en cada punto de una imagen 3D.
La red también aprende cómo alterar el brillo y el color de los rayos de luz en la escena. Al desarrollar una comprensión de estos rayos, el modelado de resplandor puede mostrar diferentes colores y densidades desde diferentes perspectivas.
Obtenga más información sobre el aprendizaje profundo
Tipos de campos de radiación neuronal
Las primeras versiones de los NeRFs eran lentas y difíciles de optimizar, y necesitaban la información de las fotos para igualar la iluminación con los mismos rayos de una cámara. Desde entonces, las variaciones implementadas han mejorado la tecnología inicial.
PixelNeRF
El PixelNeRF fue una de las primeras formas del NeRF (CPVR 2021). Este despliegue introduce una arquitectura totalmente convolucional que puede condicionarse a entradas de una sola imagen. Con este enfoque no se necesitan varias vistas calibradas y organizadas, y se reducen los recursos computacionales totales requeridos. Este nuevo enfoque simplificó el proceso de creación y optimización de los NeRFs.
Mega-NeRD
Mega-NeRD (CVPR 2022) es otro marco de NeRF útil para trabajar con escenas a gran escala. Como alternativa, presenta un algoritmo de clústers geométrico y una estructura de red dispersa para procesar imágenes con diversas condiciones de iluminación. El NeRF optimizado utiliza una red de radiación neuronal dispersa (SNeRG) para capturar y representar entornos del mundo real de manera eficaz.
NSVF
Los campos de vóxeles dispersos neuronales (NSVF) consisten en un NeRF que puede omitir cualquier píxel vacío durante su fase de renderización, lo que aumenta la velocidad en esta etapa. Esta técnica aprende las estructuras de píxeles en las celdas de la red para crear imágenes de alta calidad sin necesidad de puntos de vista específicos.
Vóxel plenóptico
En lugar de utilizar la red neuronal perceptrón multicapa, la innovación de Plenoptic Voxel (2021) utiliza una red 3D dispersa. Con esta red, aumente la velocidad de renderizado de las nuevas simulaciones mientras mantiene la fidelidad visual con la interpolación de vóxeles.
¿Cómo los campos de radiación neuronal reproducen las imágenes?
La representación neuronal es el término para el proceso de creación de imágenes por parte del NeRF. Los NeRFs utilizan diversas técnicas para transformar en representaciones 3D detalladas los datos sin procesar.
Representación de gráficos
Las técnicas de renderizado del campo de los gráficos por computadora permiten a los modelos NeRF proyectar y manipular escenas geométricamente. Por ejemplo:
- La emisión de rayos simula la perspectiva del usuario para calcular la visibilidad de los objetos
- El trazado de rayos amplía este concepto al simular el comportamiento físico de la luz, incluida la reflexión, la refracción y las sombras
- La rasterización convierte la información vectorial 3D en píxeles en una pantalla 2D, con la aplicación de varios algoritmos para simular los efectos de iluminación y textura de manera eficiente
Renderizado de volúmenes
El renderizado de volúmenes es otra estrategia esencial. Un algoritmo determina los valores rojo, verde, azul y alfa (densidad de volumen) de cada píxel en un espacio o imagen 3D. Estas figuras se asignan a sus posiciones correspondientes en una imagen 2D.
La síntesis de vistas es otra técnica que funciona de forma inversa al renderizado de volumen. Esta técnica construye una vista 3D a partir de una serie de imágenes 2D. La síntesis de vistas crea un diseño hemisférico que representa el objeto mediante una variedad de imágenes tomadas desde diferentes ángulos. Este proceso ajusta cada imagen 2D a su posición respectiva alrededor de un objeto y lo construye en 3D.
¿Cómo puede AWS cumplir sus requisitos de campo de radiación neuronal?
Amazon Web Services (AWS) ofrece dos servicios para satisfacer sus requisitos de NeRF.
AWS RoboMaker es un servicio de simulación basado en la nube que puede usar para ejecutar, escalar y automatizar la simulación sin necesidad de administrar ninguna infraestructura. AWS RoboMaker hace que la creación de entornos de simulación sea más rápida y asequible, ya que proporciona mundos de simulación y diversos recursos 3D. Puede utilizar estos recursos de simulación para crear entornos de simulación que coincidan con el nivel de fidelidad requerido. Con AWS RoboMaker WorldForge, puede generar cientos de mundos de simulación residencial de interiores 3D variados y definidos por el usuario en cuestión de minutos.
AWS IoT TwinMaker es un servicio que crea gemelos digitales de sistemas del mundo real, como edificios, fábricas, equipos industriales y líneas de producción. Brinda la capacidad de usar datos existentes de múltiples orígenes, crear representaciones virtuales de cualquier entorno físico y combinar modelos 3D existentes con datos del mundo real. Con AWS IoT TwinMaker, puede aprovechar los gemelos digitales para crear una visión holística de sus operaciones de forma más rápida y con menos esfuerzo.
Cree una cuenta hoy mismo para comenzar a utilizar los campos de radiación neuronal en AWS.
Pasos siguientes en AWS
Obtenga acceso instantáneo al nivel Gratuito de AWS.
Comience a crear en la consola de administración de AWS.