render neuronal
Se trata de una solución novedosa, basada en los datos, para el antiguo problema de los gráficos por ordenador de la representación realista de los mundos virtuales.
La representación neural de volúmenes se refiere a los métodos que generan imágenes o vídeos trazando un rayo en la escena y tomando una integral de algún tipo sobre la longitud del rayo.
Normalmente, una red neuronal, como un perceptrón multicapa, codifica una función de las coordenadas 3D del rayo a cantidades como la densidad y el color, que se integran para obtener una imagen.
El renderizado eficiente de mundos virtuales fotorrealistas es un esfuerzo muy antiguo en el entorno de los gráficos por ordenador.
Las técnicas gráficas modernas han conseguido sintetizar imágenes fotorrealistas a partir de representaciones de escenas elaboradas a mano. Sin embargo, la generación automática de la forma, los materiales, la iluminación y otros aspectos de las escenas sigue siendo un problema difícil que, de resolverse, haría más accesibles los gráficos por ordenador fotorrealistas.
Al mismo tiempo, los avances en la visión por ordenador y el aprendizaje automático han dado lugar a un nuevo enfoque de la síntesis y la edición de imágenes, a saber, los modelos generativos profundos. El renderizado neuronal es un campo
nuevo campo que está surgiendo rápidamente y que combina las técnicas de aprendizaje automático generativo con los conocimientos físicos de los gráficos por ordenador, por ejemplo, mediante la integración del renderizado diferenciable en el entrenamiento de la red.
Con una gran cantidad de aplicaciones en el campo de los gráficos por ordenador y la visión, está destinada a convertirse en un nuevo campo en la comunidad de los gráficos, aunque no existe ningún estudio sobre este campo emergente.
Numerosos e importantes casos de uso de los algoritmos descritos como la síntesis de vistas novedosas, la manipulación semántica de fotos, la recreación facial y corporal, la reiluminación, el vídeo de punto de vista libre y la creación de avatares fotorrealistas para la telepresencia en realidad virtual y aumentada.
Esta tecnología permite que las máquinas aprendan a percibir su entorno basándose en una red de representación y generación.
Mientras que los gráficos por ordenador clásicos parten de la perspectiva, de la física, modelando por ejemplo la geometría, las propiedades de las superficies y cámaras, el aprendizaje automático parte de una perspectiva estadística, es decir, aprendiendo de ejemplos del mundo real para generar nuevas imágenes.
Para ello, la calidad de las imágenes generadas por ordenador depende de la corrección física de los modelos empleados, mientras que la calidad de los enfoques de aprendizaje automático depende sobre todo de los modelos de aprendizaje automático cuidadosamente diseñados y de la calidad de los datos de entrenamiento utilizados.
La reconstrucción explícita de las propiedades de la escena es difícil y propensa a errores, y da lugar a artefactos en el contenido renderizado.
https://www.neuralrender.com/assets/downloads/TewariFriedThiesSitzmannEtAl_EG2020STAR.pdf