Los escenarios de producción virtual actuales rodean a los actores con la luz de millones de LED, creando una iluminación basada en la imagen real, además de los fondos en la cámara. Pero estos escenarios no suelen ser capaces de grabar a los actores en un estudio de la forma en que realmente aparecerían en los decorados y localizaciones reales. Los fondos en cámara suelen tener que retocarse o sustituirse, lo que obliga a hacer rotoscopia a los actores o a rodar contra una pantalla verde en el marco de la cámara.
La latencia del seguimiento de la cámara limita los tipos de movimientos de ésta que se pueden intentar con seguridad. Las pantallas LED son propensas a mostrar patrones de moiré, y la forma en que se desenfocan difiere del bokeh genuino del objetivo. Los paneles LED carecen del rango dinámico y la intensidad máxima necesarios para muchos entornos de iluminación, especialmente los que tienen luz solar directa, y los escenarios rara vez cubren todos los ángulos de los que puede provenir la luz. Y, por último, los paneles LED tienen dificultades para reproducir el color con precisión, ya que sólo tienen picos espectrales rojos, verdes y azules a lo largo del espectro visible. Esto es suficiente para mostrar a una cámara prácticamente cualquier color que pueda grabar, pero se pierden partes clave del espectro necesarias para iluminar a los actores y las piezas del decorado de la forma en que aparecerían bajo la luz del día o la luz incandescente.
En esta charla, describiré cada uno de estos problemas y señalaré el camino hacia posibles soluciones, basándome en ejemplos de la tecnología cinematográfica clásica, la investigación sobre la reproducción de la iluminación en el Institute for Creative Technologies y un nuevo estudio sobre la reproducción de la iluminación escénica con LED en University of Southern California's Entertainment Technology Center.
Paul Debevec es Netflix's Director of Research for Creative Algorithms and Technology, donde supervisa la I+D en nuevas tecnologías de visión por ordenador, gráficos por ordenador y aprendizaje automático con aplicaciones en efectos visuales, producción virtual y animación. Su sistema Light Stage 3 de 2002 en el USC Institute for Creative Technologies fue el primer escenario LED que iluminó a los actores de acción real con imágenes de decorados digitales para la producción virtual. Las técnicas del trabajo de Paul se han utilizado para crear secuencias de efectos visuales clave en The Matrix, Spider-Man 2, Benjamin Button, Avatar, Gravity, Furious 7, Blade Runner: 2049, Gemini Man, Free Guy, numerosos videojuegos y para grabar un retrato en 3D del presidente estadounidense Barack Obama.
Su tecnología de captura facial en el escenario de luz ha ayudado a numerosas empresas tecnológicas, estudios de videojuegos y empresas de efectos visuales a crear actores digitales fotorrealistas y a avanzar en los conjuntos de datos ML para la apariencia facial. El trabajo de Paul en el campo de las imágenes HDR, la iluminación basada en la imagen y la captura facial en el escenario de luz ha sido reconocido con dos premios técnicos de la Academy Awards and SMPTE's Progress Medal. Paul es miembro de la Visual Effects Society y del Television Academy's Science and Technology Peer Group, y ha formado parte del Motion Picture Academy's Visual Effects Executive Committee and Science and Technology Council, además de ser vicepresidente de ACM SIGGRAPH.
