Un nouvel outil offre un contrôle d'éclairage direct pour les photographies à l'aide de la modélisation de scène 3D

L'éclairage joue un rôle crucial en ce qui concerne la narration visuelle. Qu'il s'agisse de film ou de photographie, les créateurs passent d'innombrables heures et souvent des budgets importants, créant l'éclairage parfait pour leur plan. Mais une fois qu'une photographie ou une vidéo est capturée, l'éclairage est essentiellement fixé. L'ajustement par la suite, une tâche appelée «réticence», exige généralement un travail manuel long par des artistes qualifiés.

Bien que certains outils d'IA génératifs tentent de s'attaquer à cette tâche, ils s'appuient sur des réseaux de neurones à grande échelle et des milliards d'images d'entraînement pour deviner comment la lumière pourrait interagir avec une scène. Mais le processus est souvent une boîte noire; Les utilisateurs ne peuvent pas contrôler directement l'éclairage ou comprendre comment le résultat a été généré, conduisant souvent à des sorties imprévisibles qui peuvent s'écarter du contenu original de la scène. Obtenir le résultat que l'on envisage nécessite souvent une ingénierie rapide et des essais et des erreurs, ce qui entrave la vision créative de l'utilisateur.

Dans un nouvel article qui sera présenté lors de la conférence Siggraph de cette année à Vancouver, les chercheurs du laboratoire de photographie de calcul de SFU offrent une approche différente pour la réévolution. Leur travail, «Refraction physiquement contrôlable des photographies», apporte un contrôle explicite sur les lumières, généralement disponibles dans des logiciels informatiques tels que Blender ou Unreal Engine, à l'image et à l'édition photo.

Compte tenu d'une photographie, la méthode commence par estimer une version 3D de la scène. Ce modèle 3D représente la forme et les couleurs de surface de la scène, tout en laissant intentionnellement tout éclairage. La création de cette représentation 3D est rendue possible par des travaux antérieurs, y compris des recherches précédemment développées du laboratoire de photographie de calcul.

« Après avoir créé la scène 3D, les utilisateurs peuvent y placer des sources de lumière virtuelle, tout comme ils le feraient dans un vrai studio photo ou un logiciel de modélisation 3D », explique Chris Careaga, un doctorat. Étudiant à SFU et auteur principal de l'œuvre. « Nous simulons ensuite de manière interactive les sources lumineuses définies par l'utilisateur avec des techniques bien établies de l'infographie. »

Le résultat est un aperçu approximatif de la scène sous le nouvel éclairage, mais il n'a pas l'air tout à fait réaliste, explique Careaga. Dans ce nouveau travail, les chercheurs ont développé un réseau neuronal qui peut transformer cet aperçu approximatif en une photographie réaliste.

« Ce qui rend notre approche unique, c'est qu'elle donne aux utilisateurs le même type de contrôle d'éclairage que vous attendez dans des outils 3D comme Blender ou Unreal Engine », ajoute Careaga. « En simulant les lumières, nous nous assurons que notre résultat est une interprétation physiquement précise de l'éclairage souhaité par l'utilisateur. »

Leur approche permet d'insérer de nouvelles sources de lumière dans les images et de les faire interagir de manière réaliste avec la scène. Le résultat est la possibilité de créer des images de relite qui étaient auparavant impossibles à réaliser.

Le système de réduction de l'équipe fonctionne actuellement avec des images statiques, mais l'équipe est intéressée à étendre les fonctionnalités à la vidéo à l'avenir, ce qui en ferait un outil inestimable pour les artistes et cinéastes VFX.

« Alors que cette technologie continue de se développer, elle pourrait permettre aux cinéastes indépendants et aux créateurs de contenu de temps et d'argent », explique le Dr Yağız Aksoy, qui dirige le laboratoire de photographie informatique de SFU. « Au lieu d'acheter des équipements d'éclairage coûteux ou des scènes de relance, ils peuvent apporter des changements d'éclairage réalistes après coup, sans avoir à filtrer leur vision créative grâce à un modèle d'IA génératif. »

Cet article est le dernier d'une série de projets de recherche « Awal-Aware » du laboratoire de photographie informatique. Les travaux antérieurs du groupe sur la décomposition intrinsèque jette les bases de leur nouvelle méthode de réévolution, et ils décomposent la façon dont tout se connecte dans leur vidéo explicative.

Vous pouvez en savoir plus sur les recherches du laboratoire de photographie de calcul sur leur page Web.