Stage recherche -Etude,entrainement d'un modèle 3D surface réfléchissantes

L'ambition de la Division Innovation est de porter plus loin l'innovation d'Orange et de renforcer son leadership technologique, en mobilisant ses capacités de recherche pour nourrir une innovation responsable au service de l'humain, éclairer les choix stratégiques du Groupe à long terme et influencer l'écosystème digital mondial.

Nous formons les expertes et les experts des technologies d'aujourd'hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité.

La division Innovation rassemble, dans le monde, 6000 salariés dédiés ç la recherche et à l'innovation dont 740 chercheurs. Porteurs d'une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, sociologues, graphistes, marketeurs, experts en sécurité ...), les femmes et les hommes d'Innovation sont à l'écoute at au service des pays, des régions et des Business Unit pour faire d'Orange un opérateur multiservices de confiance.

Regarder une scène dans un casque de VR implique de produire un modèle 3D de la scène. Les scènes synthétiques sont créées par des artistes et prennent généralement la forme de maillages et d'artefacts graphiques 3D. Produire un modèle 3D d'une scène réelle est beaucoup plus difficile et en est encore au stade de la recherche.
Cependant, les progrès réalisés ces dernières années ont été remarquables, et la famille d'algorithmes à la pointe de la technologie (basée sur [1] 3d gaussian splatting, ou 3DGS) parvient à produire un modèle satisfaisant à partir d'un nombre raisonnable d'images d'entrée.
 Selon la technologie citée, un modèle 3D est produit par machine learning, par différence entre l'apparence de ce modèle projeté en 2D et des photos de la scène réelle. Ce procédé permet fonctionne d'autant mieux que les points constituant la scène ont la même couleur quel que soit le point de vue. Dans les cas réels, la couleur d'une surface peut dépendre de l'angle sous lequel on la voit, on parle de spécularité. Les cas les plus typiques sont les surfaces métalliques. La solution utilisée par 3DGS pour prendre en compte les spécularités est l'utilisation d'harmoniques sphériques.Les modèles de BRDF (Bidirectional Reflectance Distribution Function), très utilisés dans le domaine des Computer Graphics, sont beaucoup plus puissants pour représenter les surfaces spéculaires, mais nécessitent la connaissance de la normale à la surface. Le sujet de ce stage est d'étudier ce que la connaissance des normales permettrait d'améliorer pour la prise en compte des surfaces spéculaires dans un modèle 3D de type 3DGS.Chez Orange Innovation, le stage se déroulera au sein d'une équipe pluridisciplinaire, avec des experts en machine learning et en reconstruction vidéo 3D.
La mission de ce stage est d'entraîner à partir d'un ensemble de photos un modèle représentant une scène dont certaines surfaces sont spéculaires (avec reflets). Le modèle sera modifié pour utiliser une information de normales connue a priori, pour identifier le potentiel d'amélioration apporté par cette information.
Activités principales :
1. Lire la documentation sur le 3d gaussian splatting et les modèles dérivés évaluant les normales aux surfaces
2. Produire un modèle a l'état de l'art sur la base de photos d'une scène réelle
3. Décider du modèle à mettre en place pour gérer les spécularités
4. Mettre en oeuvre le modèle discuté, le tester et l'améliorer de manière incrémentale.

Formation souhaitée
 dernière année d'école d'ingénieur ou de master

Pré-requis techniques :
 Connaissances en développement in python et / ou C++
 Compétences pointues et appétence pour les mathématiques
 Culture sur les techniques d'entraînement d'IA

Aptitudes personnelles :
  you speak (read!) English
  vous aimez vous heurter à des problèmes complexes
vous voulez travailler dans un domaine d'évolution rapide, ou tout peut être remis en cause à chaque instant

References :
[1] Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/