Pourton.info
Une avancée majeure dans la création de scènes 3D
Les champs de rayonnement neuronaux (Neural Radiance Fields ou NeRF) sont la dernière application en vogue dans le domaine de l’intelligence artificielle. Ils permettent de créer des modélisations en trois dimensions à partir de simples photos. Cette technologie révolutionnaire ouvre de nouvelles perspectives dans divers domaines tels que la réalité virtuelle, les jeux vidéo, la robotique et bien d’autres encore.
Un exploit réalisé par des chercheurs de l’université du Maryland
Des chercheurs de l’université du Maryland ont récemment repoussé les limites de cette technologie en parvenant à reproduire des scènes en 3D à partir des reflets visibles dans les yeux. Leur approche novatrice consiste à capturer plusieurs images haute résolution d’une personne se déplaçant dans une pièce, puis à zoomer sur l’œil pour observer les reflets dans sa cornée.
En inversant l’image et en supprimant la couleur ainsi que les détails ajoutés par l’iris, les chercheurs parviennent à obtenir une image en 2D qui peut ensuite être modélisée en 3D. La réflexion présente dans l’œil humain se révèle ainsi être une source d’informations précieuse sur notre environnement.
Une méthode basée sur la géométrie de la cornée
L’un des avantages de cette méthode réside dans le fait que la géométrie de la cornée est approximativement la même chez tous les adultes. Les chercheurs expliquent que si l’on compte la taille en pixels de la cornée d’une personne dans l’image, il est possible de déterminer avec précision la position de ses yeux.
En s’appuyant sur cette caractéristique, les chercheurs entraînent le champ de rayonnement à partir des réflexions de l’œil en traçant des rayons de la caméra et en les réfléchissant sur la géométrie approximative de l’œil. Pour éliminer l’iris lors de la reconstruction, ils utilisent une décomposition de texture combinée à l’apprentissage d’une carte de texture 2D spécifique à l’iris.
Des résultats impressionnants
Bien que le rendu des objets dans les scènes 3D générées à partir des reflets oculaires puisse encore présenter certaines limitations, les résultats obtenus sont impressionnants. Des exemples concrets ont été réalisés en zoomant sur les yeux de célèbres artistes tels que Miley Cyrus et Lady Gaga dans des clips vidéo.
Malgré les contraintes liées à la résolution par défaut des images, les chercheurs ont réussi à tirer parti de cette technique pour obtenir des informations sur ce que regardaient les artistes lors des prises de vue. Cette avancée ouvre de nouvelles perspectives dans l’analyse du regard et de l’attention visuelle.
Des applications potentielles dans de nombreux domaines
Les champs de rayonnement neuronaux offrent un large éventail d’applications potentielles. Outre les domaines mentionnés précédemment, cette technologie pourrait être utilisée dans le domaine de la réalité augmentée, de l’architecture, de la médecine et de nombreux autres secteurs.
Imaginez un monde où il serait possible de créer des environnements virtuels ultra-réalistes à partir de simples photographies. Cette avancée ouvre la voie à de nouvelles expériences immersives et à des applications révolutionnaires dans de nombreux domaines.
En conclusion, les champs de rayonnement neuronaux représentent une avancée majeure dans la modélisation 3D à partir des reflets visibles dans les yeux. Grâce à cette technologie, il devient possible de créer des scènes en trois dimensions à partir de simples photos, ou même d’un reflet dans les yeux. Les chercheurs continuent de repousser les limites de cette technologie, ouvrant ainsi de nouvelles perspectives pour l’intelligence artificielle et l’immersion dans des mondes virtuels. Complete article.
