Durante il recente Siggraph 2017 di Los Angeles, che è in corso di svolgimento in questi giorni, un imponente team formato da ricercatori, studiosi universitari e compagnie tecnologiche ha voluto mostrare gli ultimi risultati della loro ricerca nel campo della rappresentazione digitale umana in realtà virtuale. Utilizzando avanzate tecniche di cattura del movimento, rigging e innovative applicazioni nel campo del rendering, i ricercatori hanno stabilito un nuovo stato dell’arte per quando riguarda la riproduzione digitale di un volto umano in tempo reale. MEETMIKE, questo il nome del progetto che è stato presentato in questa occasione, è un’esperienza VR costituita da una completa riproduzione del volto del reporter ed esperto di VFX Mike Seymour, la quale è stata controllata dallo stesso Seymour e renderizzata in tempo reale. All’interno della simulazione, il reporter ha svolto il ruolo dell’ospite, intervistando nell’ambiente virtuale gli esperti del settore e i vari ricercatori che prendevano parte alla conferenza. Diversi altri partecipanti, inoltre, hanno avuto la possibilità di indossare dei visori e di seguire tutte le interviste che sono state condotte all’interno dello studio virtuale. Il risultato di questa dimostrazione è stato sorprendente e ha mostrato una rappresentazione del giornalista che veniva renderizzata in tempo reale a 90FPS, utilizzando come motore il sempiterno Unreal Engine. Com’è possibile notare dalla galleria che trovate qui di seguito, il livello di dettaglio del modello 3D è strabiliante, essendo curato in ogni particolare, come evidenziano i pori della pelle e ogni singolo tratto facciale.

Questo slideshow richiede JavaScript.

Per raggiungere questo sorprendente risultato finale, Mike Seymour ha dovuto indossare una telecamera stereo Technoprops per il rigging, la quale è stata in grado di registrare ogni microscopico spostamento dei muscoli del viso. Le immagini del volto, in seguito, sono state tracciate e processate grazie a una nuova tecnologia della Cubic Motion. I dati ottenuti sono stati successivamente associati ad un facial rig, realizzato da 3Lateral e basato su una scansione del volto dello stesso Seymour. L’esperienza MEETMIKE è composta, quindi, da un totale di 440mila triangoli, renderizzati completamente in tempo reale, il che significa un rendering VR in stereo ogni 9 millisecondi circa e il 75% del processo è stato utilizzato per i capelli. Il rigging facciale utilizza circa 80 giunture, la maggior parte delle quali, anche in questo caso, è stata applicata ai capelli. Per la mesh del viso, invece, sono state utilizzate a malapena 10 giunture per gestire il movimento di occhi, lingua e mandibola. Il sistema che ha dovuto sorreggere questa imponente infrastruttura, invece, è stato basato su complessi software tradizionali e su tre motori AI dotati di apprendimento profondo. Qualora foste interessati ad approfondire l’intero progetto, Mike Seymour e i ricercatori di Epic Games, Chris Evans e Kim Librer, hanno pubblicato un documento esaustivo, intitolato MeetMike: Epic Avatars, che analizza nel dettaglio l’intera vicenda. L’ultima sorprendente informazione riguarda il PC che è stato utilizzato come base, il quale sembra che montasse una GTX 1080 Ti come GPU e che contasse su 32GB di RAM. Altri computer, infine, sono serviti per accompagnare il setup e per consentire agli altri ospiti di visualizzare tutte le interviste in VR.