Mass Effect Andromeda e la ricerca delle animazioni perfette dei volti - articolo
Nuove tecnologie in evoluzione.
Poteva capitare a chiunque. Se parlerete con un qualunque sviluppatore riguardo i video delle scene di dialogo di Mass Effect Andromeda, che sono circolati nelle scorse due settimane, otterrete uno sguardo perso nel vuoto. Quel tipo di reazione che si potrebbe vedere in un soldato appena uscito indenne da una granata che ha colpito il suo compagno di plotone proprio accanto a lui. Molti dei gravi problemi di Andromeda sono comuni ai giochi fortemente narrativi e tutti gli sviluppatori sanno di poter essere ugualmente vittime degli indifendibili attacchi rivolti a BioWare e allo staff di EA.
Jonathan Cooper di Naughty Dog, che ha lavorato al primo Mass Effect, con la sua testimonianza ha cercato di spiegare su Twitter le sfide che devono affrontare gli animatori dei volti, sottolineando la pressione delle aspettative moderne e i compromessi riguardo ai costi/benefici a cui si è dovuti scendere per Andromeda.
L'animazione facciale e i dialoghi sono davvero difficili da realizzare. Implicano capacità, esperienza e abilità tecniche che hanno a che fare con un insieme di diverse specializzazioni. Gli ingegneri della grafica realizzano gli shader della pelle e degli occhi, poi ci sono gli artisti dell'illuminazione, gli sceneggiatori, gli esperti dei modelli 3D, i doppiatori e ovviamente gli animatori. Lavorano sul mondo interiore dei drammi e delle emozioni, scontrandosi con un livello di aspettative sempre più alto.
Il livello tecnologico di ieri, oggi è uno schifo e i personaggi dei giochi al momento si trovano in una fase difficile del loro viaggio attraverso la Uncanny Valley. I volti spesso possono sembrare incredibilmente realistici (mi sono più volte chiesto se stessi guardando un film drammatico durante le scene di dialogo di Horizon: Zero Dawn), ma come Andromeda dimostra, una smorfia improvvisa e una pausa imbarazzante nei pochi secondi di una GIF, possono cancellare ore e ore di attento lavoro.
Andromeda cerca disperatamente un appiglio che conduca fuori dalla Uncanny Valley. È molto più ambizioso dei precendenti giochi di Mass Effect, con più linee di dialogo di Mass Effect 2 e 3 messi insieme (per farsi un'idea, Mass Effect 3 ha 40.000 linee). Andromeda dispone di 1.200 personaggi parlanti, che sono il doppio di quelli presenti in Mass Effect 3.
Quindi sono un bel po' di animazioni facciali. E non dimentichiamoci che queste linee di dialogo sono state tradotte in cinque lingue diverse: inglese, francese, tedesco, italiano e spagnolo. Tutto sommato, si tratta di una incredibile quantità di lavoro, più di quanto BioWare abbia mai affrontato in un Mass Effect.
Il lavoro inizia scolpendo i modelli dei personaggi e con il processo di rigging, che consente di creare uno scheletro articolato per un personaggio 3D, offrendo degli assi di movimento per ciascuna articolazione. Questo è ciò che permette a una gamba di essere una gamba e a un dito di essere un dito. Per darvi un'idea di quanto lavoro ci sia dietro al rigging di un personaggio principale di un gioco, pensate che Crystal Dynamics ha impiegato un mese intero per dare uno scheletro articolato a Lara Croft per il reboot di Tomb Raider del 2013.
I corpi però sono una cosa, i volti un'altra. Le complesse espressioni facciali sono il risultato di tante "ossa" che muovono l'insieme dei connotati. Cinque anni fa un volto sarebbe stato di solito caratterizzato da 30-50 ossa, ma questo ne limitava molto la realisticità. Oggi, i motori di gioco sono in grado di gestirne molte di più. Un volto come quello di Nathan Drake in Uncharted 4 è realizzato con un totale di ossa che va dalle 300 alle 500 e può andare dalle 200 alle 400 combinazioni di forme, che modellano le transizioni graduali delle espressioni del volto.
Questo scheletro articolato viene successivamente reso vitale attraverso i dati dell'animazione che oggi, per molte scene cinematiche, provengono dalle sessioni di motion capture. David Barton, producer di Cubic Motion, studio specializzato nel motion capture, ha confermato che sta diventando sempre più comune l'uso del rigging basato sulla scansione dei volti degli attori, con un numero di espressioni diverse che varia dalle 70 alle 80.
Cubic Motion, che ha lavorato al motion capture per le scene cinematiche di Horizon Zero Dawn, produce degli algoritmi detti "risolutori", che prendono queste scansioni e le utilizzano per interpretare delle animazioni facciali molto accurate e complesse partendo dai dati acquisiti con il motion capture. "Si potrebbe così prendere un sorriso e scomporlo in dieci diversi comandi per le 'ossa', la nostra tecnologia prende poi l'esibizione dell'attore e risolve ognuno dei comandi in modo da creare l'animazione".
Se si vuole invece parlare di specifiche più complesse, si possono animare ad esempio le mappe delle rughe, che simulano le pieghe della pelle e le mappe diffuse, che simulano il fluire del sangue sotto la pelle con il distendersi e il contrarsi del volto. "Su questa tecnologia stiamo cercando di spingere da sempre", dice.
La portata di Andromeda, a partire dal numero di personaggi, dalla quantità dei dialoghi fino ad arrivare al fatto che il nostro Ryder è completamente personalizzabile, ha come risultato che molte delle cose prima citate siano semplicemente impossibili. Per giochi come questo, allo stesso modo di The Witcher 3 e Horizon: Zero Dawn, la risposta è l'automazione.
Andromeda usa la tecnologia proveniente da OC3 Entertainment, che ha realizzato FaceFX, un middleware che utilizza file audio per creare modelli 3D per le animazioni di labbra e volti. Lo troverete ovunque, adottato da The Division, Fallout 4, Batman: Arkham Knight e da molte altre grandi produzioni e si basa sulla realizzazione di una serie di pose per tipi di fonema, ovvero le posizioni basilari delle labbra che formiamo quando diciamo Oh, Aa o Mm, per poi applicarle al suono dei dialoghi registrati.
CD Projekt RED ha usato una tecnologia simile per le 35 ore di dialogo di The Witcher 3, utilizzando uno strumento interno che aggiunge al tutto anche i movimenti del corpo e le angolazioni della camera. È difficile fare un paragone con Andromeda, visto che BioWare non ha mostrato all'esterno i suoi strumenti, ma le scene di dialogo di The Witcher 3 hanno beneficiato del fatto che, per scelta dello studio, le animazioni generate automaticamente rappresentassero solo il punto di partenza. Questo perché è più facile apportare delle modifiche che iniziare da capo. Gli animatori, a quel punto possono prendere le scene generate e modificarle liberamente, inserendo delle gestualità secondarie e nuove angolazioni della telecamera, modificando anche le posizioni e le pose dei personaggi. Qui sotto potete trovare una demo tecnica mostrata dal direttore Piotr Tomsiński lo scorso anno alla GDC.
Ma c'è anche dell'altro. Molte animazioni facciali omettono del tutto le piccole contrazioni muscolari degli occhi, dell'espressione e della testa, che ci rendono così umani. "Gli esseri umani si muovono come degli insetti, in modo tremolante, molto irregolare e veloce", dice il co-fondatore di Ninja Theory, Tameem Antoniades. "È necessario che sia presente per tutto il tempo una quantità quasi impercettibile di 'rumore di fondo', tipico degli esseri umani, altrimenti non si può credere che i personaggi siano reali".
Un gioco recente che mostra quanto sia efficace tutto questo è senza dubbio Horizon Zero Dawn, in cui gli occhi di Aloy tremano e spostano lo sguardo, conferendole spesso un atteggiamento ansioso. Gli occhi senza vita sono uno dei problemi più grandi dei personaggi all'interno di un gioco, perché gli occhi rappresentano proprio il punto in cui si focalizza l'attenzione. Il tremolio aiuta, così come lo fa il garantire che gli occhi convergano correttamente sul soggetto a cui dovrebbero rivolgersi.
Poi ci sono i problemi grafici. Un occhio fatto bene ha bisogno di ottimi shader per imitarne la tipica umidità e il modo in cui la luce si rifrange tra la superficie e l'iride. Un volto fatto bene necessita poi di una buona illuminazione. In questo caso, Andromeda si trova ad affrontare un problema difficile. Con il mondo che viene illuminato dinamicamente dal suo motore, il Frostbite, spesso il dialogo si tiene in un luogo illuminato malamente, facendo così sembrare piatti i personaggi. Per qualche ragione, BioWare non ha inserito le luci durante le scene di dialogo di Andromeda, nel modo in cui lo aveva fatto per i precedenti capitoli di Mass Effect e nel modo in cui lo ha fatto Guerrilla in Horizon.
In teoria, nessuno sceglierebbe di sfruttare una tecnologia di generazione automatica per le animazioni dei volti. Mi dispiace FaceFX, ma quest'idea sta rapidamente diventando realtà.
Uno dei pionieri in questo campo è Ninja Theory, che possiede un portfolio che rappresenta praticamente la storia della tecnologia. Heavenly Sword del 2007 è stato uno dei primi giochi ad utilizzare il motion capture, ma le sue animazioni sono state in larga misura manipolate dagli animatori di WETA prima di essere aggiunte al gioco. Enslaved del 2010 è stato realizzato con il risolutore di volti appartenente a Ninja Theory, con il quale, come ha affermato Antoniades, hanno costruito dall'80% al 90% delle animazioni finali. "Il risultato era ancora troppo insoddisfacente, c'era poi ancora bisogno di un artista che arrivasse e dicesse: no, questo è quello che intendeva l'attore, questo è il suo intento".
DmC del 2013 utilizzava lo stesso risolutore di volti, che questa volta però non acquisiva le animazioni tramite una camera che registra i tipici segni a forma di pallino sul corpo, ma con la visione completa del computer, eliminando i tempi di preparazione e liberando lo spazio in cui si svolge la performance dell'attore. E adesso, in Hellblade, sta usando il risolutore di Cubic Motion, un sistema di telecamere montate sulla testa da una società chiamata Technoprops, che fotografa il volto di un attore da 100 angolazioni diverse e un rigging facciale realizzato dalla società 3Lateral. "Producono la migliore scheletratura del volto in tempo reale sul mercato", dice Antoniades. Questo processo permette loro di realizzare il 95% di animazioni utilizzabili dei volti. Cubic Motion lavora poi un po' sui risultati e Ninja Theory raramente va a ritoccarli.
Il processo è così semplificato che Ninja Theory, lo scorso anno, ha mostrato la tecnica sul palco dal vivo alla conferenza di computer grafica Siggraph, con un'animazione diretta dalla performance dell'attrice al motore Unreal 4, vincendo il premio per la Best Real-Time Graphics & Interactivity.
Hellblade non si avvicina nemmeno lontanamente alla quantità di dialoghi presenti in Mass Effect, tuttavia dimostra che sta diventando finalmente possibile l'acquisizione di animazioni pulite e dettagliate direttamente dal volto di un doppiatore mentre recita le battute. Questo significa che gli sviluppatori avranno un risparmio notevole non dovendo sistemare le animazioni, anche se probabilmente dovranno investire di più sulle sessioni di motion capture iniziali, dal momento che dovranno trovare il giusto budget e chiedere di più ai loro attori.
È tuttavia fin troppo facile trovare esempi migliori in altri giochi e aspettarsi che Andromeda sia in grado di funzionare in ogni suo aspetto a quei livelli. Quando si pensa che tutte le ore di dialogo, in un gioco così esteso come lo è Andromeda, sono il risultato di così tanti fattori, si comprende la sfida di realizzare ogni secondo di gioco in modo perfetto. Soprattutto quando le animazioni sono in concorrenza per il budget con così tanti altri aspetti del gioco che devono essere presi in considerazione, dal sistema di combattimento alla creazione dei livelli.
E ancora, per un gioco che dà così tanta importanza alle relazioni, non è forse del tutto fuori luogo aspettarsi una migliore rappresentazione dei suoi personaggi. Poco per volta, la tecnologia sta diventando migliore ed è possibile, come ha sottolineato Jonathan Cooper, che Andromeda potrebbe far comprendere a BioWare l'importanza dell'animazione nel budget complessivo del gioco. Tutti noi traiamo beneficio dal trascorrere del tempo con dei personaggi dei videogiochi che si comportano e si muovono in modo naturale. Quando sentiamo di stare giocando con delle persone, i giochi prendono vita.
NdT: Nel frattempo BioWare ha pubblicato un importante aggiornamento che va a correggere proprio alcuni problemi che affliggevano i volti dei personaggi di Mass Effect Andromeda. Tra le novità apportate dalla patch 1.05 notiamo proprio un utilizzo più massiccio di macroanimazioni del corpo e del volto e di microanimazioni degli occhi. Inoltre, agli occhi dei personaggi sono stati aggiunti dei nuovi shader che contribuiscono a renderli più umidi e realistici.