All'interno del Digital Foundry: come analizziamo l'esperienza PC - articolo
Oltre i semplici dati dei benchmark.
Il Digital Foundry è grato ai media che si occupano di tecnologia su PC. Due anni fa, dei giornalisti di The Tech Report e PC Perspective hanno effettuato un'analisi approfondita dei problemi di micro-stutter nei videogiochi su PC con configurazioni multi-GPU. Il risultato finale è stato un nuovo tipo d'analisi basato sul FCAT, un sistema che contrassegna ciascun fotogramma prodotto dall'hardware grafico con un contorno colorato. I fotogrammi vengono acquisiti e il video analizzato, e da qui è possibile calcolare frame-rate precisi ma soprattutto la qualità dell'esperienza. Ciò si manifesta nel frame-time, il tempo di persistenza (tipicamente misurato in millisecondi) di un fotogramma sullo schermo.
Ed è qui che l'approccio del Digital Foundry alle prestazioni su PC prende un'altra direzione. La suite FCAT di Nvidia include una serie di script, utilizzati da gran parte della stampa specialistica per PC, utili a separare i dati rilevanti dalle acquisizioni video. Noi effettuiamo le nostre analisi con uno strumento dedicato, FPSGui. Il procedimento prevede l'importazione del video, la scansione dei bordi contrassegnati e la sovrimpressione dei dati su schermo.
Possiamo estrarre gli stessi dati dai video acquisiti come con gli script di Nvidia ma la differenza è che con la sovrimpressione dei dati relativi alle prestazioni sul video, possiamo giudicare le performance nel contesto. La componente cruciale offerta da FCAT (il frame-time del momento per ogni immagine prodotta dalla GPU) ha molto più senso quando si può vedere l'origine dei problemi. FCAT offre anche maggiore affidabilità dei dati: tutti i benchmark sono misurati in base ai dati prodotti dal PC (ciò che si vede su schermo), mentre gli strumenti come FRAPS estraggono internamente i dati relativi alle prestazioni e questo ha causato delle discrepanze nell'era pre-FCAT.
Nel video in basso vediamo come FCAT ci permette di rilevare la qualità dell'esperienza di gameplay PC utilizzando come esempio Just Cause 3 di Avalanche Studios. Nel nostro articolo originale abbiamo effettuato il benchmark di una serie di schede, ma il confronto tra GTX 960 e R9 380 è particolarmente affascinante. L'hardware di AMD è inequivocabilmente più potente della controparte Nvidia e ciò si riflette nei dati del frame-time che mostrano un vantaggio del marchio rosso. Dei fastidiosi scatti che si verificano con la R9 380, però, rendono probabilmente l'esperienza meno godibile. Utilizzando i nostri strumenti in combinazione con FCAT abbiamo potuto isolare le aree problematiche e, basandoci sui test con più GPU, abbiamo determinato con una certa sicurezza che il problema era nei driver. Un mese dopo il lancio di Just Cause 3, l'hotfix Radeon Crimson 16.1 ha risolto quasi tutti questi inconvenienti (almeno con la R9 380), come abbiamo potuto confermare con dei test.
Il video mostra anche come testiamo le prestazioni delle GPU per le nostre recensioni delle schede video e la guida all'upgrade. Sono state utilizzate le stesse tecniche, con l'eccezione che le sequenze identiche (sincronizzate al fotogramma) sono state acquisite con FCAT attivo. Quando la sequenza video viene importata, FPSGui crea un file di cache con tutti i dati dei contorni contrassegnati. Tutti i dati FCAT vengono sovrimpressi su acquisizioni a 1080p60 di ciascuna sequenza, rendendo i video finali di benchmark molto più 'guardabili' (nessun rallentamento, niente tearing, etc.).
L'esecuzione dei benchmark causa generalmente meno problemi dell'analisi per gioco, per una serie di ragioni: prima di tutto i driver sono solitamente maturi e questo implica che le prestazioni della versione di lancio di Just Cause 3 su hardware AMD sarebbero stabili in un tipico test della GPU. In secondo luogo possiamo eseguire il benchmark di una sequenza d'azione relativamente breve. I benchmark non dovrebbero mai essere considerati una valutazione di quanto possa girare bene un particolare titolo, ma più un'analisi comparativa del comportamento dei motori grafici su ciascuna GPU. Quando l'intera serie di benchmark è completa, otteniamo un quadro più completo delle prestazioni dell'hardware.
Come il benchmark di Far Cry 3 mostrato nel video rivela, però, possiamo farci un'idea della causa di certi problemi. Ad esempio l'open world di Ubisoft richiede un minimo di 3GB di VRAM per giocare più o meno fluidamente a 1080p con frame-rate alto. Confrontando nuovamente GTX 960 e R9 380 (due schede disponibili in versioni da 2GB e 4GB), possiamo trarre un paio di conclusioni. La prima è che alcuni giochi hanno veramente bisogno di memoria aggiuntiva: con le schede da 2GB rileviamo dei fastidiosi scatti assenti con le varianti da 4GB. Inoltre, una scheda Nvidia da 2GB è caratterizzata da un utilizzo della memoria più efficiente dell'equivalente Radeon: la scheda di AMD provoca infatti più spesso degli scatti, con freeze su schermo più prolungati.
Ciò non accade con ogni gioco ma titoli come Assassin's Creed Unity, Rise of the Tomb Raider, L'ombra di Mordor e ovviamente Batman Arkham Knight, mostrano che il bisogno di VRAM va in un'unica direzione. Chiunque stia pensando ad acquistare una scheda da €180 e oltre, non ha altra scelta viabile che optare per le versioni da 4GB e, tramite i nostri strumenti, possiamo visualizzare l'impatto sull'esperienza di gameplay quando la VRAM è insufficiente.
Le prestazioni nel loro contesto ci permettono di analizzare la vera esperienza di gioco su PC, e anche se tabelle e schemi sono inestimabili nel fornire una veloce panoramica delle prestazioni, il lavoro che abbiamo svolto è più informativo: più veloce non vuol dire sempre migliore, e in generale è la stabilità a essere il fattore sovrano. C'è ancora molto lavoro da fare, ad esempio per isolare meglio i problemi 'del momento' nei nostri dati consultabili velocemente, per non parlare dell'ottimizzazione dell'intero procedimento (acquisizione e analisi richiedono tempo), ma il nostro obiettivo è d'integrare i dati esistenti e tentare di concentrarci sulla vera esperienza di gameplay e sul modo in cui il nuovo hardware possa migliorare la giocabilità dei titoli PC.
"All'interno del Digital Foundry" è una serie estemporanea in cui il team discute delle tecniche e degli strumenti utilizzati per produrre i nostri articoli e video. Ecco gli altri argomenti trattati finora: