Quanto sono davvero utili le modalità benchmark su PC? - articolo
Ottimizzare le performance deve diventare più semplice e ciò significa che abbiamo bisogno di strumenti migliori.
Avete mai caricato un nuovo gioco per PC, fatto partire la modalità benchmark integrata, ottimizzato le impostazioni per ottenere le migliori performance possibili, per poi scoprire che il gioco gira ad un frame-rate molto più basso con continui cali e singhiozzi? È particolarmente frustrante per noi del Digital Foundry e ci porta a un paio di domande abbastanza ovvie: per prima cosa, se i benchmark non sono indicativi delle vere performance, a cosa servono? E secondariamente, se il loro uso è così limitato, quanto sono affidabili le recensioni delle schede grafiche che li usano, incluse le nostre?
Prima di continuare è bene sottolineare che non tutti i benchmark lì fuori sono totalmente inutili: c'è un gran numero di casi, infatti, in cui aiutano parecchio ad ottimizzare le impostazioni per raggiungere le performance migliori. Ce ne sono altri, invece, che drenano più risorse di sistema dei giochi stessi, risultando comunque più utili di quelli che gonfiano di proposito i propri dati sulle prestazioni.
Tuttavia ci sono alcuni esempi particolarmente sorprendenti che ci preme evidenziare semplicemente perché il divario tra la modalità benchmark e le prestazioni reali è davvero imponente. Probabilmente il più noto che possiamo esaminare è quello di Tomb Raider del 2013. Il benchmark testa un'unica scena, quella iniziale del naufragio, in cui la telecamera volteggia attorno al modello del personaggio di Lara Croft. È una scena facile da replicare in-game con la differenza, però, che con lo stesso hardware e le stesse impostazioni, risulta un calo di prestazioni addirittura del 21%.
Il sequel, Rise of the Tomb Raider, migliora un po' le cose ma ha ancora qualche problema. Questa volta saranno testate tre scene: una presa dalla sezione iniziale sulla neve, una bellissima corsa attraverso la Tomba del Profeta e un veloce passaggio nella Valle Geotermica. È un benchmark che dovrebbe essere incredibilmente utile per gli utenti dato che il gioco ha un problema davvero specifico: le prestazioni sono ottime nelle fasi iniziali, salvo poi calare notevolmente una volta raggiunte le aree di snodo come, appunto, la Valle Geotermica. Il benchmark comunque scorre liscio come l'olio, senza problemi di sorta, mentre il gameplay vero e proprio registra un abbassamento delle performance generali di ben il 35% in quest'area!
Probabilmente il peggior esempio di una modalità benchmark completamente inutile è il famigerato Batman Arkham Knight. La sezione scelta per il benchmarking mostra alcuni ambienti in cui tutti gli effetti funzionano a meraviglia ma, in realtà, sta solo mettendo insieme alcuni scatti piuttosto cinematografici, belli da vedere per l'utente, con alcuni numeri abbastanza privi di senso buttati fuori alla fine. Il gioco è famoso per le sue performance generali di basso livello nell'ottica dell'open world, visibili soprattutto negli spostamenti veloci come i viaggi in Batmobile. Ci sono state problematiche di qualche tipo in ogni configurazione PC su cui abbiamo testato questo titolo ma non c'è mai stata traccia di alcuna incertezza nella sua modalità benchmark.
Allo stato attuale le modalità benchmark non riflettono la realtà o la variabilità delle performance, e tendono a concentrarsi troppo sulla GPU come unico fattore limitante delle prestazioni dei giochi, come dimostrano Tomb Raider e Rise of the Tomb Raider. Tutto ciò risulta problematico perché non tutti i possessori di un PC sono dotati di un potente processore i7 e la realtà è che le prestazioni dei giochi non sono definite unicamente dal loro rendering (anche se, ad essere onesti, sarà sempre il primo collo di bottiglia che incontreremo).
Cosa dire, invece, dell'invasivo stuttering che rappresenta, spesso, le prestazioni peggiori del gaming su PC? La CPU e la memoria di archiviazione sono i principali responsabili: tutto il lavoro di simulazione, le animazioni, l'AI e la generazione eccessiva di 'draw call' per la GPU, spesso causa grossi cali nelle performance. In aggiunta a questo c'è anche il carico dovuto allo streaming e alla decompressione di nuovi dati che può avere profonde implicazioni, come abbiamo visto in Arkham Knight. Anche le performance relative alla CPU possono creare colli di bottiglia in molti modi diversi in quanto ci sono sistemi fortemente parallelizzati come grafica, dispatch, fisica o animazioni mentre l'AI e le logiche di gameplay hanno spesso una natura più a singolo thread.
Quindi, in definitiva, abbiamo bisogno che le cose cambino, abbiamo bisogno che le modalità benchmark dei giochi coprano l'intera gamma dell'esperienza effettiva. Questo significa una serie di cose ma, nello specifico, ci piacerebbe vedere l'inclusione di esplosioni vicine alla telecamera, AI nella quantità che troveremo nel gioco effettivo, orizzonti visivi e effetti che rappresentano la realtà del titolo sotto carico pesante. Un buon esempio di questo concetto è il benchmark di Grand Theft Auto 5: dopo una serie di bellissime immagini in time-lapse, inizia a punire severamente il nostro hardware portandoci a volare ad altissima velocità su un jet lanciato nei cieli prima di passare alla prospettiva del personaggio interpretato dal giocatore, in un mondo pieno di AI e di una quantità elevata di effetti visivi.
Precedentemente abbiamo menzionato dei benchmark che spingono le cose all'estremo, enfatizzando enormemente i potenziali problemi di prestazioni. Ne abbiamo un buon esempio in Metro Last Light, dove lo strumento in-game analizza gli scenari peggiori con una quantità enorme di AI e animazioni unite a effetti visivi molto vicini alla telecamera. Qualcuno potrebbe dire che tutto ciò sminuisca parecchio le reali performance del titolo ma risulta molto più utile per ottimizzare i settaggi rispetto a un benchmark che gonfia i dati o che non stressa affatto la CPU.
Ci piacerebbe molto che venissero inclusi anche dei report finali che mostrino la qualità delle prestazioni e dove sono stati riscontrati dei problemi. L'usanza standard di presentare solo la quantità minima, media e massima di frame non aiuta molto e certamente non informa su come il feeling generale del gioco possa essere intaccato da elementi come i cali della CPU nascosti dal v-sync, problematiche di fluidità dei frame o stuttering occasionale, tutti coperti dalla media del frame-rate. La soluzione perfetta sarebbe rappresentata da grafici frame-time per tutta la durata della demo per vedere dove e come si verificano questi cali. Gears of War lo fa perfettamente rendendolo uno dei migliori tool di benchmark mai visti. In breve, vorremmo vedere il tipo di dati offerti dal nostro nuovo widget di benchmark ma con una prospettiva più ampia nelle situazioni di test.
Far Cry 5 GTX 1060 vs RX 580: Ultra Settings
Ad esempio, quindi, vorremmo vedere più tipi di benchmark come GPU, CPU e test effettivi di gioco. I siti di hardware per PC conducono test specifici su componenti specifici: un benchmark CPU mostra come il gioco si comporta su diversi tipi di processore in situazioni di stress mentre un benchmark per i giochi può combinarli tutti per dare al consumatore una migliore comprensione di come sarà l'esperienza reale sul loro hardware.
C'è un altro miglioramento basilare, infine, che potrebbe fare la differenza: delle schermate di selezione delle impostazioni più intuitive. Gli utenti sono spesso confusi dalla quantità enorme di valori modificabili che non hanno nemmeno idea di cosa siano. Far Cry 5 di Ubisoft è un grande esempio di come possa essere migliorata questa situazione: ogni settaggio che andremo a personalizzare sarà rappresentato da un' immagine che ci mostrerà le differenze apportate da quella modifica. Sarebbe ancora meglio se i giochi permettessero di applicare modifiche alle impostazioni grafiche durante il gioco in modo da farci rendere conto degli effetti di quei cambiamenti in tempo reale, un po' come accade in ARMA 3 e Final Fantasy XV.
Tornando all'effettiva utilità dei benchmark, allo stato attuale delle cose c'è da chiedersi se l'esistenza di alcuni esempi poco accurati possa aver influenzato l'affidabilità delle recensioni dei vari componenti hardware. Ebbene, almeno per le schede grafiche, anche se i test non sono indicativi della vera esperienza di gameplay, essi rappresentano effettivamente le performance delle varie GPU sotto lo stesso carico di dati e, eseguendo la prova su un campione abbastanza nutrito, è possibile trarre conclusioni sulla potenza grafica dell'hardware preso in esame.
Quello che manca, tuttavia, è una buona analisi sui driver delle GPU e, in particolare, su come alcune schede grafiche possano funzionare con CPU meno potenti. È un elemento, questo, che può essere cruciale per il gameplay vero e proprio. Prendiamo ad esempio Call of Duty: Infinite Warfare: se accoppiamo un Pentium G4560 con GPU diffuse come la GTX 1060 o la RX 580, vedremo la scheda Nvidia svettare sulle altre mentre la AMD riscontrerà parecchie difficoltà arrivando addirittura ad un frame rate poco superiore ai 40 fotogrammi. Se, invece, cambiassimo il processore con un i5 o un i7 vedremmo la 580 come la chiara vincitrice per questo titolo specifico. È chiaro come i driver per le DX11 di AMD siano il vero problema qui, un fattore che rischia di non essere preso in considerazione in un mondo in cui le recensioni delle GPU si basano sui velocissimi processori i7.
Fa davvero riflettere su quanto siano utili le recensioni delle GPU, specialmente per quei sistemi dotati di CPU più vecchie come il sempreverde Core i5 2500K ma il fatto è che COD: Infinite Warfare non ha alcun tipo di modalità benchmark, e abbiamo scoperto questo dettaglio solo attraverso il nostro playtest. Aggiungere il '2500K' (o un altro processore qualsiasi a più bassa potenza) alla recensione di una GPU sembra una buona idea per mostrare come una nuova scheda grafica giri all'interno di un nuovo PC ma in realtà avremmo bisogno di modalità benchmark migliori da parte degli sviluppatori per misurare il tutto in modo più accurato.
Questo ci riporta al fatto che, allo stato attuale, solo una piccola parte di giochi PC sono dotati di un tool di benchmarking adatto a testare accuratamente le performance in ogni aspetto del sistema, costringendo i giocatori a modificare autonomamente le impostazioni in-game. Le modalità benchmark dei giochi devono evolversi in modo che gli utenti possano avere esperienze migliori iniziando a capire meglio il funzionamento del proprio hardware e, allo stesso tempo, i siti di recensioni di hardware per PC possano informare meglio i propri lettori sui migliori componenti da acquistare.