Metacritic fa male all'industria? - editoriale

Pochi giorni fa, le parole di uno sviluppatore di Naughty Dog hanno riaperto con clamore un dibattito in realtà mai sopito nella comunità dei giocatori e degli sviluppatori: il popolare aggregatore di recensioni Metacritic fa male alla games industry?

Si tratta di un interrogativo spinoso, che da anni emerge con puntuale frequenza generando forti controversie e opinioni piuttosto radicalizzate. Tenteremo dunque di trovare una risposta equilibrata, partendo dall'analisi di ciò che Metacritic è e di ciò che realmente fa.

Innanzi tutto, Metacritic si occupa da circa 10 anni di raccogliere le recensioni delle pubblicazioni mondiali, online e cartacee, relative a svariati media: non soltanto videogiochi ma anche film, musica, show televisivi e in precedenza anche libri. È interessante sottolineare il fatto che, al momento, solo l'industria e i fan dei videogiochi sembrano preoccuparsi così tanto dei presunti effetti negativi dell'esistenza di Metacritic, mentre gli altri media attribuiscono alla questione un'importanza molto minore (sebbene una certa discussione, comunque, esista). Ciò, però, non dimostra molto: conferma soltanto che l'industria dei videogiochi, nei suoi meccanismi interni e di mercato, funziona ancora molto diversamente dal mondo del cinema o della musica.

È arcinoto infatti che buona parte dei publisher di videogame (ossia quelli che, solitamente, mettono i soldi per la produzione e la distribuzione) misuri la prestazione dello sviluppatore (che concretamente realizza il titolo) in base alla media voto finale ottenuta su Metacritic. Dal momento che gran parte dei contratti di sviluppo prevedono per il developer un bonus monetario nel caso in cui il gioco superi una certa media voto, è chiaro come Metacritic diventi istantaneamente di fondamentale importanza per uno sviluppatore di videogame.

Tra i numerosi casi della storia è ad esempio noto quello di Bungie che, per colpa della non entusiasmante media di 76% ottenuta da Destiny, avrebbe perso un bonus da ben 2,5 milioni di dollari, sicuramente significativo per qualunque sviluppatore. Obsidian, addirittura, ha mancato il bonus di Fallout: New Vegas per un solo punto percentuale: il gioco ha infatti un metascore di 84 ma il contratto col publisher garantiva il bonus solo a partire dalla media dell'85.

Ovviamente ci si potrebbe chiedere se non sia l'intero sistema dei bonus ad essere sbagliato e se non ci sia bisogno di nuovi metodi per definire il rapporto economico tra publisher e sviluppatori. In ogni caso sono cronache come queste che hanno nel tempo costruito la narrativa di Metacritic come sito controverso o, addirittura, "nocivo" all'industria nel suo insieme. Riprendiamo ad esempio le dichiarazioni dello sviluppatore di Naughty Dog citato in apertura, secondo il quale "il problema è il modo in cui Metacritic giudica la qualità". Il che, inevitabilmente, fa sorgere la domanda: quali sono i criteri impiegati da Metacritic per ottenere la sua media voto finale?

A riguardo c'è una certa confusione, dalla quale cercheremo di sgombrare il campo. Metacritic non si limita a fare una semplice media aritmetica di tutti i voti assegnati da tutte le pubblicazioni mondiali: se così fosse, e la media risultante fosse semplicemente l'addizione di tutti i punteggi divisa per il loro numero, nel lavoro di Metacritic non ci sarebbe niente di speciale e il Web sarebbe sicuramente affollatissimo di siti che realizzano la stessa, banalissima operazione.

Il lavoro di Metacritic, che gli ha consentito di diventare un sito così popolare e soprattutto influente nella nostra industria, è in realtà più complesso, anche se l'esatta misura di questa complessità non ci è nota, dal momento che su alcuni dei propri criteri la dirigenza del sito mantiene una certa dose di riserbo.

Quello che sappiamo lo apprendiamo, in maggior parte, direttamente dalla pagina ufficiale "about metascores", nella quale si legge ad esempio che la media finale è "ponderata" in base ad una serie di modificatori diversi che vengono assegnati ad ogni pubblicazione, verosimilmente in base al suo peso nell'industria e alla sua attendibilità. L'elenco di questi "moltiplicatori" è stato ricostruito, con una sorta di opera di reverse engineering, da un gruppo di ricercatori e pubblicato dal sito Gamasutra, anche se Metacritic si è affrettata a criticare subito l'attendibilità di tale studio, dichiarando che i risultati ottenuti sono distanti da quelli reali.

(Una curiosità: nell'elenco rivelato da Gamasutra, Eurogamer.it è l'unico sito italiano ad avere un moltiplicatore "positivo" di 1,25x e ad ottenere dunque un peso maggiore nel calcolo della media voto mondiale.)

Oltre a questo dettaglio, ne conosciamo altri più controversi: Metacritic, ad esempio, utilizza una propria scala arbitraria per convertire in centesimi i voti che sono espressi tramite altri sistemi (come la scala da 1 a 5 stelle, oppure il sistema alfabetico all'americana). Inoltre, come riporta Wikipedia, persino alcune recensioni puramente testuali (e dunque senza "voto") verrebbero analizzate e convertite in un giudizio numerico, sempre calcolato arbitrariamente da Metacritic. Quest'ultimo caso appare senz'altro discutibile ma, conoscendo l'editoria di videogiochi e l'enorme preponderanza dei sistemi di voto numerici al suo interno, sembra applicabile ad una parte davvero minima delle pubblicazioni.

Tali dettagli sono valutati anche all'interno di un altro studio approfondito realizzato da un'associazione no-profit, che costituisce un'interessante lettura e conclude che "i dati di Metacritic lasciano molto a desiderare". La chiave di volta dell'intero studio, però, appare poco solida a chi conosce le meccaniche "sociologiche" dell'industria dei videogiochi: nelle sue 30 pagine si confrontano, infatti, i dati raccolti sul metascore della critica con quelli relativi allo user score degli utenti, e si fa notare come tra i due vi sia spesso una forte discrepanza.

Una verità che qualsiasi frequentatore di siti e forum di videogiochi conosce intuitivamente e che, crediamo, più che dimostrare quanto poco affidabile sia lo score di Metacritic, evidenzia quanto volatile e alle volte isterico sia il giudizio degli utenti (che, per altro, non devono nemmeno dimostrare in alcun modo di aver effettivamente giocato il titolo in questione prima di dare il loro giudizio). Difficile spiegare in altro modo trattamenti come il 3.9 riservato a Diablo III, che non sarà forse il capolavoro in cui molti speravano ma che difficilmente si può dipingere come uno dei giochi peggiori della storia.

Insomma, è evidente che i criteri adottati da Metacritic per realizzare il proprio metascore non possano definirsi scientificamente impeccabili e che si possa anzi sottoporli a critiche di diversa natura, ma al tempo stesso il lavoro statistico svolto dal sito non è così semplice e banale come si potrebbe pensare inizialmente. È inoltre tutto da dimostrare che i suoi criteri arbitrari (come le scale impiegate per convertire i voti da stelle o lettere in centesimi) non siano, in fin dei conti, statisticamente adeguati.

Terminato il capitolo dedicato alla "metodologia", pensiamo dunque alle conseguenze e agli effetti concreti di Metacritic sul mercato e sull'industria in generale. Chiaramente, per uno sviluppatore mancare un corposo bonus monetario per "colpa" del metascore dev'essere molto seccante, ed in alcuni casi può portare a problemi finanziari piuttosto seri. Ma se un bonus dev'esserci, viene allora da chiedersi a quale altro (e più affidabile) criterio esso si potrebbe collegare.

Chi dice che tale criterio dovrebbe essere il successo del gioco sul mercato non considera il fatto che sulle vendite di un titolo influiscono numerosi fattori, tra i quali, ad esempio, la campagna di marketing: un aspetto totalmente nelle mani del publisher e sul quale lo sviluppatore non ha, spesso, alcun controllo.

La storia è colma di titoli ritenuti di grandissima qualità dalla critica e amatissimi dai fan, che però non hanno venduto adeguatamente sul mercato. In quei casi è evidente che la "colpa" non è del developer, che anzi ha svolto il suo lavoro con indubbia abilità e merita dunque l'assegnazione di un eventuale bonus, nonostante lo scarso successo del prodotto. Stabilito dunque che l'unico criterio adeguato per misurare la prestazione di uno sviluppatore è e deve rimanere la qualità, e che le vendite non necessariamente sono proporzionali ad essa, l'interrogativo rimane: come si misura la qualità?

Eliminata dall'equazione la possibilità di utilizzare, come termine di paragone assoluto, il giudizio degli utenti (per le motivazioni sopra espresse e l'evidenza riportata dai fatti), al momento il cerchio sembra chiudersi e riportare proprio alla media Metacritic, seppur nella sua imperfezione e nonostante la giusta dose di controversie generate.

Metacritic, in poche parole, è uno strumento e come ogni strumento può essere utilizzato bene o male. Di certo, una games industry sempre più frenetica e ultra-competitiva può produrre dei notevoli danni nel momento in cui un singolo metascore può determinare la sopravvivenza finanziaria di un developer o meno. Ed è altrettanto vero che la media Metacritic non può essere presa, specialmente dai lettori, come indicazione univoca della qualità di un gioco.

Quest'ultima dipende, in ultima analisi, dai gusti e dalle preferenze personali, pertanto non si può pretendere di assegnarle un valore universale, come non si possono riassumere in un singolo numero la quantità di considerazioni, argomentazioni e critiche contenute in centinaia di articoli differenti. Il consiglio dato ai lettori è sempre e comunque quello di informarsi il più possibile, leggere recensioni (in particolare scritte da autori che si conoscono e di cui si condividono i gusti) e, quando possibile, rivolgersi anche al sacro parere degli amici e degli utenti fidati.

Nel complesso, però, ci sembra che attribuire a Metacritic un ruolo assolutamente ed esclusivamente "nocivo" all'interno dell'industria sia ingeneroso e scorretto. Metacritic sicuramente può, e forse dovrebbe, migliorare nella precisione dei suoi criteri statistici, ma preso con la giusta prudenza e utilizzato nel modo corretto può comunque dare una prima indicazione importante sulla qualità media di un titolo e un colpo d'occhio interessante sul giudizio della stampa mondiale, nonché degli utenti più equilibrati.