Metacritic: è un parametro affidabile per l'industria?

Da A Scientific Assessment of the Validity and Value of Metacritic.

Metacritic, nel giro di qualche anno, è divenuto uno degli strumenti più influenti nel mercato dei videogiochi. Questo principalmente grazie al suo potere di sintetizzare in un unico valore numerico i voti delle principali testate videoludiche mondiali. Il segreto è che non si tratta di una semplice media matematica, a calcolare quella sarebbero in grado tutti, ma di una media pesata, basata su di un algoritmo segreto. In altre parole ogni sito o rivista ha un proprio punteggio, dato in base alla qualità degli articoli e alla dimensione della struttura, che andrà applicato ad ogni suo voto e definisce il peso della rivista all'interno del Metascore.

Questa procedura non è un segreta, ma è pubblicamente esplicitata nello 'statuto' dello stesso sito:

"Metascore is a weighted average in that we assign more importance, or weight, to some critics and publications than others, based on their quality and overall stature."

Non si tratta di una semplice media matematica, ma di una media pesata.

Quello che Adams Greenwood-Eriksen della Full Sail University e i suoi studenti hanno provato a fare è capire il valore scientifico di Metacritic e se il Metascore può essere utilizzato come parametro affidabile per determinare la qualità o meno di un videogioco. In altre parole, quanto influisce il diverso peso dato ad ogni voto sulla media finale? Con che criteri vengono stabilite le categorie?

Questo perché è ormai evidente che l'industria vede in Metacritic uno strumento indispensabile per capire in maniera più o meno oggettiva se un gioco è di qualità. Sono state diverse le affermazioni di alti dirigenti che indicavano il punteggio conseguito sul sito come unico indicatore per capire su un gioco è stato un successo o meno.

Tutto questo senza considerare la stretta correlazione tra il Metascore e il numero di copie vendute. Secondo Adams Greenwood-Eriksen la correlazione tra un buon punteggio Metacritic e successo al botteghino è molto alta, pari allo 0.72 per quanto riguarda gli action, gli sparatutto in prima persona e i giochi di ruolo su Xbox 360 e PlayStation 3.

Il caso più eclatante è quello di THQ, società che nel marzo 2011 ha visto crollare il valore delle sue azioni in seguito alla pubblicazione dei voti di Homefront, decisamente inferiori rispetto alle attese degli investitori. La tiepida accoglienza si è poi riflessa in vendite molto deboli, testimoniate anche dal laconico 5,6 affibbiato dagli utenti di fianco al 70 della stampa. In altre parole questo flop ha determinato l'aggravarsi della situazione economica del publisher americano, giunto alla bancarotta in questi mesi. Diversi editori, quindi, vedono in quel numero un indicatore piuttosto attendibile della qualità di un loro gioco e dunque un possibile parametro per decidere se elargire o meno dei bonus supplementari agli sviluppatori o se investire in un eventuale seguito.

Adams Greenwood-Eriksen ha provato a chiedere ai gestori del sito di condividere la formula utilizzata per stabilire il peso delle varie pubblicazioni, ottenendo però un netto rifiuto.

Ma come funziona Metacritic? Greenwood-Eriksen ha provato a chiedere ai gestori del sito di condividere la formula utilizzata per stabilire il peso delle varie pubblicazioni, ottenendo però un netto rifiuto. Quello che si sa è come il sito lavora: quotidianamente Metacritic raccoglie i voti solo delle pubblicazioni che si sono rivelate "affidabili" e li inserisce all'interno dei suoi database. Non prima di aver applicato alla valutazione un modificatore basato sul rispetto che i responsabili di Metacritic nutrono per la testata che ha inviato la recensione.

Per provare a capire come il sito assegna i vari pesi, il professore e i suoi ragazzi hanno studiato per circa sei mesi tutti i voti provenienti dalle 188 pubblicazioni che alimentano quotidianamente Metacritic. Incrociando i vari risultati hanno estrapolato 6 categorie di peso, che dovrebbero determinare l'influenza di una testata rispetto ad un'altra.

Si va da un valore di 1.5 di testate come Ign.com, The New York Times, Machinima e Gametrailers allo 0.25 di Meristation e InsideGamer.nl. Eurogamer.it, secondo lo studio, sarebbe il sito italiano con maggior peso, essendo l'unico a 1.25 nella seconda categoria insieme a EDGE, CVG e Gamespot. Questo gli permette di sopravanzare di un quarto di punto anche i ben più blasonati cugini di Eurogamer.net.

Evitiamo di riproporvi i calcoli, ma ovviamente, l'intero studio è sostenuto da diverse prove incrociate che dovrebbero confermare la teoria di Greenwood-Eriksen. L'unico caso in cui vi è una minima varianza dello 0,2% che ha fatto arrotondare il numero ottenuto per difetto e non per eccesso è Deadliest Catch, ma per il resto sembra che i risultati tornino sempre.

Per provare a capire come il sito assegna i vari pesi, il professore e i suoi ragazzi hanno studiato per circa sei mesi tutti i voti provenienti dalle 188 pubblicazioni che alimentano quotidianamente Metacritic.

Osservando i risultati ottenuti, Greenwood-Eriksen sostiene che la media viene fatta su parametri troppo rigidi basati su assunti molto personali, che non vanno a tenere conto di chi in effetti recensisce il gioco e di possibili cattive interpretazioni del giudizio sintetico, tutti elementi che potrebbero invalidare l'attendibilità del Metascore.

Essendo Metacritic uno strumento piuttosto importante per l'industria in grado di sintetizzare -anche se rozzamente- il valore dato ad un gioco, Adams Greenwood-Eriksen si domanda se il metodo utilizzato per ottenere questa media sia sufficientemente affidabile. I ricercatori si chiedono, infatti, con che criterio alcune testate di proprietà di grandi catene di negozi o ufficialmente supportate dai produttori possano avere un peso maggiore di realtà indipendenti o siti con un volume di traffico ridicolo essere più attendibili di colossi dell'editoria.

Questa mancanza di un criterio oggettivo per categorizzare le testate videoludiche, impedirà al Metascore, secondo gli autori del keynote, di poter essere usato come parametro scientificamente valido e dunque affidabile per l'industria. La mancanza di trasparenza nel calcolo del peso di ogni voto, oltretutto, potrebbe consentire facili manipolazioni che, con così tanti soldi in ballo, rischiano di essere davvero pericolose, determinando infatti il successo o meno di intere società.

Per questo motivo vengono proposti tre cambiamenti per rendere Metacritic uno strumento più affidabile: basare il calcolo su di un sistema di pesi più razionale e meno basato sul giudizio dei proprietari del sito, dare la possibilità comparare e categorizzare i vari pesi e dare modo di avere valutazioni personalizzabili.

Ovviamente la risposta ufficiale di Metacritic non si è fatta attendere.

Ovviamente la risposta ufficiale di Metacritic non si è fatta attendere. Innanzitutto il sito sottolinea come i dati riportati da questo studio siano solo frutto di supposizioni, ma soprattutto che queste supposizioni sono assolutamente erronee, sia nel numero di categorie utilizzate (molte meno secondo Metacritic), sia nella differenza tra i vari pesi. Inoltre il valore di una pubblicazione viene costantemente aggiornato in base all'attendibilità che questa dimostra giornalmente.

Questo studio non è nemmeno riuscito a spingere gli autori di Metacritic a sciogliere le riserve sul metodo da loro utilizzato, lasciando quindi aperte alcune domande piuttosto lecite sull'effettiva validità del Metascore come parametro oggettivo per definire la qualità di un gioco e dunque sul quale determinare le fortune di un'intera azienda.

Voi cosa ne pensate?