Warren Spector: Metacritic dovrebbe essere irrilevante - articolo

Per meritarsi di far parte di un mio "editoriale", un argomento deve riguardare qualcosa su cui ho riflettuto parecchio, un problema che non ho saputo risolvere o una domanda a cui ancora non ho dato risposta. Questa volta, ho iniziato con una domanda che mi ha perseguitato per molti anni (sì, già da prima che uscissero le recensioni di Epic Mickey!). La domanda è: "perché tutti danno così tanta importanza a Metacritic?"

Ma mentre riflettevo sull'argomento, cercando di trasformarlo in un editoriale che valesse la pena leggere e che non suonasse come una lamentela fine a sé stessa e piena di cliché, ho realizzato che quello a cui stavo realmente pensando, e a cui probabilmente tutti dovremmo pensare, era una questione molto più grande. L'argomento di cui dovremmo realmente parlare è il modo in cui definiamo il "successo" nel mondo dei videogiochi, come lo misuriamo e come impieghiamo queste misurazioni per trarne conclusioni differenti.

Ho cominciato pensando ai voti, ovviamente, ma anche a come le recensioni si rapportano o meno con l'analisi critica, e come le differenti parti dell'industry bilanciano esigenze artistiche e commerciali. Chiaramente Metacritic è parte della risposta ma è soltanto una parte, appunto. Affronteremo comunque il discorso di Metacritic, ma non soltanto quello, come invece avevo pensato inizialmente. Quindi, cominciamo a parlare del criterio di "successo".

Ovviamente, esiste il successo personale, individuale. Parlo di cose come la notorietà (la gente che ti riconosce in strada), il rispetto o l'influenza (persone che riconoscono il tuo lavoro e ammirano il tuo contributo al settore in cui operi), la ricchezza, eccetera. Questi sono elementi interessanti ma più per uno psicoterapeuta che non per un game developer come me. Non è questo il tipo di successo di cui voglio discutere qui.

Quello che invece mi interessa è il modo in cui identifichiamo il successo individuale di un gioco. Con migliaia di giochi prodotti e offerti ogni anno, questo è un argomento fondamentale per gli sviluppatori, per i publisher, per i giocatori e persino per i critici e gli storici, il cui lavoro è spiegare e raccontare il nostro medium a noi e alle generazioni future. Come troviamo un equilibrio nel descrivere il successo commerciale e di critica, e quali sono i fattori più importanti che vi possiamo identificare? Come si rapportano i videogiochi con gli altri media? E come comunichiamo il modo in cui un gioco si colloca nel contesto storico dell'industria e dei media in generale, o invece ne esce per la sua unicità?

Inutile dire che questi sono interrogativi enormi e che io non sono nemmeno vicino alla possibilità di rispondervi in modo esaustivo e definitivo. Ed è proprio qui che entrate in gioco voi, ovviamente: io vi esporrò i miei pensieri e poi sarete voi a dirmi con cosa siete d'accordo o meno. Non mi deludete!

Videogiochi e arte commerciale

"Un gioco deve generare almeno un minimo di incassi e, cosa più importante, di profitti. Ma che fine fa allora il lato artistico?"

Chiaramente, i giochi sono un'arte commerciale e il successo in un medium commerciale richiede che ci si focalizzi sul lato "di mercato" dell'equazione. Un gioco deve generare almeno un minimo di incassi e, cosa più importante, di profitti.

Ma che fine fa allora il lato "artistico"? Il mio approccio personale al game design è di offrire ai giocatori una serie di modi diversi per comportarsi e consentire loro il più possibile di definire autonomamente cosa sia il successo. Perché i vari azionisti che prendono parte alla creazione di un videogioco non dovrebbero avere un simile potere? Beh, la definizione "arte commerciale" è piuttosto ambigua, e mette gli azionisti individuali in condizione di avere in mente concetti molto differenti di "successo".

Per esempio, la maggior parte dei publisher (se non tutti) pensa innanzitutto agli incassi e al profitto, ed essendo questo il loro lavoro non è una sorpresa. Questo è un indicatore di successo piuttosto semplice, no? "Il gioco ha fatto soldi, sì/no?" (In realtà, la determinazione della redditività è sorprendentemente complessa, almeno tanto quanto i fogli Excel che ospitano le cifre di un progetto, ma a livello generale capite cosa intendo...).

I giocatori invece definiscono il successo in modo diverso, generalmente identificando una serie di caratteristiche piuttosto vaghe come principali indicatori: la "giocabilità" (qualsiasi cosa significhi), la "longevità" (ossia il valore per i soldi spesi), l'approvazione degli altri appassionati, eccetera. Molti sviluppatori si allineano con la visione dei publisher e mettono gli incassi e il profitto in cima alla loro lista di definizione del successo. Altri invece considerano più importanti fattori come la creatività o le qualità espressive.

Del resto, quando ti lanci in un progetto devi sapere quali sono le tue priorità. Qualcuno deve prendere la decisione. Se quel qualcuno sei tu, i tuoi finanziatori devono sapere quali sono gli obiettivi che individui. Se invece sono i manager finanziari, devi sapere che ritorno economico si aspettano. In ogni caso, il team di sviluppo deve sapere queste cose. Si tratta di un campo minato che va attraversato con consapevolezza e molta attenzione. L'esito della vostra carriera dipende molto dalla capacità di capire questa dinamica e di saper negoziare con gli azionisti dei vostri progetti.

Io sono stato fortunato - o pazzo - abbastanza da poter sempre individuare il metro del mio successo in modo piuttosto autonomo. E il mio metro raramente è collegato a questioni di vendite o profitti. Prima che un accordo di sviluppo venga concluso, io dico sempre ad ogni manager finanziario coinvolto nel progetto una cosa: "il mio scopo è quello di vendere le copie necessarie a far sì che qualcuno finanzi il mio prossimo progetto, non una di più".

"Il mio scopo è quello di vendere le copie necessarie a far sì che qualcuno finanzi il mio prossimo progetto, non una di più"

Non intendo dire che il lato commerciale non mi interessi assolutamente. Bisogna comunque fare almeno un po' di soldi con un gioco per evitare che la propria carriera sia finita. Ma se andate a rileggere il "manifesto" culturale che scrivemmo per Ion Storm e Junction Point, scoprirete che avevamo priorità molto diverse dalla santissima trinità "Vendite-Incassi-Profitti".

"Chiunque dica "io voglio creare giochi per un pubblico ristretto" è probabilmente un bugiardo"

Per esempio, i progetti su cui ho scelto di lavorare mettono in cima alla lista la "capacità di espressione del giocatore". Se i giocatori non riescono a raccontare le loro storie, creare esperienze uniche e scegliere il loro stile di gioco, allora il titolo non è degno di essere creato. Non importa quanti soldi si potrebbero fare con un tipo di videogame diverso. La mia idea di gioco "di successo" si basa su altre priorità.

Allo stesso modo per me è fondamentale "l'innovazione", identificata come l'inclusione di un qualcosa nel gioco che nessuno ha mai visto prima. A mio modo di vedere, è meglio fallire tentando di fare qualcosa di nuovo (e sensato) piuttosto che avere successo facendo la stessa cosa già vista e sentita.

Cominciare lo sviluppo di un gioco senza provare a raggiungere i più alti standard di qualità sembra una missione deprimente, eppure raggiungere i livelli da "gioco dell'anno" è un fatto raro e straordinario. E ottenere ottime recensioni è sempre una bella cosa, ma anche queste vengono dopo l'obiettivo di innovare e dare ai giocatori la possibilità di esprimersi, almeno questa è la mia visione.

Alla fine della fiera, tutti noi vogliamo ottenere il "successo" in tutte le sue possibili accezioni, ed essere riconosciuti a tutti i livelli e da tutte le persone. Tutti vogliamo creare un qualcosa di artistico che eppure venda come il top del mercato, ci faccia guadagnare un sacco di soldi e ottenere l'ammirazione di pubblico e critica. Chiunque dica "io voglio creare giochi per un pubblico ristretto" è probabilmente un bugiardo, e chi dice "al diavolo l'arte, io voglio solo fare soldi" probabilmente non ha la capacità di fare né l'una né l'altra cosa.

Il fatto è che pochi di noi si approcciano all'idea "platonica" di arte, successo di mercato e riconoscimento pubblico nella stessa maniera. E questo significa che ognuno deve decidere per sé stesso come definire il successo. Per me, il successo è raggiungere uno stato di soddisfazione interiore, sapere che il mio team ha raggiunto gli obiettivi nel modo migliore possibile, date le circostanze. Per me, il successo è riuscire a mantenere le priorità che si ritengono le più giuste. Per me, il successo è avere un risultato sufficiente a livello commerciale, tanto da poter trovare altri finanziatori per il mio prossimo gioco.

Ma nel corso degli anni le recensioni e gli aggregatori di voti hanno sviluppato un ruolo sempre più importante, fino ad essere ormai accettati come identificatori "ufficiali" del successo. I publisher li usano per determinare i budget di PR e marketing, i piani di distribuzione e persino le royalties da pagare agli sviluppatori.

"Le previsioni sui voti che un gioco prenderà tendono a diventare profezie auto-avveranti"

Spesso, "consulenti" che provengono dalla stampa vengono assunti dai publisher per esprimere un giudizio pre-release sui giochi in sviluppo. Tali consulenze includono giudizi sul gameplay, sulla storia, sulla grafica, e persino una previsione sui voti che il gioco potrà ottenere sulle pubblicazioni di settore. Servizi del genere sono solitamente offerti da ex-giornalisti, le cui opinioni diventano istantaneamente molto più importanti nel momento in cui smettono di scrivere effettivamente sulle testate per dedicarsi a questo nuovo lavoro di consulenza. Una cosa che io non riuscirò mai a capire. Per dirla schiettamente, nella mia esperienza questi consulenti raramente dicono cose su gameplay, grafica o storia che i developer non sappiano già.

Ma i publisher, che probabilmente dovrebbero fidarsi un po' di più della loro stessa esperienza e dei loro giudizi, danno un grande peso a questo tipo di valutazioni, pensando che possano riflettere in qualche modo quelle che poi saranno le recensioni ufficiali all'uscita di un gioco. E, cosa ancora più importante, usano questo tipo di valutazioni per fare previsioni sul successo commerciale che un gioco avrà una volta uscito sul mercato.

Perché tutto questo è importante? Beh, come ho già detto, questa dinamica influenza i budget dedicati al marketing, oltre ad avere un impatto sulla quantità di copie inviate ai negozi eccetera. In altre parole, le previsioni sui voti che un gioco prenderà tendono a diventare profezie auto-avveranti, con giochi che ottengono la performance attesa perché quella stessa performance viene influenzata dal modo in cui il gioco viene trattato, che a sua volta nasce dalle previsioni sulla sua performance.

"Abbiamo bisogno di riflettere maggiormente sullo scopo di una recensione. Solo così facendo riusciremo ad avere recensioni migliori"

A seguito della release, il riconoscimento o meno del successo di un gioco esce dalle mani dei consulenti ed entra nella sfera di influenza di due gruppi, con agende differenti ma collegate. Il primo riconoscimento della "qualità" di un gioco spetta ai giocatori, che offriranno i loro commenti di apprezzamento o critica sui forum e nelle conversazioni con gli amici. E poi ci sono le recensioni sulle varie pubblicazioni, che vengono aggregate in un singolo punteggio "finale" da siti come Metacritic.

Ovviamente, i giocatori hanno tutto il diritto di valutare la qualità di un gioco e di condividere le loro opinioni con gli altri giocatori. Ma le recensioni? Questa è una storia completamente diversa. Noi (giocatori, sviluppatori, publisher e recensori) abbiamo bisogno di riflettere maggiormente sullo scopo di una recensione. Solo così facendo riusciremo ad avere recensioni migliori e a capire come interpretarle al meglio, che siamo manager dell'industria, creativi o consumatori.

"Nel mondo del gaming è diffusa la credenza che l'obiettivo di una recensione sia quello di dire se un titolo è bello o brutto"

Nel mondo del gaming è diffusa la credenza che l'obiettivo di una recensione sia quello di dire ai giocatori se un titolo è "bello" o "brutto". Solitamente vengono descritti accuratamente il genere, la storia e gli elementi di gameplay per informare i giocatori del tipo di gioco a cui vanno incontro. I recensori generalmente offrono delle motivazioni per le quali il gioco può piacere o non piacere. Ma, fondamentalmente, sembra che i recensori esistano solo per dire se un gioco è bello o brutto, con scarsa o nulla considerazione per i criteri di "successo" che ho descritto prima. Il risultato finale è un punteggio come "96 su 100", o "3.5/5" e così via.

Francamente, io credo che questa indicazione non sia sufficiente, e che manchi completamente il vero obiettivo di una recensione.

Quando leggo una recensione dei pionieri della critica cinematografica (come Roger Ebert, Pauline Kael, Judith Christ ecc.), ovviamente mi interessa sapere se il film è bello o brutto. In fondo parlo di persone che hanno un'esperienza tale da far sì che la loro opinione a riguardo sia importante. Il vero valore della loro recensione, però, è un altro, ed è una cosa che al giorno d'oggi manca completamente nelle recensioni di videogiochi.

Il loro valore sta nel fatto di rappresentare una "voce critica" continua e coerente. I grandi critici non si concentrano solo sul fatto che un prodotto sia bello o brutto. I loro giudizi sul successo o il fallimento di un film sono supportati da considerazioni di base, una sorta di "filosofia", che vengono applicate a tutti i film su cui sono chiamati a dare un giudizio.

Non importa che voi concordiate o meno con il loro giudizio su un singolo film... loro stessi sono spesso in forte disaccordo l'uno con l'altro! Quello che conta è che, leggendo i loro articoli, voi possiate filtrarli con la vostra esperienza ed i vostri gusti per determinare se il film piacerà a voi o no.

Per offrire un servizio del genere, un critico deve avere una voce costante e coerente, una filosofia di base da applicare a tutti i giochi - e queste caratteristiche devono essere chiare ai lettori. Tutto questo mi sembra assente nelle recensioni odierne. Commenti categorici come "questo gioco fa schifo!" o "l'IA è pessima" o "il gioco merita 4/5" non mi dicono nulla di quello che ho veramente bisogno di sapere.

Ma cosa ha a che fare tutto questo con Metacritic, che poi è l'argomento principale che mi ha portato a scrivere questo editoriale?

"Non c'è dubbio che esista un certo fascino nell'aggregare dozzine di recensioni individuali in un punteggio cumulativo

Non c'è dubbio che esista un certo fascino nell'idea di aggregare dozzine di recensioni individuali per ottenere un punteggio in qualche modo "cumulativo" che indichi la qualità del gioco. Viviamo in tempi di numeri e statistiche, ed è comune ritenere che tutto possa essere quantificato scientificamente. In un certo senso, chi la pensa così ha ragione.

Uno sviluppatore (che mi ha chiesto di rimanere anonimo) ha commentato dicendo che "Metacritic è una buona intersezione delle voci del mercato e dei trend esistenti, ma spesso è incapace di giudicare correttamente cose che raggiungono altri pubblici o provano a fare nuove cose. Troppe delle fonti vanno sul sicuro, premiando solo cose che è comune premiare. Così noi continuiamo a credere che esista un mono-giudizio culturale. Una cosa che fa male sia alla scoperta che alla diversità."

Seguendo questa logica, nel migliore dei casi Metacritic premia i giochi convenzionali che vengono recepiti senza problemi dalla critica e dai giocatori. Le cose più "nuove" e ambiziose sono per loro stessa natura "diverse", e quindi più facilmente fraintendibili. L'aggregazione di giudizi "convenzionali" potrà dunque tornare utile al massimo a chi cerca di ottenere risultati dal punto di vista finanziario sfruttando la prevedibilità del mercato, ma non aiuta in nessun modo coloro i quali identificano altre priorità di successo (come quelle definite precedentemente).

"Se ci affidiamo a Metacritic dovremmo chiederci se il pubblico e la stampa sono veramente "saggi" abbastanza da riconoscere la qualità"

Se ci affidiamo a Metacritic considerandolo una misura "scientifica" della qualità, dovremmo probabilmente chiederci se il pubblico e la stampa sono veramente "saggi" abbastanza da riconoscerla questa qualità, o se piuttosto sono incapaci di dare il giusto merito a ciò che è nuovo e differente. Prima di commentare queste mie parole, prendetevi un attimo di tempo e date un'occhiata alla lista dei giochi dal ranking più alto...

Ma oltre agli interrogativi sulla sua utilità, ci sono altri due aspetti di Metacritic e dei suoi metodi che ne limitano la credibilità ai miei occhi, e che credo dovrebbero mettere in discussione la precisione a la validità dei suoi stessi dati.

Innanzitutto, l'aggregazione dei dati è effettuata in base ad una selezione "scremata" di recensioni. Per esempio, conosco pubblicazioni che hanno dato voti perfetti a Epic Mickey (persino superiori al voto che io stesso gli avrei dato!) e che semplicemente non sono state inserite nella media di Metacritic. E stiamo parlando di siti di alto profilo, conosciuti e rispettati. Dall'altro lato della medaglia, i voti peggiori che abbiamo ricevuto provenivano generalmente dal Sito Di Mr. Nessuno, che eppure era presente nella media Metacritic. So che questo può sembrare un commento acido, e siete liberi di interpretarlo così se ritenete. Ma quando in ballo ci sono la possibilità di continuare a realizzare progetti futuri, i bonus da destinare ai team e altre questioni fondamentali del genere, non credo che sia sbagliato domandarsi quali siano i criteri alla base dei quali una recensione viene o meno inserita nella lista che poi andrà a fare media su Metacritic.

"I voti peggiori che abbiamo ricevuto provenivano generalmente dal Sito Di Mr. Nessuno, che eppure era presente nella media Metacritic"

In secondo luogo, la media risultante proviene da una ponderazione effettuata sulla base di calcoli e algoritmi che solo Metacritic conosce. Non ho idea di quali siano i criteri a riguardo, ma mi pare di capire che certe recensioni "pesino" di più di altre nel determinare il punteggio globale di un gioco. Condivido il concetto di base, ma non sapendo esattamente chi è che pesa di più e chi di meno, non posso sapere se i criteri adottati siano o meno validi.

Allo stesso modo, la conversione dei voti attribuiti in lettere (A, B+ ecc) in numeri è del tutto arbitraria. Anche la conversione dei voti da 1 a 10 o da 1 a 5 nel voto in centesimi introduce una serie di problemi. Una "B" equivale a 80? Chi lo decide? Tre stelle su cinque è un 60? Di nuovo: chi l'ha detto? E a che conseguenze porta una decisione del genere?

In un certo senso, tutte queste domande sui numeri vengono appianate dal fatto che tutte le limitazioni del sistema si applicano equamente a tutti i titoli (o almeno così spero...). Però tutto questo lascia intatta la domanda: un aggregatore di recensioni può essere considerato un indicatore significativo del "valore" di un gioco? Che cos'è che viene misurato realmente da queste statistiche? Qual è il criterio di "successo" preso in esame da un sistema del genere?

Usiamo ancora i miei giochi come esempio. I titoli dal ranking più alto su cui ho lavorato personalmente sono Deus Ex e Thief. Fantastico. Sono enormemente orgoglioso dei team che hanno reso grandi quei giochi (almeno ai miei occhi!). E chi non ama avere un punteggio altissimo assegnato ad un proprio prodotto? Per non parlare dei premi che ne derivano e dal credito che si acquista con i publisher.

Al contrario, i capitoli di Epic Mickey sono tra i giochi peggio recensiti ai quali io abbia lavorato. Eppure sono orgoglioso anche dei team che hanno lavorato su questi ultimi, nonché dei giochi stessi.

E volete sapere una cosa? Nonostante il punteggio di Metacritic sia tra i più bassi, Epic Mickey è il mio titolo più venduto in assoluto, e di un margine abbondante. Il suo seguito, Epic Mickey: The Power of Two, è il mio secondo gioco più venduto in trent'anni di carriera. I giornalisti e alcuni giocatori avranno anche preferito Deus Ex e Thief (e ho i messaggi dei fan per provarlo!), ma ho ricevuto molti più messaggi di apprezzamento e ringraziamenti, nonché disegni, per i giochi di Epic Mickey che per i due Deus Ex su cui ho lavorato messi insieme. Poco importa allora quello che dice Metacritic: rispetto al suo giudizio, valuto senza dubbio di più la risposta dei fan e il loro apprezzamento. Il mio criterio di successo (dare ai giocatori il potere di creare loro stessi le proprie esperienze, e offrire loro cose che non sono mai state fatte o viste prima in un gioco) può farmi considerare "riusciti" giochi che invece ottengono una scarsa performance su Metacritic.

"Il mio criterio di successo può farmi considerare "riusciti" giochi che invece ottengono una scarsa performance su Metacritic"

Dove ci porta, dunque, questo ragionamento? La mia conclusione è la seguente: assicuratevi di definire il criterio di successo in ogni vostro progetto con la stessa certezza e precisione con cui definite aspetti quali il gameplay, il lato tecnico, artistico ed economico. Da quel momento in poi, sarà quel concetto che voi stessi avete individuato a guidarvi attraverso tutte le vostre decisioni di sviluppo.

Se sarete fortunati e/o testardi abbastanza, potrete misurarvi con il vostro criterio di successo o fallimento, e vostro soltanto, a prescindere da quello che stabiliranno i finanziatori o la tirannia delle recensioni aggregate.

Se non sarete fortunati abbastanza (immagino che la testardaggine non sia un problema per un game developer!), dovrete far partecipare persone esterne e collaboratori alla definizione di questi obiettivi, ma non svendete mai le vostre priorità, anche a costo di tenerle "nascoste". La soddisfazione personale dipende dagli obiettivi personali, e lo sviluppo di videogiochi è una cosa troppo complessa per essere affrontata senza una possibilità di trarne soddisfazione personale.

Che si tratti di una decisione personale o collettiva, assicuratevi che tutti abbiano ben chiaro qual è il criterio di successo che vi siete posti, così che la performance successiva possa essere misurata in base a quel criterio. Se il criterio prescelto è Metacritic, o un servizio di aggregazione simile, è bene esserne consapevoli fin da subito. Se invece il criterio prescelto è la risposta dei fan attraverso i loro messaggi, considerate solo quel tipo di risposta. Se quello che volete è influenzare gli altri sviluppatori e il mercato, sarà quel tipo di risultato a identificare il "successo" o meno del vostro titolo (ad esempio con le citazioni degli altri developer, le opinioni della comunità dello sviluppo eccetera).

Alla fine della fiera, dobbiamo capire che "successo" è una parola con molte sfaccettature, che possono cambiare a seconda della persona che la pronuncia. Scegliete con attenzione il significato che le attribuite e imparate a convivere con le gioie - o i dolori - che seguiranno alla vostra scelta. Con questa filosofia, la vita diventa come un videogioco. Se solo ci fossero più videogiochi come la vita! La mia definizione di successo è proprio questa: rendere i giochi più simili alle esperienze di vita vera, e incoraggiare gli altri a seguire la stessa strada. Qual è la vostra?