La mattina delle eliminatorie il tabellone è affisso all'ingresso del campo, e accanto al primo nome c'è scritto 1. Quel numero viene letto da tutti nello stesso modo, cioè come un giudizio già emesso: quello è il più forte del campo, ha tirato meglio di chiunque altro il giorno prima, e da lì in avanti ogni suo risultato verrà pesato su quell'etichetta. Se esce ai quarti ha deluso, e se un numero trentadue arriva in semifinale ha sorpreso.
Quel numero, però, dice meno di quanto gli si attribuisce, e la distanza si può calcolare. In un campo di vertice simulato con arcieri di bravura nota, il primo classificato è davvero il migliore arciere presente poco più di una volta su sette; i primi otto sono davvero gli otto migliori quattro volte su diecimila; e ciascuno entra in tabellone con un'etichetta fuori posto, in media, di otto posti e mezzo. Gli errori di conteggio e i giudici distratti non c'entrano: la causa sta nel rapporto fra quanto è fine la domanda e quanto è preciso lo strumento con cui le si risponde.
I conti del modello vengono da un lavoro che ho pubblicato nel Laboratorio, dove il calcolo è svolto per intero e le assunzioni sono dichiarate una per una. Verso la fine li metto accanto a quello che mostrano i risultati delle grandi gare internazionali, che raccontano l'altra metà della storia: la classifica sbaglia spesso l'ordine fine, ma la zona in cui si chiude la qualifica pesa molto su chi arriva alle medaglie.
Come è fatta una gara
Nel ricurvo olimpico si comincia con un round di qualificazione in cui tutti tirano settantadue frecce a settanta metri, su una faccia larga centoventidue centimetri e divisa in dieci zone circolari della stessa larghezza, 6,1 centimetri l'una. Dentro il dieci c'è la X, un anello interno largo 6,1 centimetri che vale dieci punti come il resto della zona e si conta a parte per sciogliere le parità. Il massimo teorico è settecentoventi punti, e dai totali di quella giornata esce la classifica.
La classifica non assegna medaglie: il suo compito è stabilire gli accoppiamenti. In un tabellone da sessantaquattro, come quello olimpico, il primo incontra il sessantaquattresimo, il secondo il sessantatreesimo, e così via. Da lì la gara diventa eliminazione diretta, con sei turni da superare e sessantatré match per arrivare a un vincitore, trentadue dei quali al primo turno. I singoli match si giocano a set da tre frecce, al massimo cinque, con due punti-set a chi vince il set, uno a testa in caso di pareggio, e sei punti-set per chiudere il match: è l'aritmetica di cui ho scritto altrove.
Questo articolo riguarda soltanto il primo anello della catena, cioè che cosa misura la classifica e con quanta precisione. Il formato dei set e la freccia di spareggio vengono dopo e non servono a rispondere.
Che cosa vuol dire "il migliore"
Prima dei numeri va dichiarato il criterio, perché senza quello le percentuali non significano niente. Nel lavoro da cui vengono, il migliore è definito in un modo solo e piuttosto stretto: è l'arciere che, mettendosi in linea, si attende in media il punteggio più alto. Nessun'altra qualità entra in quella definizione, e l'esclusione è voluta.
Restano quindi fuori la tenuta nervosa nei finali, la capacità di leggere il vento che gira, la freddezza sulla freccia di spareggio e il talento di rimettersi in piedi dopo un set perso, che gli arcieri riconoscono benissimo e che nessuno considera irrilevanti. Chi non accetta quella definizione di bravura non ha motivo di correggere i numeri che seguono, perché quello che respinge è la domanda a cui rispondono: il disaccordo riguarda la definizione e lascia intatti i calcoli.
I tre numeri
Per misurare quanto valga una classifica si fanno tirare arcieri di bravura nota, cioè con un punteggio atteso deciso in partenza, e si conta quante volte l'ordine prodotto dalle loro settantadue frecce coincide con l'ordine reale. Ripetendo l'operazione su sessantamila round di qualificazione per ciascuno scenario si ottiene una risposta che non dipende più dal caso della singola giornata. Per un campo compatto, con sessantaquattro arcieri distribuiti fra i 690 e i 665 punti, i risultati sono questi.
| Che cosa si chiede alla classifica | Quanto spesso ci riesce |
|---|---|
| Mettere primo il migliore del campo | 14,2 volte su 100, poco più di una su sette |
| Mettere nelle prime otto caselle gli otto migliori | 4 volte su 10.000 |
| Collocare ciascun arciere al posto che gli spetta | errore medio di 8,6 posti |
La prima riga ha una traduzione che rende bene l'ordine di grandezza: in un circuito da sette gare l'anno, la testa di serie numero uno è in media l'arciere più forte presente una volta sola, e nelle altre sei lo è qualcun altro, senza che nessuno se ne accorga perché il tabellone non lo dice.
La seconda riga è quella che sorprende di più. Che gli otto arcieri seduti nelle prime otto caselle siano davvero gli otto più bravi del campo capita quattro volte su diecimila, cioè meno di una gara su duemila. Quando si discute di proteggere le teste di serie, quindi, si protegge un gruppo di otto che quasi mai coincide con gli otto giusti.
La terza dice la stessa cosa in una forma più maneggiabile. Con otto posti e mezzo di errore medio su una griglia da sessantaquattro, il numero accanto al nome indica una zona della classifica più che una casella: chi meriterebbe il decimo posto si ritrova, in media, fra il secondo e il diciannovesimo.
Perché una misura buona produce una classifica cattiva
La spiegazione non sta in un difetto della qualificazione, perché come strumento di misura settantadue frecce funzionano bene. Messe a confrontare due arcieri distanti dieci punti, li ordinano correttamente novantacinque volte su cento, cioè sbagliano una volta su venti.
Il problema nasce dalla domanda che a quello strumento si fa. Nel campo compatto i sessantaquattro concorrenti stanno tutti dentro venticinque punti, quindi due vicini di classifica sono separati in media da quattro decimi di punto e non da dieci. Su un divario così le stesse settantadue frecce indicano il più bravo 52,9 volte su cento, quasi come una monetina; e siccome una classifica da sessantaquattro nomi si regge su sessantatré confronti fra vicini, quell'incertezza si somma lungo tutta la lista invece di restare confinata a una coppia.
L'immagine che il saggio usa per dirlo è quella di una bilancia da cucina. La bilancia funziona, e distingue senza esitazioni un sacchetto di farina da un altro che pesa cento grammi di più. Qui però le si chiede di mettere in fila sessantaquattro sacchetti che differiscono di un grammo l'uno dall'altro, e in un compito del genere nessuna bilancia da cucina può riuscire, per quanto sia buona.
Quattro decimi di punto, visti sul bersaglio
Per rendersi conto di quanto sia sproporzionata quella richiesta conviene tradurre i punti in qualcosa di fisico. Il modello descrive ogni arciere con un numero solo, l'ampiezza del suo gruppo, cioè la distanza tipica a cui le frecce si fermano dal centro (la sigma della statistica). Per un arciere da settecento punti vale 3,78 centimetri; a 690 vale 4,46, a 680 5,14, a 670 5,81, a 660 6,49, e più si scende di punteggio più cresce, con una regolarità quasi perfetta.
L'ampiezza non è il diametro del gruppo che si vede sulla faccia, che è sempre molto più largo: un arciere con un'ampiezza di quattro centimetri e mezzo mette due frecce su tre dentro un cerchio di poco più di tredici centimetri. Detto in gialli, un arciere da settecento punti mette nel dieci settantadue frecce su cento, uno da 630 ventidue.
Con quella traduzione in mano, dieci punti su settecentoventi smettono di sembrare un dettaglio. Passare da 680 a 690 vuol dire ridurre l'ampiezza di quasi sette millimetri, cioè di circa il tredici per cento, e fra 690 e 700 la stessa decina vale il quindici. Due arcieri distanti dieci punti si differenziano per qualcosa che settantadue frecce riconoscono nel novantacinque per cento dei casi.
Quattro decimi di punto, invece, valgono poco più di mezzo punto percentuale di ampiezza, che su quattro centimetri e mezzo fa poco più di un quarto di millimetro. Chiedere a settantadue frecce di separare due arcieri che differiscono per un quarto di millimetro significa chiedere una risoluzione che quel numero di tiri non possiede, e la classifica risponde con l'unica cosa che può produrre, cioè un ordine deciso in larga parte dal caso fra i vicini.
Dipende da chi c'è in gara
Tutti i numeri visti finora valgono per un campo compatto, e la stessa qualificazione si comporta molto meglio quando il campo è fatto diversamente. Senza questa precisazione il discorso suonerebbe come un'accusa alla misura invece che come la descrizione di un limite.
| Come è fatto il campo | Il primo è il migliore | Le prime otto sono giuste | Errore medio |
|---|---|---|---|
| Compatto, da 690 a 665 punti | 14,2% | 0,04% | 8,6 posti |
| Bimodale, 16 atleti fra 692 e 680 più 48 fra 655 e 630 | 24,8% | 1,9% | 6,8 posti |
| Disperso, da 695 a 625 punti | 32,4% | 5,1% | 4,1 posti |
In un campo disperso, dove fra il primo e l'ultimo corrono settanta punti invece di venticinque, l'errore medio scende a meno della metà e il primo classificato è il migliore quasi una volta su tre. Chi legge i risultati di una gara regionale invece che di una tappa di Coppa del Mondo, quindi, trova un piazzamento che porta più informazione. Il saggio osserva anche che in una gara così il migliore si vede a occhio, per cui la misura conta meno proprio dove funziona meglio.
La riga che pesa resta la prima, perché un campo di vertice tende a essere compatto: ci si arriva selezionando, e la selezione elimina i lontani e lascia in gara quelli che si somigliano. Man mano che si sale di livello, quindi, la classifica di qualificazione diventa meno informativa e non di più, che è il contrario di come viene letta.
Raddoppiare le frecce non risolve
La proposta ovvia consiste nel tirare di più, e va nella direzione giusta senza cambiare la sostanza. Portando la qualificazione a centoquarantaquattro frecce, in un campo compatto il primo classificato diventa il migliore nel 18,9 per cento dei casi invece che nel 14,2, i primi otto risultano giusti nello 0,3 per cento e l'errore medio di posizione scende da 8,6 a 6,5 posti.
È un guadagno reale, e costa il doppio del tempo di qualifica a ogni gara del calendario. Resta però una classifica che mette il migliore al primo posto meno di una volta su cinque, e il motivo per cui rende così poco è aritmetico: la precisione di una misura ripetuta cresce come la radice quadrata del numero di prove, quindi per dimezzare l'incertezza bisognerebbe quadruplicare le frecce.
Le parità e le distanze dal centro
Dentro la qualificazione ci sono due leve più piccole, misurate anch'esse perché se ne discute spesso nei campi. La prima sono i criteri con cui si sciolgono le parità di punteggio, cioè il conteggio dei dieci e degli X. Rispetto a una classifica in cui i pari merito vengono sorteggiati, contare gli X porta la probabilità che il primo sia davvero il migliore dal 14,0 al 14,2 per cento, e aggiungere il conteggio dei dieci non la sposta.
La seconda leva è più radicale e consiste nell'ordinare la qualificazione per distanza delle frecce dal centro invece che per punteggio, recuperando così l'informazione che le zone buttano via ogni volta che arrotondano un impatto al punteggio della zona. Quella funziona: il primo diventa il migliore 15,9 volte su cento invece di 14,2, e l'errore medio scende da 8,6 a 7,7 posti. Sul titolo, però, l'effetto resta di mezzo punto percentuale, per una ragione che si capisce guardando come il tabellone usa la classifica.
Il pedaggio del piazzamento
Un errore di otto posti e mezzo non resta confinato al primo turno, perché il tabellone continua a fidarsi della classifica per tutta la durata della gara. Il lavoro misura questo costo separatamente e lo chiama pedaggio del piazzamento: si fa girare la stessa struttura due volte, una con i piazzamenti che rispecchiano la bravura reale e una con quelli prodotti dalla qualificazione, e si guarda quanto si perde nel passaggio.
Ogni struttura paga in proporzione a quante volte consulta la classifica. Il tabellone standard, che la interroga una volta sola all'inizio, perde sette decimi di punto percentuale sulla probabilità che il titolo finisca al migliore. Il ripescaggio dei quarti, che la riconsulta per ricollocare chi è stato eliminato, ne perde un punto e sei. Il riseeding, che ricompone gli accoppiamenti a ogni turno e quindi interroga il piazzamento sei volte, ne perde quattro e otto.
Le strutture che sulla carta correggono meglio gli accoppiamenti sono quindi anche quelle che si appoggiano di più a una misura imprecisa, e pagano di più per farlo. Il pedaggio non le rende peggiori in assoluto, perché il vantaggio che portano può superarlo, ma spiega perché il bilancio netto risulti sempre più magro di quanto la logica del formato lascerebbe sperare.
Perché una classifica più giusta non basta
Da tutto questo verrebbe naturale concludere che basti migliorare la qualificazione. Il lavoro prova anche quella strada, con un risultato che va contro l'intuizione: portando l'accordo fra classifica e ordine reale da 0,81 a 0,99, cioè comprando una misura quasi perfetta, il tabellone standard passa dal 9,7 al 10,4 per cento di titoli assegnati al migliore, una differenza che resta dentro il rumore di quella simulazione e quindi equivale a non guadagnare niente.
Il motivo è che il tabellone consulta la classifica per decidere chi incontra chi, e non per sapere chi sia il migliore: quello che conta è come distribuisce gli avversari lungo tutti i match, e su quella distribuzione una classifica perfetta cambia poco, perché continua a mandare metà del campo a eliminarsi al primo turno. Gli stessi dati, applicati a una struttura con riseeding, portano invece dall'11,1 al 14,0 per cento: la stessa misura migliore rende quattro volte tanto, appena la struttura è in grado di usarla.
L'ordine delle operazioni, quindi, è il contrario di quello che si sente proporre più spesso: prima si cambia la struttura, poi si migliora la misura. Fare il contrario, che è anche la cosa più facile da decidere perché non tocca il regolamento delle eliminatorie, nel modello non produce risultati misurabili.
Chi vince davvero il titolo
Passando dalla classifica al torneo completo, la domanda cambia: quanto spesso l'oro finisce al migliore arciere presente in gara. Nel modello, con la struttura in vigore oggi, succede 9,7 volte su cento, cioè una gara su dieci.
Le due cifre misurano cose diverse e vanno tenute separate. Il 14,2 per cento riguarda la classifica, cioè quanto spesso il primo in qualifica è il migliore del campo, ed è una proprietà della misura; il 9,7 riguarda l'intero torneo, cioè quanto spesso il titolo finisce nelle mani del migliore dopo sei turni di eliminazione diretta, ed è una proprietà della gara. Nessuna delle due dice quante volte la testa di serie numero uno vinca la gara: parlano di chi è il migliore, non di chi vince.
La leva che sposta davvero la seconda cifra sta nella provenienza del piazzamento più che nella precisione della qualificazione. Usando la graduatoria di stagione al posto del punteggio del giorno, e ricomponendo gli accoppiamenti a ogni turno, il titolo va al migliore 13,7 volte su cento invece di 9,7: quattro titoli in più ogni cento edizioni, senza una freccia o un minuto di gara in più, ma con un cambiamento nel modo in cui si compone il tabellone. Anche così, in sei gare su sette il titolo continua ad andare a qualcuno che non è il più bravo del campo, e questa è una proprietà dell'eliminazione diretta più che un difetto correggibile.
Che cosa il conto non guarda
Questi numeri escono da uno studio di modello e non da una raccolta di risultati di gara, e il saggio lo dichiara in apertura: nessun dato di gara reale è stato usato. Gli arcieri sono profili costruiti, definiti dal loro punteggio atteso, e i tre campi di partecipanti sono composti a tavolino, con gli intervalli di punteggio dichiarati uno per uno. Anche i venticinque punti che separano il primo e l'ultimo di un campo compatto sono un'assunzione dichiarata, non una misura fatta sui campi di Coppa del Mondo.
Sui valori simulati il saggio raccomanda di leggere due cifre e non tre, e di considerare inesistenti le differenze inferiori a mezzo punto percentuale: quando scrivo 9,7 o 13,7 quelle cifre portano con sé un margine di qualche decimo, e i confronti vanno fatti con quel margine in mente. La stessa quantità, misurata da corse diverse dello stesso modello, compare altrove con cifre leggermente diverse.
Infine, il verso dei limiti è dichiarato: quattro delle cinque semplificazioni del modello spingono verso una capacità di distinguere minore di quella calcolata, non maggiore. Il vento, per esempio, allarga i gruppi di tutti, e gruppi più larghi rendono i vicini ancora più difficili da separare. Per questo il saggio legge i suoi numeri come limiti superiori più che come stime centrali.
Che cosa mostrano le gare internazionali
Il modello dice quanto la classifica sbagli l'ordine fine. I risultati delle grandi gare internazionali mostrano l'altra faccia, cioè quanto pesi comunque la zona in cui si chiude la qualifica. In una tappa di Coppa del Mondo e ai Mondiali del 2013 quasi solo chi aveva chiuso la qualifica entro il ventesimo posto è arrivato alle finali per le medaglie; contando tutte le 182 grandi gare internazionali dal 2000 al 2014, l'oro è andato a chi era fra i primi sedici della qualifica nel 90 per cento dei casi, fra i primi otto nel 76 e fra i primi quattro nel 54. Nel registro l'affermazione che le medaglie vanno quasi sempre a chi chiude la qualifica tra i primi 20 è riportata: le due analisi sono dello stesso autore, su dati che in parte si sovrappongono e su formati di gara che nel frattempo sono cambiati, per cui la soglia dei venti va letta come un ordine di grandezza.
Le due letture non si contraddicono, perché rispondono a domande diverse. Il modello chiede se la classifica mette il migliore esattamente al primo posto, e la risposta è quasi mai; le gare chiedono da quale fascia della classifica esce il vincitore, e la risposta è quasi sempre dalla testa. Un errore medio di otto posti e mezzo sposta un arciere di qualche casella, non dalla testa alla coda: chi meriterebbe il decimo posto, come si è visto, resta in media dentro i primi venti. Il tabellone, a sua volta, mette chi sta in alto contro i classificati più in basso nei primi turni.
In qualifica, poi, i punti si convertono in posizioni in fretta. Nel tratto centrale delle classifiche internazionali all'aperto, sulle 72 frecce, una posizione vale fra 0,39 e 0,84 punti secondo la divisione: un punto vale cioè da poco più di una posizione a circa due e mezza, e al chiuso, sulle 60 frecce, si arriva a quasi quattro. In testa ci sono di solito pochi punteggi staccati e in coda la classifica crolla, quindi il conto vale solo per il centro. Anche l'affermazione che in qualifica un punto vale da meno di una a quasi quattro posizioni è riportata, perché tutti i conti vengono dallo stesso autore.
I quattro decimi di punto fra vicini del campo compatto stanno all'estremo fitto di quella forbice, vicino ai valori delle divisioni maschili. Il confronto è solo indicativo: i punteggi di una classifica reale contengono anche il caso della giornata, che allarga le distanze rispetto a quelle fra i livelli reali degli arcieri.
Che cosa farsene, leggendo una classifica
Per l'arciere le conseguenze sono due, e vanno tenute insieme. La prima è che il proprio piazzamento, come misura di bravura, è un'etichetta rumorosa, e lo è allo stesso modo quello dell'avversario. Quattro posizioni nel centro di una classifica all'aperto valgono fra un punto e mezzo e poco più di tre, e una differenza così non stabilisce chi dei due sia più preciso: con tre punti di distacco su settantadue frecce la confidenza sull'ordine dei due arcieri non supera il 68 per cento, come ho calcolato in quanti punti servono per dire che un arciere è più bravo di un altro.
La seconda è che, come fatto di gara, la posizione conta lo stesso. Nel centro di una classifica all'aperto ogni punto sposta il proprio nome di più di una posizione, e le posizioni in alto decidono contro chi si tira nei primi turni e, a giudicare dalle gare internazionali, chi ha una possibilità concreta di arrivare alle medaglie. Il punto lasciato nella prima volée dice poco su quanto si valga, ma in classifica si paga lo stesso.
Vale anche il rovescio, da tenere a mente la sera prima di un match: incontrare il numero uno del tabellone non significa incontrare il migliore del campo, perché nel modello quel numero indica il migliore poco più di una volta su sette.
Per chi allena, il risvolto è che il piazzamento di una singola gara non è materiale su cui costruire una valutazione, mentre lo diventa la serie dei piazzamenti lungo una stagione. Il motivo è lo stesso per cui la media di più gare stringe l'incertezza di un punteggio, mentre il punteggio di una gara sola la lascia larga.
Dove finisce questo discorso
Il volume da cui vengono i conti del modello va molto oltre la qualificazione: misura le strutture alternative di tabellone, il ripescaggio, la doppia eliminazione, i formati di match e le graduatorie di stagione, e arriva a un listino di quanto costa e quanto rende ciascuna scelta di regolamento. Il risultato che tiene insieme tutto è la sproporzione fra ciò di cui si discute e ciò che pesa. Cambiare il formato con cui si tirano le frecce del match cambia l'esito di circa un terzo di match su sessantatré, mentre lo strumento che decide chi incontra chi lascia quasi indeterminato l'ordine delle coppie vicine, e di solito nessuno lo mette in discussione perché produce una lista di numeri che sembra un verdetto.