Succede più o meno sempre allo stesso modo. Un arciere cambia qualcosa nel proprio tiro, una presa dell'arco leggermente diversa, un ancoraggio corretto, qualche settimana di lavoro sulla schiena, e alla gara successiva fa quattro punti in più di quella prima. Il lunedì la conclusione è già tratta: ha funzionato. Se invece i punti fossero stati quattro in meno avrebbe concluso il contrario con la stessa sicurezza, e in entrambi i casi avrebbe usato lo stesso strumento per decidere, cioè il totale di una gara.
Quel totale, però, tiene insieme due cose che conviene separare: la bravura dell'arciere e il caso di quel pomeriggio. La parte che spetta al caso è molto più grande di quanto si immagini prima di vederla calcolata, e sapere quanto valga cambia parecchie cose pratiche: come si legge una classifica, quando ha senso dire che un atleta è più bravo di un altro, e soprattutto quanto tempo serve prima che il punteggio possa confermare un cambiamento tecnico.
Il conto si può fare, e la risposta è un numero: fra due arcieri di vertice, per dire con il novantacinque per cento di sicurezza chi dei due è il più preciso serve un distacco di una decina di punti abbondanti su settantadue frecce, e sotto i cinque punti la classifica dice quasi nulla. I calcoli vengono da un lavoro che ho pubblicato nel Laboratorio, dove sono svolti per esteso e il codice per rifarli è scaricabile; gli studi del registro aggiungono il resto, cioè quanto segnano davvero gli arcieri agonisti, che cosa vale un giro di prova più corto e quanto dica la categoria.
Settantadue frecce sono un campione finito
Un round di qualificazione è fatto di settantadue frecce, e settantadue frecce sono un campione finito esattamente come lo sarebbero settantadue misurazioni di qualunque altra cosa. Se la stessa persona, con la stessa identica bravura, ripetesse quel round dieci volte, otterrebbe dieci totali diversi, e la differenza fra il più alto e il più basso non sarebbe un dettaglio trascurabile.
Succede perché ogni freccia esce da una distribuzione di impatti attorno al punto di mira, e la posizione della singola freccia dentro quella distribuzione dipende dal caso e non dalla bravura. La bravura decide quanto è stretta la distribuzione, cioè quanto stanno vicine fra loro le frecce nel lungo periodo, mentre il totale di una gara specifica dipende anche da come sono andate quelle settantadue estrazioni particolari. Un arciere fortissimo può avere un pomeriggio in cui le frecce si dispongono sfortunatamente sui bordi degli anelli, e un arciere meno forte può averne uno in cui cadono tutte dalla parte buona della linea.
Per capire quanto pesi questo effetto serve un modo di tradurre i punti in qualcosa di fisico, perché finché si ragiona in punti il numero resta astratto e ognuno ci proietta l'importanza che preferisce.
Un punto vale sette decimi di millimetro
La traduzione esiste, ed è sorprendentemente stabile. Il saggio la calcola per il ricurvo a settanta metri, sulla visuale da 122 centimetri, e misura il gruppo con la sua ampiezza tipica, cioè di quanto le frecce si allontanano di solito dal centro in ciascuna direzione: non è il diametro del gruppo, che è parecchie volte più grande, ma la misura statistica da cui dipende tutto il resto. Fra 630 e 700 punti su 720 la relazione fra il punteggio atteso e questa ampiezza è quasi una retta, e un singolo punto di qualificazione corrisponde a circa sette decimi di millimetro, meno di un millimetro.
Le conseguenze si vedono subito: due arcieri separati da tre punti in classifica, che sulla griglia sembrano appartenere a due mondi diversi, differiscono di due millimetri scarsi, e otto punti, che a occhio sono un abisso, valgono cinque millimetri e mezzo. Per avere un riferimento, un arciere che vale mediamente 690 punti ha un'ampiezza di circa quattro centimetri e mezzo e mette nel dieci circa sei frecce su dieci; uno da 650 sta poco sopra i sette centimetri, e nel dieci ci arriva tre volte su dieci. Fra questi due livelli, che sul tabellone sono lontanissimi, corrono poco più di due centimetri e mezzo.
Del resto 630 punti su 720 sono già quasi nove punti per freccia, cioè la fascia di chi tira in nazionale. Negli studi che hanno misurato arcieri agonisti, sei campioni in cinque paesi, la media per freccia sta intorno a sette, non a nove: il campione più completo, sessanta arcieri indiani con esperienza di gare nazionali, parte da circa 7,4 su settantadue frecce. A quel livello la nuvola è più larga e il totale oscilla di più, tanto che in un gruppo di arcieri di club indonesiani intorno ai sette punti per freccia la deviazione standard fra le frecce dello stesso arciere vale circa due punti e mezzo. I numeri che seguono sono calcolati per il vertice, e per un arciere di club descrivono il caso più favorevole.
Chiedere a settantadue frecce di distinguere in modo affidabile due millimetri di differenza vuol dire chiedere a uno strumento più di quanto possa dare. Le frecce non sono poche in assoluto, ma la variabilità naturale del gesto, freccia dopo freccia, produce sul totale oscillazioni dello stesso ordine di grandezza della differenza che si vorrebbe misurare. Il segnale, insomma, è più piccolo del rumore che lo accompagna, e il passo successivo è misurare quanto valga quel rumore.
Due arcieri identici finiscono in media a cinque punti
Il modo più pulito per misurarlo è un esperimento che sul campo non si può fare ma che con il calcolo sì. Si prendono due arcieri di vertice davvero, esattamente identici, cioè con la stessa nuvola, la stessa bravura, nessuna differenza di alcun genere, e si fanno tirare settantadue frecce ciascuno come in una qualificazione. Poi si guarda quale distacco compare fra loro in classifica, sapendo che quel distacco non può essere prodotto da nient'altro che dal caso, perché per costruzione non c'è nulla che li distingua.
Il distacco medio fra due arcieri identici vale cinque punti, e una volta su tre supera i sei punti e mezzo. Fra due persone che sul bersaglio sono la stessa identica cosa verrebbe spontaneo immaginare uno o due punti di scarto, e invece ne compaiono cinque, con code che arrivano regolarmente più in là.
Chiunque abbia guardato una classifica di qualificazione riconosce l'ordine di grandezza. Al centro della classifica, lontano dalla testa e dalla coda, un punto vale da meno di una a quasi quattro posizioni secondo formato e divisione, e alla qualifica olimpica di Londra 2012, nel ricurvo maschile, ne valeva circa due. Cinque punti separano quindi arcieri lontani parecchi posti, ed è il distacco che di solito viene letto come una differenza di valore. Il conto dice che può essere prodotto interamente dal caso, fra due atleti che di valore ne hanno lo stesso.
Quanta fiducia dà un distacco
Dal distacco medio si arriva alla domanda che interessa davvero, cioè quanta fiducia si possa riporre in un distacco osservato. Quando in classifica un arciere di vertice sta cinque punti sopra un altro, la probabilità che sia il più preciso dei due, e non semplicemente quello a cui quel pomeriggio è andata meglio, si può calcolare per ogni distacco.
| Distacco in qualifica | Confidenza sull'ordine reale | Come si legge |
|---|---|---|
| 1 punto | 56% | Poco più di una monetina: l'ordine è indeterminato |
| 3 punti | 68% | Circa una volta su tre l'ordine reale è rovesciato |
| 5 punti | 79% | Un'indicazione, non ancora una prova |
| 8 punti | 90% | Il segnale comincia a staccarsi dal rumore |
| 12 punti | 97% | Differenza di precisione difficile da attribuire al caso |
| 16 punti | 99% | Praticamente certo |
La soglia convenzionale con cui in qualunque ambito si dice di aver stabilito qualcosa è il novantacinque per cento, e per raggiungerla serve un distacco di una decina di punti abbondanti. Sotto i cinque punti si legge in gran parte rumore, e ogni volta che due arcieri consecutivi in una classifica sono separati da uno, due o tre punti, cioè la situazione ordinaria in qualunque griglia serrata, il loro ordine reciproco è sostanzialmente indeterminato. La tabella vale fra due arcieri di vertice: più in basso il totale oscilla di più, e lo stesso distacco dice ancora meno.
Perché questi numeri sono ottimistici
Su questa tabella vanno dette due cose, e nessuna delle due la rende più indulgente. La prima riguarda quello che il calcolo tratta come ignoto: la confidenza è ricavata come se dei due arcieri non si conoscesse nulla in partenza, cioè come se, prima di guardare i punteggi, ogni possibile differenza di valore fra i due fosse altrettanto plausibile. In una griglia di gara, però, si sa benissimo che i concorrenti vicini in classifica sono quasi sempre vicini anche per valore, e tenerne conto renderebbe un distacco osservato ancora meno probante di quanto la tabella dichiari.
La seconda è che il conto misura soltanto il caso freccia per freccia, tenendo la forma dell'arciere perfettamente costante dal primo tiro all'ultimo. È il rumore che resterebbe se l'unica fonte di variazione fosse la dispersione del gruppo, mentre nella realtà vi si somma tutto ciò che il modello non guarda, cioè il sonno della notte prima, la condizione di quel pomeriggio, la testa, e quasi tutte queste cose allargano la forchetta invece di stringerla. La sola misura della variazione da un giorno all'altro viene dal kyudo: quindici arcieri universitari, venti frecce a 28 metri in due o tre mattine della stessa settimana, e fra il giorno migliore e il peggiore la media dei centri passa dall'83,7 al 61,7 per cento. Una parte di quella distanza la produce il caso, e lo studio non la separa; per questo nel registro l'affermazione che la precisione dell'arciere cambia molto da un giorno all'altro è riportata, con un solo studio a sostenerla.
C'è però un'eccezione che va nel verso opposto: un disturbo che colpisce entrambi gli arcieri allo stesso modo, come il vento che gira per tutti o la luce che cala sul campo, in parte si cancella nella differenza fra i due punteggi, e in quel caso il distacco diventa più informativo. Il segno netto di tutto ciò che il modello non guarda resta quindi una questione empirica, ma le fonti che colpiscono i due arcieri separatamente sono le più numerose, e per questo i cinque punti di distacco medio, con i dieci che ne discendono come soglia, vanno letti come una stima ottimistica dell'ambiguità reale di una classifica.
Che cosa farsene, leggendo una classifica
Per chi allena, quella stima ottimistica si traduce in una regola da usare ogni volta che si guarda un tabellone di risultati: se un atleta ha chiuso quarto invece che secondo, e fra lui e il secondo corrono tre punti, quel distacco da solo non stabilisce nessuna differenza stabile di precisione fra i due, e costruirci sopra un'analisi tecnica significa spiegare qualcosa che potrebbe non essere successo. Se invece è arrivato dodicesimo anziché quarto, con quindici punti di distacco, quello è un segnale affidabile, e conviene capire da dove viene.
Una classifica di qualificazione ordina bene i gruppi lontani fra loro e male i vicini: dice qualcosa di solido sul fatto che un arciere da 650 stia sotto uno da 690, e quasi nulla sull'ordine fra due vicini di classifica. Chi si misura contro il compagno di società che sta un paio di punti sopra o sotto insegue una differenza che il metro usato per stabilirla non riesce a vedere.
La stessa logica si applica al confronto fra due gare dello stesso arciere, che è il caso più frequente di tutti. Il totale di domenica scorsa e quello di domenica prossima differiranno di qualche punto quasi sicuramente, e quella differenza, presa da sola, non dice nulla su quello che è successo in mezzo. Per questo un arciere che voglia capire se sta migliorando ha bisogno di una strategia diversa dal confronto fra due numeri consecutivi.
Quante gare servono per dimostrare un miglioramento
Una via d'uscita c'è, e chiede di misurare di più, senza bisogno di tirare meglio: il caso di una singola gara non si può eliminare, ma si può diluire facendo la media di più gare, e la diluizione è rapida, perché la variabilità della media scende con la radice del numero di round. Quattro gare dimezzano l'incertezza rispetto a una sola, e nove la riducono a un terzo.
Da qui si arriva alla domanda pratica, cioè quante gare servano prima e dopo un cambiamento tecnico perché un miglioramento di una certa entità diventi dimostrabile. Per un arciere che tira intorno ai 650 punti, il conto dà questi numeri.
| Miglioramento reale | Gare necessarie per periodo | Che cosa vuol dire in pratica |
|---|---|---|
| 3 punti | 29 | Circa due stagioni di gare, prima e dopo |
| 5 punti | 11 | Una stagione piena per periodo |
| 8 punti | 5 | Alla portata di un calendario normale |
| 10 punti | 3 | Si vede in poche gare |
| 15 punti | 2 | Un salto che il punteggio riconosce subito |
Tre punti guadagnati in una stagione sono un ottimo lavoro tecnico, e per dimostrarli col punteggio servirebbe una trentina di gare, in pratica due stagioni. Dieci punti invece si vedono in tre gare per periodo. Fra questi due estremi ricade la maggior parte dei cambiamenti tecnici reali, ed è la ragione per cui il punteggio, da solo, raramente chiude la questione entro la stagione in cui il cambiamento è stato fatto.
Il livello, poi, sposta ancora le carte, e lo fa nel verso meno comodo. Lo stesso miglioramento di tre punti, per un arciere da 690, richiede tredici gare invece delle ventinove che ne servono a uno da 650, perché il totale di chi tira più stretto oscilla meno. Gli studi trasversali vanno nello stesso verso, e nel registro l'affermazione che gli arcieri più forti sono anche i più costanti è riportata, con un'avvertenza che qui torna utile: il legame è in parte geometrico, perché chi tira vicino al dieci ha poco spazio sopra di sé. L'arciere ancora in piena fase di cambiamento, che avrebbe più bisogno di un riscontro rapido, è quindi anche quello che deve aspettare più a lungo prima di averlo.
Un giro di prova e la categoria dichiarata
Se settantadue frecce faticano tanto, un giro più corto fatica di più. Nei club, e anche in alcuni studi di allenamento, come prova di precisione si usa un giro da trentasei frecce tirato in un giorno. Con metà delle frecce il distacco atteso fra due arcieri si dimezza, mentre il rumore cala molto meno, perché scende con la radice del numero di frecce: a parità di livello, un giro corto separa due arcieri vicini peggio di una qualifica intera. Un modello indipendente dà la scala: per un compoundista di vertice a cinquanta metri sulla visuale da 80 centimetri, con il mirino regolato bene e mai toccato, il totale oscilla da un giro all'altro con una deviazione standard di 2,7 punti su trentasei frecce e di 3,8 su settantadue, abbastanza, secondo l'autore, da nascondere piccoli miglioramenti o peggioramenti. Per un arciere barebow avanzato a cinquanta metri, uno studio di laboratorio stima per un giro di trenta frecce una deviazione standard di circa sei punti, e conclude che per avere di ogni configurazione dei pesi una media abbastanza stabile da confrontarla con le altre ne servirebbero fra 900 e 1.050.
Quanto sia ripetibile un giro da trentasei frecce da un giorno all'altro, tirato da arcieri, nessuno l'ha misurato. Due studi indonesiani di allenamento gli attribuiscono un'affidabilità di 0,825, ma in nessuno dei due il coefficiente è calcolato sul proprio campione, e per questo nel registro l'idea che trentasei frecce misurino il livello di un arciere in modo abbastanza ripetibile è segnata come non studiata. Un giro di prova basta forse a separare arcieri di livello lontano; per leggerci differenze di pochi punti non c'è una misura che lo autorizzi.
L'etichetta di categoria, del singolo arciere, dice ancora meno. Quando il livello è assegnato da fuori, con la convocazione in nazionale o l'appartenenza a una squadra, e il punteggio si misura dopo, in media il verso è quello atteso: dieci arcieri della nazionale turca avevano medie di 1296 e 1322 punti FITA nei due sottogruppi, contro 1157 e 1147 dei principianti di club, e sedici della nazionale cinese facevano 8,7 punti per freccia a settanta metri contro 6,8 della squadra di Pechino. Il divario però vale per il gruppo e non per il singolo: nella squadra di Pechino c'era chi arrivava a 8,2, sopra il più debole della nazionale, fermo a 7,7, e fra le squadre di liceo e d'università di Taiwan il salto vale 74 punti nel ricurvo e appena 7 nel compound, dove i punteggi sono già vicini al massimo. Per questo nel registro l'affermazione che chi è classificato a un livello più alto segna più punti è riportata: regge in media, su confronti fra gruppi diversi, e del singolo dice poco. Due studi piccoli aggiungono che nei gruppi più deboli i punteggi sono anche più sparsi da un atleta all'altro, e anche questa affermazione nel registro è riportata: la deviazione standard fra atleti era di 0,5 punti per freccia nella nazionale cinese e di 1,4 nella squadra di Pechino.
La lentezza del punteggio come misura
Tutto questo rischia di suonare come una demolizione del punteggio, e sarebbe una conclusione fuori strada. Il totale di una gara resta la misura più completa di cui disponiamo, perché al totale finale concorre tutto insieme: la tecnica come la tenuta sulla distanza, il vento come quello che succede nella testa quando il punteggio conta. Nessun indicatore parziale, per quanto preciso, contiene altrettante cose in un numero solo.
Quello che gli manca è la velocità. Una misura che tiene dentro tutto raccoglie anche tutta la variabilità di tutto, e per questo ha bisogno di tempo per stabilizzarsi. Il punteggio è quindi un ottimo strumento su una stagione e uno strumento scadente su una domenica, pur essendo lo stesso strumento: dietro il numero di una domenica ci sono settantadue frecce, dietro la media di una stagione qualche migliaio.
Ne segue un modo diverso di tenere i propri risultati: invece di confrontare l'ultima gara con la precedente, che è il confronto meno informativo possibile fra tutti quelli disponibili, conviene tenere una media mobile delle ultime quattro gare e guardare come si muove nei mesi. Quella media ha metà dell'incertezza di una gara singola, e soprattutto si muove poco, il che la rende noiosa da guardare ogni settimana ma affidabile quando si muove davvero.
C'è infine una conseguenza che riguarda le scelte di allenamento più che la lettura dei risultati. Se il punteggio impiega mesi a registrare tre punti di miglioramento, allora una stagione non basta per provare più di una o due strade diverse, e l'arciere che ogni sei settimane cambia impostazione perché "non si vedono risultati" azzera ogni volta l'accumulo di gare su cui la misura si baserebbe, e riparte da capo. Perché il punteggio dica qualcosa su una scelta tecnica, quella scelta deve restare in piedi per il numero di gare della tabella, che per tre punti di miglioramento sono una trentina.
Su che cosa si giudica un cambiamento, allora
La regola pratica è questa: un cambiamento tecnico non si giudica sul punteggio nel breve periodo, perché nel breve periodo il punteggio non ha la risoluzione per vederlo. Il limite sta nello strumento, prima ancora che nella pazienza di chi aspetta: si chiede a una misura di distinguere una differenza più piccola del suo margine di errore.
Il che non obbliga a restare senza riscontri per due stagioni: basta cambiare domanda. Il video mostra direttamente se il gesto che si voleva cambiare è cambiato, che è una domanda diversa e molto più facile di "sto tirando meglio", e la risposta arriva subito. La ripetibilità del gesto e la forma del gruppo danno informazioni che il totale nasconde, perché due arcieri con lo stesso punteggio possono raggruppare in modo molto diverso, e un gruppo che si allunga in verticale o in orizzontale suggerisce dove guardare, come racconto nell'articolo su come cresce il gruppo con la distanza. Anche il gruppo, però, si ricava dalle stesse frecce, e su un round solo resta incerto: nel saggio, un 690 ottenuto in una gara è compatibile, con il novantacinque per cento di confidenza, con un'ampiezza della nuvola ovunque fra 3,85 e 5,07 centimetri. Per questo conviene annotare dove cadono le frecce, non solo quanto fanno, e guardarlo su molte volée.
Al punteggio si chiede la conferma dopo, quando le gare si sono accumulate. È il rovescio esatto di come funziona di solito, cioè punteggio subito e sensazioni dopo, e nella pratica cambia soprattutto una cosa: toglie la tentazione di rimettere mano alla tecnica il lunedì dopo una gara storta, quando l'unico dato disponibile è un totale singolo, e un totale singolo non distingue un peggioramento reale da un pomeriggio in cui le frecce sono cadute dalla parte meno fortunata della linea.
La stessa misura, dentro il match
Un'altra conseguenza riguarda quello che succede dopo la qualificazione. Se settantadue frecce faticano a separare due arcieri vicini, un match di eliminazione diretta, che di frecce ne ha al massimo quindici più l'eventuale freccia di spareggio, li separa ancora peggio, e il calcolo si aspetta che le sorprese si concentrino fra arcieri di livello simile. Sui tabelloni il quadro è meno pulito, e nel registro l'affermazione che negli scontri diretti le sorprese arrivano quando i due arcieri sono di livello simile è contestata: nella prima tappa di Coppa del Mondo del 2013 le sorprese si vedono soprattutto dove il tabellone fa incontrare arcieri con posizioni di qualifica vicine, ma ai Mondiali dello stesso anno, con raffiche oltre i venti metri al secondo, nel compound molti arcieri di bassa classifica sono arrivati nelle posizioni alte.
È il punto in cui questo ragionamento si allaccia a una discussione più grossa, quella sul modo di contare i punti in un match. Nel saggio sul set system ho calcolato quanto costi, in precisione, decidere un match a set invece che sommando le frecce, e il risultato interessante è la proporzione più che il costo in sé: ci si accapiglia su un'aritmetica che sposta gli esiti di circa due punti percentuali, mentre lo strumento che stabilisce chi è il favorito, cioè il round di qualificazione, lascia indeterminato l'ordine di quasi tutte le coppie vicine. Il set system è un giudice leggermente grezzo che lavora su una graduatoria d'ingresso molto più grezza di lui.
Nel saggio ci sono il calcolo completo, le prove su quanto il risultato cambi con la forma della nuvola e il pacchetto di codice con cui chiunque può rifare i conti e controllare che i numeri pubblicati siano quelli che il calcolo produce.