Apprendimento automatico e talento nel tiro: Musa 2019

Cinquanta giovani arcieri malesi, 37 ragazzi e 13 ragazze fra i 13 e i 20 anni, inseriti in programmi di sviluppo verso le gare statali e nazionali, hanno fatto sei test fisici standard e una prova di tiro: sei frecce a 50 metri, dopo quattro tiri di prova, su un campo allestito come in gara. I test erano presa della mano al dinamometro, salto verticale, salto in lungo da fermo, equilibrio su una gamba, piegamenti sulle braccia in un minuto e addominali in un minuto.

Messi tutti insieme in una regressione lineare multipla, solo due test si associano al punteggio: il salto verticale (beta standardizzato 0,391, p = 0,018) e gli addominali, che gli autori chiamano forza del core (beta 0,299, p = 0,026). Presa, piegamenti, salto in lungo da fermo ed equilibrio su una gamba non risultano associati. Gli autori hanno poi usato un'analisi dei gruppi gerarchica su punteggio, salto verticale e addominali per dividere i cinquanta in «arcieri di alto potenziale» e «arcieri di basso potenziale», e hanno addestrato sei varianti di k-nearest neighbour e una regressione logistica a riconoscere i due gruppi.

Confrontando i due gruppi così costruiti, la differenza è netta sul punteggio (t = 5,870, p = 0,0001) e sul salto verticale (t = 5,725, p = 0,0001), ma non c'è sugli addominali (t = 0,307, p = 0,760): la misura del core, significativa nella regressione, non distingue i due gruppi. Fra i classificatori il k-NN pesato arriva all'82,5 ± 4,75% di accuratezza, seguito dalla regressione logistica all'80,0 ± 5,45%, con un coefficiente di correlazione di Matthews di 0,49 e 0,40. Lo stesso k-NN pesato ha però una precisione del 50%: metà degli arcieri che chiama di alto potenziale non lo sono secondo l'etichetta.

I partecipanti venivano da vari programmi di sviluppo in Malesia, con il consenso scritto loro e dei genitori per i minorenni, e l'approvazione etica dell'istituto sportivo di Terengganu. Prima dei test fisici c'è stato un riscaldamento di 5-10 minuti di corsa leggera e stretching. La prova di tiro è stata fatta prima dei test fisici, non dopo.

I sei test seguono protocolli standard. Piegamenti sulle braccia e addominali, su un materassino, per un minuto ciascuno, alternati, una volta sola: sono le misure che gli autori chiamano forza della parte alta del corpo e forza del core. L'equilibrio è lo standing stork test, cronometrato, scalzi, mani sui fianchi, sull'avampiede di una gamba con l'altro piede contro il ginocchio interno, fino a perdere la posizione. La presa è misurata con un dinamometro regolabile Takei, in piedi, spalla addotta e in rotazione neutra, gomito esteso. Il salto in lungo da fermo è a piedi pari su un materassino, tre tentativi, il migliore dei tre. Il salto verticale è misurato con un Vertec, con le palette regolate all'altezza in piedi dell'arciere, tre tentativi, il migliore dei tre.

L'analisi ha tre passaggi. Primo, una regressione lineare multipla con il punteggio come variabile dipendente e i sei test come indipendenti, per scegliere le variabili. Secondo, un'analisi dei gruppi gerarchica agglomerativa, fatta con XLSTAT 2014 sulle tre variabili rimaste (punteggio, salto verticale e addominali), che produce le due classi di alto e basso potenziale. Terzo, l'addestramento dei classificatori in MATLAB 2016a: sei varianti di k-NN (fine con k = 1, coarse con k = 100, e medium, cosine, cubic e weighted con k = 10, con distanza euclidea, del coseno o di Minkowski al cubo) e una regressione logistica, valutate con validazione incrociata a cinque parti su 40 osservazioni, più dieci casi tenuti fuori dall'addestramento. Le misure di qualità riportate sono accuratezza, sensibilità, specificità, precisione, tasso di errore e coefficiente di correlazione di Matthews.

Il titolo parla di prevedere, ma nello studio non si prevede niente. Le etichette di alto e basso potenziale sono costruite dagli autori stessi con un'analisi dei gruppi che include il punteggio di tiro, e i classificatori vengono poi addestrati a ritrovare quelle etichette. Nessun arciere è stato seguito nel tempo, e nessuna misura esterna, come un risultato successivo, è stata usata per controllare chi avesse davvero più potenziale. Quello che i modelli riconoscono è un'etichetta derivata dal punteggio del giorno, quindi l'82,5% di accuratezza misura la coerenza interna di una procedura, non la capacità di individuare un talento.

La prova di tiro è sottile: sei frecce a 50 metri, una volée sola, dopo quattro tiri di prova. Su sei frecce il punteggio di un arciere si muove di molto per ragioni che non hanno niente a che fare con il suo livello, e qui è su quelle sei frecce che poggiano la regressione, i gruppi e tutti i classificatori.

I numeri hanno incoerenze che vanno guardate. L'età è data come 17,0 ± 0,56 anni per un campione dichiarato fra i 13 e i 20: una deviazione standard di mezzo anno non è compatibile con quell'intervallo. Nella tabella della regressione gli addominali hanno t = 1,726 con p = 0,026, mentre un t di quel valore con circa 43 gradi di libertà corrisponde a una probabilità intorno a 0,09; la prima riga della stessa tabella porta l'etichetta della variabile dipendente invece che della costante. Il confronto fra i due gruppi dà una sola colonna di medie, non una per gruppo, e il valore del punteggio è scritto come «47,95±5.10.58». Nel testo si legge che le medie del gruppo di alto potenziale sono superiori su tutte le variabili, compresi gli addominali, mentre la tabella accanto dà gli addominali a p = 0,760.

Sul lato dei modelli, coarse k-NN è impostato con k = 100 su 40 osservazioni di addestramento, cioè con più vicini che dati: la sua specificità e il suo coefficiente di Matthews sono riportati come non disponibili, il segno che ha messo tutti in una classe sola, e la sua precisione del 100% va letta in quella luce. Il modello dichiarato migliore, il k-NN pesato, ha accuratezza 82,5% ma precisione 50% e sensibilità 71,4%: con una precisione di metà, chiamarlo il migliore dipende da quale misura si guarda. I dieci casi tenuti fuori sono quasi tutti di alto potenziale, quindi un classificatore che dicesse sempre «alto potenziale» ne sbaglierebbe pochissimi: su dieci casi così sbilanciati non si valida niente. Non è riportata la composizione delle due classi nel campione di addestramento, né alcuna correzione per i confronti multipli.

Resta un campione di cinquanta, con 13 ragazze su 50, misurato una volta, in un solo paese e in un solo sistema di sviluppo. La disciplina non è dichiarata. I dati grezzi sono allegati all'articolo, che è ad accesso aperto su PLOS ONE: chi volesse rifare i conti può farlo.

Per chi tira, il risultato utile non è quello annunciato nel titolo ma quello che cade. Di sei test fisici comuni, presa della mano, piegamenti sulle braccia, salto in lungo da fermo ed equilibrio su una gamba non si associano al punteggio quando si guardano insieme. L'equilibrio su una gamba, in particolare, è il test che molti darebbero per scontato in uno sport di mira: qui non distingue nulla. È la misura più onesta che questo studio offre, perché un risultato nullo su cinquanta arcieri resta un risultato nullo anche quando il resto dell'analisi è fragile.

Dei due test che si associano, il salto verticale è quello che tiene anche nel confronto fra i gruppi; gli addominali in un minuto compaiono nella regressione ma poi non distinguono i due gruppi. Il salto verticale misura la potenza delle gambe, e la lettura degli autori è che rifletta la capacità di stare fermi sulla linea di tiro. È una lettura, non una misura: nessuno ha registrato quanto fossero stabili questi arcieri mentre tiravano.

Niente di tutto questo serve a scegliere o escludere qualcuno. Le etichette di «alto potenziale» e «basso potenziale» sono state costruite a partire dal punteggio di sei frecce tirate in un pomeriggio, su ragazzi fra i 13 e i 20 anni, e nessuno è stato seguito negli anni successivi per vedere come sia andata. Un modello che riconosce quelle etichette all'82% non dice chi diventerà un buon arciere: dice che chi quel giorno ha segnato più punti saltava anche più in alto. Chi cerca strumenti per l'individuazione del talento trova qui un esempio di quanto sia facile far sembrare predittivo un dato trasversale.

Resta una indicazione di buon senso per chi mette insieme una batteria di test fisici in società: sei frecce non bastano a misurare il livello di un arciere, e un test fisico che non si associa al punteggio non diventa utile perché è comodo da somministrare.