Benchmark sulla classificazione delle serie temporali: modelli di fondazione vs metodi classici
Abbiamo confrontato 13 metodi di classificazione di serie temporali, dai modelli di fondazione per serie temporali pre-addestrati a una baseline a 22 feature del 2019, su 33 dataset UCR/UEA, con un unico protocollo congelato. Si tratta di 14.638 celle registrate metodo-dataset-ricampionamento, di cui 11.874 valutate.
Risultati del benchmark TSC
| Name | Mean accuracy |
|---|---|
| RocketPFN | 0.9047 |
| HIVE-COTE 2 | 0.8976 |
| MultiRocket | 0.8897 |
| Hydra | 0.8771 |
| MiniRocket | 0.8755 |
| MOMENT | 0.8529 |
| Chronos-2 | 0.8348 |
| TiRex | 0.8258 |
| catch22 | 0.8059 |
| Mantis-V2 | 0.7874 |
| TiCT | 0.7759 |
| DTW-1NN | 0.7563 |
Il grafico confronta 12 metodi sui 15 dataset univariati completati da tutti, ogni dataset eseguito sulle stesse 5 suddivisioni train/test. Le barre sono ordinate per accuratezza media. La tabella sottostante include anche il rango medio, la posizione media che un metodo occupa all'interno di un dataset, e dispone gli stessi 12 in un ordine diverso.
Nessun vincitore unico. HIVE-COTE 2 è primo per rango medio (2.400) e RocketPFN primo per accuratezza media (0.905). In un bootstrap dei dataset con 5.000 estrazioni, il primo posto va a HIVE-COTE 2 nel 46,6% delle estrazioni, a RocketPFN nel 45,5% e a MultiRocket nel 7,9%. I due ordinamenti sono in disaccordo e il bootstrap si divide quasi equamente, quindi nominare l'uno o l'altro sarebbe un artefatto della metrica scelta.
Il gruppo di testa è più piccolo di quanto suggerisca la tabella. La clique Wilcoxon-Holm comprende HIVE-COTE 2, RocketPFN, MultiRocket e Hydra. MiniRocket, sei decimi di rango dietro Hydra a 4.700, non ne fa parte: l'appartenenza deriva dai test a coppie corretti, non dal punto in cui cadono i numeri di rango.
In questo pannello le trasformate occupano i ranghi 3, 4 e 5 e i modelli pre-addestrati occupano 6, 7, 8 e 10. MOMENT, il modello pre-addestrato con il rango più alto a 6.633, si trova quasi due ranghi pieni sotto MiniRocket.
catch22, pubblicato nel 2019 con 22 feature fisse, si colloca all'interno della fascia dei pre-addestrati a 8.700, davanti a Mantis-V2 (9.733) e dietro TiRex (8.433). Alla profondità completa di 30 ricampionamenti rimane in quella fascia, sia nel pannello di 18 dataset sottostante a 7.222 sia in una sua variante con 27 dataset e otto metodi che esclude RocketPFN.
Rango e accuratezza sono in disaccordo anche in fondo. DTW-1NN ha un'accuratezza media peggiore di TiCT (0.756 contro 0.776) e un rango medio migliore (9.900 contro 10.200). La metrica che si riporta cambia l'ordine in entrambe le metà della tabella.
Solo la parte centrale della tabella è stabile. La rimozione di un singolo dataset cambia l'ordinamento in 10 casi su 15. Sei di questi riguardano lo scambio tra HIVE-COTE 2 e RocketPFN; Mantis-V2 e DTW-1NN si scambiano di posto in sei casi, e DTW-1NN e TiCT in due. Le posizioni dalla 3 alla 9 non cambiano mai.
La metrica di confronto è l'accuratezza perché la metrica primaria dichiarata, ROC-AUC, non è disponibile per 6 dei 7 modelli di fondazione di riferimento. Il pannello è solo univariato: TiCT e RocketPFN non hanno supporto multivariato nativo, quindi la regola dei casi completi rimuove tutti i 10 dataset multivariati. Le righe dei modelli di fondazione misurano quei modelli in un unico protocollo di trasferimento fisso. TimEE non ha alcun rango, per il motivo indicato sotto. La quota di primo posto nel bootstrap è la frequenza con cui si arriva primi tra le raccolte di dataset ricampionate, e niente di più.
L'ordinamento stesso replica il bake-off del 2024, che ha stabilito che HIVE-COTE 2 e la famiglia ROCKET guidano questa classe di problemi e riporta HIVE-COTE 2 come molto più lento.1 Il contributo qui è una misurazione controllata in modo indipendente su un roster del 2026 sotto un unico protocollo comune, con le separazioni quantificate dopo la correzione familywise.
RocketPFN è caratteristiche ROCKET fornite a TabPFN,2 un modello tabulare in-context piuttosto che un modello di fondazione per serie temporali pre-addestrato, quindi la sua posizione sopra le righe dei pre-addestrati non dice nulla su quella classe.
Quanto spesso ogni metodo si classifica primo
| Name | First-place share |
|---|---|
| HIVE-COTE 2 | 46.6 |
| RocketPFN | 45.5 |
| MultiRocket | 7.9 |
Ogni barra è la quota di 5.000 ricampionamenti casuali dei 15 dataset, con ripetizioni consentite, in cui un metodo si classifica primo. Nove dei 12 metodi non lo fanno mai e non vengono tracciati. I ricampionamenti vengono eseguiti con seed 1729. Il primo posto cambia a seconda dei dataset estratti, e le quote non dicono nulla su quanto siano distanti i metodi.
Una valutazione Bradley-Terry modella la probabilità di ogni metodo di battere un altro su un singolo dataset e non può produrre un vincitore che i test di significatività non abbiano trovato. Assegna a HIVE-COTE 2 1384.6, a RocketPFN 1380.6 e a MultiRocket 1338.3, ciascuno dal primo al terzo posto nei ricampionamenti. L'ancoraggio a 1000 è relativo a questi 15 dataset, e una valutazione modella le probabilità di vincere un dataset, non i punti di accuratezza.
I test Wilcoxon-Holm congelati, corretti per l'esecuzione simultanea di molti confronti, non rilevano alcuna differenza tra HIVE-COTE 2, RocketPFN, MultiRocket e Hydra. Ciò non è una prova che abbiano prestazioni uguali. Hydra si classifica quarto o quinto nei ricampionamenti, il che non lo separa comunque dai primi tre. Quelle posizioni summarize la stabilità, non la significatività. Nessun vincitore unico è supportato.
Quali distacchi sopravvivono alla correzione
| Name | Mean accuracy difference (A - B) | Share of shared datasets won by A | Wins/losses | p (Holm) | Shared datasets | Status |
|---|---|---|---|---|---|---|
| hc2 vs rocketpfn | -0.0071 | 0.4286 | 6/8 | 1 | 15 | inconclusive |
| hc2 vs multirocket | 0.0119 | 0.6667 | 18/9 | 1 | 28 | inconclusive |
| rocketpfn vs multirocket | 0.0131 | 0.6471 | 11/6 | 1 | 18 | inconclusive |
| multirocket vs moment-probe | 0.0488 | 0.8929 | 25/3 | 0.000188 | 28 | survives Holm |
| minirocket vs moment-probe | 0.0364 | 0.8571 | 24/4 | 0.00788 | 28 | survives Holm |
| hydra vs moment-probe | 0.0332 | 0.7857 | 22/6 | 0.0239 | 28 | survives Holm |
| multirocket vs chronos-probe | 0.0517 | 1 | 28/0 | 1.42e-07 | 28 | survives Holm |
| multirocket vs tirex-probe | 0.0587 | 1 | 28/0 | 1.42e-07 | 28 | survives Holm |
| multirocket vs mantis-v2 | 0.0781 | 0.8889 | 24/3 | 0.000301 | 27 | survives Holm |
| dtw1nn vs tict | -0.0208 | 0.381 | 8/13 | 1 | 21 | inconclusive |
| dtw1nn vs moment-probe | -0.0546 | 0.2963 | 8/19 | 0.229 | 27 | inconclusive |
| dtw1nn vs chronos-probe | -0.0514 | 0.2963 | 8/19 | 0.0839 | 27 | inconclusive |
| dtw1nn vs tirex-probe | -0.0443 | 0.3333 | 9/18 | 0.164 | 27 | inconclusive |
| dtw1nn vs mantis-v2 | -0.0235 | 0.4231 | 11/15 | 1 | 26 | inconclusive |
| dtw1nn vs moment-probe (multivariate) | 0.0119 | 0.6 | 6/4 | 1 | 10 | inconclusive |
| dtw1nn vs chronos-probe (multivariate) | -0.0098 | 0.5 | 5/5 | 1 | 10 | inconclusive |
| dtw1nn vs tirex-probe (multivariate) | -0.0074 | 0.4 | 4/6 | 1 | 10 | inconclusive |
| dtw1nn vs mantis-v2 (multivariate) | -0.0183 | 0.3333 | 3/6 | 1 | 9 | inconclusive |
| multirocket vs moment-probe (multivariate) | 0.0722 | 0.9 | 9/1 | 0.164 | 10 | inconclusive |
Sono stati esaminati diciannove confronti a coppie e sei sopravvivono alla correzione di Holm. Ogni punto riporta il suo intervallo al 95% e il p-value corretto secondo Holm nel tooltip; quegli intervalli sono sintesi bootstrap sui dataset e non sono corretti per la molteplicità, quindi solo i p-value portano la correzione di Holm.
Ogni contrasto che sopravvive è una trasformata convoluzionale che batte un modello pre-addestrato.
MultiRocket ne porta a casa due senza perdere un dataset. 28 vittorie a 0 contro sia Chronos-2 sia TiRex, con p = 1.4e-07.
Tredici contrasti sono inconcludenti, il che non è una prova di assenza di differenza. Nessun contrasto che coinvolge DTW-1NN sopravvive alla correzione, e nessuno sul sottoinsieme multivariato la sopravvive.
Ogni riga è calcolata sui dataset condivisi dalla coppia, non su un pannello comune, quindi le righe non sono una classifica e non possono essere lette l'una contro l'altra.
I risultati dei modelli di fondazione sono condizionati da un unico protocollo di trasferimento: mean pooling dell'ultimo livello con una probe logistica, applicato identicamente a MOMENT, Chronos-2, TiRex e Mantis-V2 e congelato prima di qualsiasi cella valutata. Un braccio post hoc, rank-free, ha cambiato l'estrazione dei livelli di TiRex e ha spostato l'accuratezza media da 0.793 a 0.805, pari a 1.13 punti percentuali, con 23 dataset su 30 in miglioramento e sette in peggioramento. La perdita più grande, Heartbeat con 7.98 punti, non è migliorata in nessuno dei suoi 30 ricampionamenti, quindi la media nasconde un risultato che si inverte a seconda del dataset. I dettagli sono in appendice.
Sei volte la profondità di suddivisione
| Name | Mean accuracy |
|---|---|
| RocketPFN | 0.9164 |
| MultiRocket | 0.9018 |
| Hydra | 0.8917 |
| MiniRocket | 0.8881 |
| MOMENT | 0.8656 |
| Chronos-2 | 0.8521 |
| TiRex | 0.8424 |
| catch22 | 0.8202 |
| Mantis-V2 | 0.8037 |
Ogni tabella sopra esegue 5 suddivisioni train/test, perché HIVE-COTE 2 e DTW-1NN girano solo su quelle cinque in base all'eccezione congelata per celle costose e la regola del ricampionamento abbinato riporta le altre allo stesso livello. Le barre mostrano l'accuratezza media sulle 30 suddivisioni, e il rango medio dà lo stesso ordine. Escludendo quei due, i restanti nove metodi eseguono tutti i 30 ricampionamenti stratificati con seed su 18 dataset, la profondità usata dal bake-off.
L'ordinamento regge. RocketPFN 1.694, MultiRocket 2.250, Hydra 2.889 e MiniRocket 3.833 occupano i primi quattro posti, tutti e quattro basati su feature convoluzionali casuali. Poi MOMENT 5.889, Chronos-2 6.444 e TiRex 7.056, con catch22 a 7.222 e Mantis-V2 a 7.722. Il chi-quadrato di Friedman è 105.067 con p = 3.9e-19. Le cinque suddivisioni non l'hanno prodotto artificialmente.
I due blocchi si separano nettamente a questa profondità. L'intervallo di rango bootstrap al 95% di MiniRocket raggiunge 4.278 e quello di MOMENT inizia a 5.111, e in tutti i 5.000 campionamenti bootstrap nessun rango medio dei modelli pre-addestrati è entrato nell'intervallo del blocco convoluzionale.
Dieci delle dodici coppie trasformata-contro-pre-addestrato sopravvivono alla correzione di Holm qui. Le due che non sopravvivono, MiniRocket su MOMENT con p = 0.108 e Hydra su MOMENT con p = 0.105, sopravvivono entrambe nel pannello primario. Holm copre la famiglia di 36 coppie di questo pannello, quindi quel conteggio e i sei sopravvissuti del pannello primario rispondono a domande diverse.
Il primo posto non è più stabile. RocketPFN lo ottiene nel 92,9% dei 5.000 campionamenti bootstrap di dataset, contro il 46,6% e il 45,5% del pannello primario, ma HIVE-COTE 2, il metodo con cui si divide il primo posto lì, è assente qui. La clique di testa è ancora larga tre: RocketPFN, MultiRocket e Hydra. MiniRocket ne resta fuori di nuovo, condividendo una clique con MOMENT.
Questa è una verifica di profondità, non una replica indipendente. I 18 dataset contengono tutti i 15 del pannello primario più ElectricDevices, StarLightCurves e UWaveGestureLibraryAll, quindi la fragilità leave-one-dataset-out sopra descritta rimane. È solo univariato per la stessa ragione, data la presenza di RocketPFN. Ciò che esclude è un ordinamento che dipende da cinque suddivisioni particolari.
La composizione del batch cambia le previsioni di TimEE
| Metric and test-set size n_test (the harness calls in batches of 512) | Cells | Share of cells with identical results |
|---|---|---|
| Accuracy | 270 / 270 | 1 |
| Accuracy >512 | 146 / 325 | 0.4492 |
| ROC-AUC | 221 / 270 | 0.8185 |
| ROC-AUC >512 | 12 / 308 | 0.039 |
TimEE è un classificatore in-context il cui risultato di punta pubblicato è il primo posto in ROC-AUC sul benchmark UCR.3 Lo abbiamo eseguito su due macchine e confrontato i risultati a livello di cella.
La concordanza si interrompe esattamente alla dimensione del batch del harness di 512. L'accuratezza è identica su 270 celle su 270 in cui il test set entra in una singola chiamata, e su 146 delle 325 in cui non entra. Per ROC-AUC la divisione è 221 di 270 contro 12 di 308. Le due macchine differiscono nell'hardware in entrambi gli strati, quindi nessuno strato da solo prova qualcosa; il contrasto tra di essi è la prova.
| Name | Series | Test-set size (log scale, call threshold 512) | Share of resamples with identical results | Identical |
|---|---|---|---|---|
| Chinatown | Accuracy | 343 | 1 | 30 / 30 |
| ChlorineConcentration | Accuracy | 3840 | 0.1667 | 5 / 30 |
| Computers | Accuracy | 250 | 1 | 30 / 30 |
| ECG5000 | Accuracy | 4500 | 0.5 | 15 / 30 |
| EOGHorizontalSignal | Accuracy | 362 | 1 | 30 / 30 |
| Earthquakes | Accuracy | 139 | 1 | 30 / 30 |
| ElectricDevices | Accuracy | 7711 | 0 | 0 / 2 |
| EthanolLevel | Accuracy | 500 | 1 | 30 / 30 |
| FordA | Accuracy | 1320 | 0.2 | 6 / 30 |
| FordB | Accuracy | 810 | 0.1333 | 4 / 30 |
| GunPoint | Accuracy | 150 | 1 | 30 / 30 |
| Haptics | Accuracy | 308 | 1 | 30 / 30 |
| InsectWingbeatSound | Accuracy | 1980 | 0.2333 | 7 / 30 |
| ItalyPowerDemand | Accuracy | 1029 | 0.9333 | 28 / 30 |
| LargeKitchenAppliances | Accuracy | 375 | 1 | 30 / 30 |
| NonInvasiveFetalECGThorax1 | Accuracy | 1965 | 0.6 | 3 / 5 |
| Phoneme | Accuracy | 1896 | 0.4444 | 8 / 18 |
| StarLightCurves | Accuracy | 8236 | 0.2 | 6 / 30 |
| Strawberry | Accuracy | 370 | 1 | 30 / 30 |
| TwoPatterns | Accuracy | 4000 | 0.7333 | 22 / 30 |
| UWaveGestureLibraryAll | Accuracy | 3582 | 0.5667 | 17 / 30 |
| Wafer | Accuracy | 6164 | 0.8333 | 25 / 30 |
| Chinatown | ROC-AUC | 343 | 1 | 30 / 30 |
| ChlorineConcentration | ROC-AUC | 3840 | 0 | 0 / 30 |
| Computers | ROC-AUC | 250 | 0.9667 | 29 / 30 |
| ECG5000 | ROC-AUC | 4500 | 0 | 0 / 30 |
| EOGHorizontalSignal | ROC-AUC | 362 | 1 | 30 / 30 |
| Earthquakes | ROC-AUC | 139 | 0.3333 | 10 / 30 |
| ElectricDevices | ROC-AUC | 7711 | 0 | 0 / 2 |
| EthanolLevel | ROC-AUC | 500 | 0.3333 | 10 / 30 |
| FordA | ROC-AUC | 1320 | 0 | 0 / 30 |
| FordB | ROC-AUC | 810 | 0 | 0 / 30 |
| GunPoint | ROC-AUC | 150 | 1 | 30 / 30 |
| Haptics | ROC-AUC | 308 | 0.9333 | 28 / 30 |
| InsectWingbeatSound | ROC-AUC | 1980 | 0 | 0 / 30 |
| ItalyPowerDemand | ROC-AUC | 1029 | 0.0667 | 2 / 30 |
| LargeKitchenAppliances | ROC-AUC | 375 | 0.9 | 27 / 30 |
| NonInvasiveFetalECGThorax1 | ROC-AUC | 1965 | 0 | 0 / 5 |
| Phoneme | ROC-AUC | 1896 | 0 | 0 / 1 |
| StarLightCurves | ROC-AUC | 8236 | 0 | 0 / 30 |
| Strawberry | ROC-AUC | 370 | 0.9 | 27 / 30 |
| TwoPatterns | ROC-AUC | 4000 | 0 | 0 / 30 |
| UWaveGestureLibraryAll | ROC-AUC | 3582 | 0 | 0 / 30 |
| Wafer | ROC-AUC | 6164 | 0.3333 | 10 / 30 |
Per singolo dataset la rottura è più netta di quanto suggeriscano i totali per strato. Ogni dataset il cui test set entra in una chiamata concorda sull'accuratezza in 30 ricampionamenti su 30, e nessun dataset sopra la soglia raggiunge 30 su 30. ROC-AUC è peggiore su entrambi i lati della linea, scendendo sotto la metà su due dataset abbastanza piccoli da entrare.
Il meccanismo è nel codice sorgente. La funzione di embedding statistico applica la z-score a ogni feature su ogni riga della chiamata di inferenza, incluse sia le righe di supporto sia quelle di query, senza alcuna protezione che separi le posizioni di addestramento da quelle di valutazione. Trenta righe più avanti lo stesso file applica esattamente una protezione di questo tipo a un diverso passaggio di normalizzazione. Uno scambio controllato tra peer lo conferma: mantenendo fissa una query-ancora e sostituendo le altre 511 query nella sua chiamata, la probabilità prevista dell'ancora si sposta di 1.163e-04, contro un rumore di esecuzione ripetuta esattamente pari a zero. TiCT e RocketPFN, testati in modo identico, sono bit-identici sotto lo stesso scambio.
Una previsione di TimEE non è quindi una funzione della sola serie in ingresso. I suoi punteggi sono riproducibili a composizione del batch fissa, quindi non può ricevere un rango confrontabile con i classificatori induttivi e questo benchmark lo riporta senza rango. Ciò qualifica l'affermazione pubblicata sul ROC-AUC, poiché il ROC-AUC è calcolato esattamente dalle probabilità che si sono dimostrate dipendenti dalla chiamata. Non dimostra che i punteggi siano gonfiati in una direzione o nell'altra, non modifica il rango pubblicato, guadagnato in una classifica che non possediamo, e riguarda la versione da noi ispezionata.
Tre delle quattro vie di rilevamento non richiedono accesso al codice sorgente. Ripetere una cella due volte, scambiare i peer del batch attorno a un'ancora fissa e confrontare i risultati tra due macchine stratificate in base al confine del batch. Un lavoro pubblicato correlato raggruppa l'inferenza di reti precedentemente addestrate per query di test raggruppate per efficienza e non segnala dipendenza dalla composizione.4
Risultati del pannello multivariato
| Name | Evaluation panel | Mean rank (lower is better) | Mean accuracy |
|---|---|---|---|
| catch22 | Wide panel (N=24) | 6.85 | 0.7932 |
| catch22 | UEA multivariate (N=9) | 5.67 | 0.7718 |
| chronos-probe | Wide panel (N=24) | 7.1 | 0.8055 |
| chronos-probe | UEA multivariate (N=9) | 7.56 | 0.7566 |
| dtw1nn | Wide panel (N=24) | 7.96 | 0.7542 |
| dtw1nn | UEA multivariate (N=9) | 7.33 | 0.7508 |
| hc2 | Wide panel (N=24) | 1.73 | 0.8735 |
| hc2 | UEA multivariate (N=9) | 1.67 | 0.8334 |
| hydra | Wide panel (N=24) | 3.94 | 0.8454 |
| hydra | UEA multivariate (N=9) | 4.89 | 0.7925 |
| mantis-v2 | Wide panel (N=24) | 7.21 | 0.7806 |
| mantis-v2 | UEA multivariate (N=9) | 5.44 | 0.7691 |
| minirocket | Wide panel (N=24) | 3.69 | 0.846 |
| minirocket | UEA multivariate (N=9) | 3.56 | 0.7967 |
| moment-probe | Wide panel (N=24) | 6.73 | 0.8093 |
| moment-probe | UEA multivariate (N=9) | 8.67 | 0.7365 |
| multirocket | Wide panel (N=24) | 2.48 | 0.858 |
| multirocket | UEA multivariate (N=9) | 3 | 0.8052 |
| tirex-probe | Wide panel (N=24) | 7.31 | 0.7983 |
| tirex-probe | UEA multivariate (N=9) | 7.22 | 0.7524 |
Una shortlist costruita sul pannello ampio non si trasferisce ai dati multivariati. MOMENT è ultimo su dieci nel pannello multivariato di 9 dataset, mentre è il modello pre-addestrato con il rango più alto nel pannello ampio di 24 dataset a 6.729. Mantis-V2 va nella direzione opposta: 5.444 nel pannello multivariato contro 7.208 in quello ampio.
Questo non è un effetto di modalità. Il pannello ampio contiene i dataset multivariati come sottoinsieme, quindi lo spostamento è un contrasto tra due roster di dimensioni e composizione di task diverse, non qualcosa di misurato all'interno di ciascun metodo. Con N=9 e nessun contrasto che sopravviva alla correzione, va letto come un avvertimento contro il portare una shortlist dal pannello ampio a un'implementazione multivariata, non come un risultato di selezione.
Risultati delle suddivisioni raggruppate per soggetto
| Name | Mean window accuracy across folds | Fold-to-fold standard deviation | Folds | Subject-macro mean | Subject-macro SD |
|---|---|---|---|---|---|
| catch22 grouped | 0.7322 | 0.0202 | 5 | 0.7282 | 0.019 |
| catch22 random | 0.7922 | 0.0022 | 10 | 0.7881 | 0.0024 |
| MiniRocket grouped | 0.7997 | 0.0079 | 5 | 0.7979 | 0.0077 |
| MiniRocket random | 0.8299 | 0.0009 | 8 | 0.8271 | 0.0011 |
Gli archivi UCR e UEA distribuiscono suddivisioni train/test fisse definite su singole serie, senza annotazioni di soggetto o fonte su cui suddividere,56 quindi il ricampionamento rimescola le serie piuttosto che i soggetti. Nella stadiazione del sonno SleepEDF, dove un soggetto contribuisce con molte finestre, abbiamo anche suddiviso per soggetto. MiniRocket porta 8 delle 10 fold casuali a causa del limite di congelamento.
La suddivisione casuale riporta un'accuratezza più alta, di 0.060 per catch22 e di 0.030 per MiniRocket.
La compressione della varianza è la metà più trasferibile. La variabilità tra le fold è circa da sette a nove volte più piccola con la suddivisione casuale rispetto al raggruppamento per soggetto, sia sull'accuratezza per finestra sia sull'accuratezza macro per soggetto. Un modello selezionato su suddivisioni casuali appare migliore e più stabile dello stesso modello valutato nel modo in cui verrà distribuito, su soggetti non visti.
Riportiamo un divario associato alla suddivisione, mai una perdita di dati. I dati non possono dire se il divario derivi dalla fuoriuscita dell'identità del soggetto o da una variazione genuina nella difficoltà dei soggetti e nella composizione degli stadi, e le suddivisioni casuali distribuiscono quella variazione su ogni test set, stabilizzando meccanicamente l'accuratezza. L'esperimento che separerebbe i due, epoche di test identiche con set di addestramento che contengono e non contengono i soggetti del test, è stato eseguito su PTB-XL ed è stato escluso da SleepEDF per ragioni di calcolo. PTB-XL stesso conserva una sovrapposizione tra soggetti del 14,9% con la suddivisione casuale, quindi è un confronto a bassa sovrapposizione, non un controllo nullo.
Dati sbilanciati: Earthquakes
| Name | Accuracy | Balanced accuracy | N resamples |
|---|---|---|---|
| catch22 | 0.7835 | 0.4996 | 30 |
| dtw1nn | 0.7194 | 0.5453 | 5 |
| hydra | 0.7782 | 0.5122 | 30 |
| minirocket | 0.7662 | 0.5187 | 30 |
| multirocket | 0.7832 | 0.5229 | 30 |
L'accuratezza nasconde un posizionamento quasi casuale. Ogni metodo della corsia CPU riporta un'accuratezza da 0.72 a 0.78 su Earthquakes, mentre l'accuratezza bilanciata va da 0.4996 a 0.5453. Si legga 0.5 come caso solo sull'asse dell'accuratezza bilanciata; il caso per l'accuratezza ordinaria dipende dalla prevalenza di classe.
Il metodo con l'accuratezza più alta ha l'accuratezza bilanciata più bassa. catch22 con un'accuratezza di 0.783 ottiene un'accuratezza bilanciata di 0.4996, numericamente appena sotto 0.5. Non è stato misurato se stia letteralmente predicendo la classe maggioritaria; il valore citato non comporta alcuna incertezza e nessun test contro 0.5.
L'inversione è locale, non una proprietà del metodo. Nell'intero pannello catch22 è chiaramente ultimo per accuratezza bilanciata, 0.726 contro 0.806 di MultiRocket. L'accuratezza bilanciata è qui una metrica post hoc, calcolata dopo il congelamento a partire dalle previsioni archiviate. DTW-1NN porta 5 ricampionamenti contro i 30 degli altri quattro metodi, quindi il suo punto si basa su meno evidenze.
Etichette hard, non probabilità
Quattro dei sei metodi della corsia CPU non restituiscono alcuna probabilità. MiniRocket, MultiRocket, Hydra e DTW-1NN assegnano 1 alla classe prevista e 0 altrove, quindi la loro log loss è l'accuratezza sotto un altro nome. È uguale al tasso di errore moltiplicato per 36.0437 in tutte le 2.465 celle in cui è stata registrata la log loss, entro 7.1e-15. Quella costante è la penalità che scikit-learn assegna a una probabilità zero sulla classe vera.
La ricetta si comporta come documentato. I tre classificatori convoluzionali hanno come default una testa ridge senza output di probabilità, e la libreria riempie il vuoto con un vettore one-hot; DTW-1NN con un vicino ha la stessa forma per costruzione.7
Il ROC-AUC calcolato per loro misura quindi l'etichetta, non un ordinamento. Sui 27 dataset in cui tutti e sei dispongono di ROC-AUC completo, catch22 registra 0.884 contro 0.866 di MultiRocket, pur essendo indietro di 7.2 punti di accuratezza, 0.782 contro 0.854. Si legga questo come catch22 che ha un punteggio utilizzabile e MultiRocket che non ne ha, non come catch22 che ordina meglio i casi.
Due dei sei possono essere confrontati sulle probabilità. Sui 22 dataset con log loss completa, HIVE-COTE 2 media 0.344 contro catch22 a 0.527, con mediane 0.265 e 0.371, ed è più basso in 19 casi su 22. Entrambi i valori descrivono l'output archiviato. Non è stato eseguito alcun esperimento di calibrazione e nessun test congelato li copre.
La tabella delle accuratezze non cambia. Ciò che non riporta è questo: un carico di lavoro che ordina o soglia i casi non ottiene nulla da sogliare dalla ricetta predefinita di MiniRocket, MultiRocket, Hydra o DTW-1NN. Non è stata eseguita una testa probabilistica sulle stesse feature.
Calcolo registrato
| Name | CPU core-hours for 140 matched cells (log scale) | Mean accuracy on the same 140 cells | Matched cells |
|---|---|---|---|
| catch22 | 0.54 | 0.7654 | 140 |
| dtw1nn | 356.82 | 0.7155 | 140 |
| hc2 | 694.23 | 0.8484 | 140 |
| hydra | 2.12 | 0.8219 | 140 |
| minirocket | 0.48 | 0.8213 | 140 |
| multirocket | 2.81 | 0.8365 | 140 |
Il grafico mostra celle abbinate: ogni metodo della corsia CPU limitato ai 28 dataset eseguiti da tutti e sei, nei ricampionamenti da 0 a 4, ovvero 140 celle ciascuno. Ore-core CPU registrate su quelle celle: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 e MiniRocket 0.48.
La restrizione è ciò che rende significativo un rapporto. Il calcolo registrato totale è di 1.496.5 ore-core lungo l'intera corsia CPU, di cui HIVE-COTE 2 rappresenta 804.8: 694.2 per le sue 140 celle classificate e il resto per quattro celle diagnostiche post hoc escluse da ogni tabella. MultiRocket rappresenta 26.2 per 990 celle classificate. Quei due totali coprono quantità di lavoro diverse, quindi nessun rapporto tra di essi confronta i metodi.
Le celle abbinate lo rendono possibile. Limitando ogni metodo della corsia CPU ai 28 dataset eseguiti da tutti e sei, nei ricampionamenti da 0 a 4, si ottengono 140 celle ciascuno. Ore-core CPU registrate: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 e MiniRocket 0.48.
Sugli stessi 28 dataset HIVE-COTE 2 batte MultiRocket su 18 e perde su 9, con un divario di accuratezza media di 0.012 che non sopravvive alla correzione di Holm. Si tratta di 247 volte il tempo CPU per una differenza che questo benchmark non può rilevare. DTW-1NN, la baseline che il protocollo dell'archivio richiede per ogni risultato pubblicato, costa 747 volte MiniRocket sulle stesse celle.
Ogni metodo qui è stato eseguito single-threaded con n_jobs = 1, una cella per processo, quindi il tempo wall registrato è tempo core. Due limiti si applicano ancora a entrambi i rapporti. I tempi sono throughput con qualunque altro carico girava sulla macchina, non latenza isolata. Inoltre HIVE-COTE 2 è stato eseguito nella propria corsia di configurazione mentre gli altri cinque ne condividevano una, quindi il suo rapporto attraversa due corsie; il rapporto tra DTW-1NN e MiniRocket è misurato all'interno di una singola corsia.
Da questo benchmark non è possibile alcun confronto di costo tra metodi classici e modelli di fondazione, e non ne facciamo nessuno. I sei metodi della corsia GPU non hanno registrato tempo wall. TimEE ha un tempo wall registrato ma è escluso dal grafico perché non ha alcun rango.
Metodi confrontati
HIVE-COTE 2
Primo per rango medio (2.400) nel pannello primario, non separabile da RocketPFN. Ha eseguito 140 celle classificate per 694.2 ore-core registrate, il metodo più costoso della corsia CPU registrata, e non ha completato FaceDetection (144 canali). Un meta-ensemble eterogeneo su rappresentazioni shapelet, dictionary, interval e convoluzionali.8
RocketPFN
Primo per accuratezza media (0.905), non separabile da HIVE-COTE 2. Bit-identico nel test di scambio tra peer. Solo univariato, quindi non entra mai nel pannello UEA. Combina le feature convoluzionali della famiglia ROCKET con la classificazione in-context del modello di fondazione tabulare TabPFN v2.5, quindi nessun modello viene addestrato sul dataset target; il suo articolo riporta parità con HIVE-COTE 2 a un'accuratezza media di 0.900 su 92 dataset UCR.2
MultiRocket
Terzo per rango medio (2.800) e con il migliore record a coppie: tutti e quattro i suoi contrasti esaminati contro i modelli pre-addestrati sopravvivono a Holm, due con 28 vittorie a 0. 26.2 ore-core registrate per 990 celle. Estende MiniRocket con più operatori di pooling e differenze del primo ordine.9
Hydra
Rango medio 4.100; la sua vittoria su MOMENT (22/6) sopravvive alla correzione. Un metodo convoluzionale in stile dictionary: i kernel competono in gruppi e i conteggi dei kernel vincenti formano la rappresentazione.10
MiniRocket
Rango medio 4.700 con 4.9 ore-core registrate per 990 celle, il metodo forte più economico della corsia CPU registrata; la sua vittoria su MOMENT (24/4) sopravvive alla correzione. Una trasformata convoluzionale casuale quasi deterministica con un classificatore lineare.11
MOMENT
Modello pre-addestrato con il rango più alto nel pannello primario univariato (6.633); perde contro tutte e tre le trasformate convoluzionali con contrasti che sopravvivono. Un modello basato su T5 da 385M parametri pre-addestrato su un corpus multi-dominio per previsione, classificazione, rilevamento di anomalie e imputazione.12
Chronos-2
Rango medio 7.967; perde contro MultiRocket 28/0. Un modello di fondazione per la previsione usato qui come estrattore di embedding congelato, che non è il suo compito nativo.13
TiRex
Rango medio 8.433; perde contro MultiRocket 28/0. Un modello di previsione zero-shot basato su xLSTM,14 usato anche qui come estrattore congelato. Nel braccio di sensibilità post hoc, il passaggio dall'estrazione dell'ultimo livello alla concatenazione di tutti i livelli ha aumentato l'accuratezza media di 1.13 punti percentuali nel suo pannello di 30 dataset: 23 dataset sono migliorati e sette sono peggiorati, Heartbeat di 7.98 punti senza che nessuno dei suoi 30 ricampionamenti migliorasse. Il risultato e il rango congelati dell'ultimo livello restano primari; il braccio di sensibilità non porta alcun rango.
Mantis-V2
Rango medio 9.733 in ambito univariato e 5.444 nel pannello multivariato; perde contro MultiRocket 24/3. Non ha completato FaceDetection: 144 canali sovraccaricano la sua testa di classificazione nativa. Un modello di classificazione leggero pre-addestrato in modo contrastivo con dati sintetici e strategie test-time aggiunte nella V2.15
TimEE
Riportato senza rango; si veda il risultato sulla composizione del batch sopra. Accuratezza media di 0.841 nei 21 dataset del pannello riportato, calcolata a composizione del batch fissa. Due esclusioni dichiarate prima dei risultati: NonInvasiveFetalECGThorax1 è parziale a 5 ricampionamenti su 30, e Phoneme è riportato solo nella suddivisione d'archivio. Un modello da 4.5M parametri meta-addestrato su compiti sintetici che classifica end-to-end in-context, in un singolo passaggio in avanti a partire da un support set etichettato.3
TiCT
Rango medio 10.200. Solo univariato; il suo runner è stato l'unico a imporre la regola di validità della classe rara su Phoneme, contribuendo con una cella valida dove le altre corsie ne hanno eseguite 30. Bit-identico nel test di scambio tra peer. Un transformer in-context pre-addestrato su dati sintetici con codifica delle etichette basata su bit per conteggi arbitrari di classi.16
DTW-1NN
Rango medio 9.900. Non ha completato StarLightCurves, un DNF dichiarato per costi a 95 ore per una cella non suddivisibile. Nearest-neighbour a un vicino sotto la distanza Dynamic Time Warping, la baseline più longeva del settore.
catch22
Rango medio 8.700 nel pannello primario. Ventidue feature riassuntive fisse e interpretabili che alimentano un classificatore semplice.17
Quando scegliere un modello di fondazione invece di un classificatore classico
- Abbondanza di dati di addestramento etichettati: ogni contrasto che sopravvive alla correzione qui favorisce una trasformata convoluzionale, e due dei tre, MultiRocket e Hydra, si collocano nella clique di testa insieme a HIVE-COTE 2 e RocketPFN.
- Etichette molto limitate o implementazione a freddo: i modelli in-context e zero-shot sono i candidati, e questo è il regime che il nostro benchmark non misura. Tutti i nostri pannelli usano le suddivisioni di addestramento complete dell'archivio.
- Dati multivariati: verificare prima la copertura nativa. Due dei tre metodi in-context in questo roster sono solo univariati.
- Massima accuratezza indipendentemente dal calcolo: HIVE-COTE 2 e RocketPFN non sono separabili sulla base di queste evidenze. Questo benchmark non separa né la loro accuratezza né il loro calcolo, perché RocketPFN non ha tempi registrati.
Un budget di calcolo che conta: sulle 140 celle abbinate sopra, MultiRocket usa 1/247 delle ore-core CPU di HIVE-COTE 2 e nessuna differenza di accuratezza tra loro sopravvive alla correzione su quei dataset. - Requisiti di verificabilità: preferire metodi le cui previsioni siano riproducibili a partire dal solo input. Il risultato sulla composizione del batch sopra è il caso di cautela.
Che cos'è la classificazione delle serie temporali
La classificazione delle serie temporali addestra un modello su sequenze numeriche ordinate ed etichettate per prevedere una classe discreta per una serie non vista: diagnosi ECG, riconoscimento dell'attività umana da dispositivi indossabili, rilevamento di guasti industriali. Si differenzia dalla previsione, che restituisce valori futuri invece di un'etichetta di classe. I modelli tabulari non codificano l'ordinamento dei valori come bias induttivo; trattano ogni passo temporale come una colonna indipendente.
I metodi classici addestrano un nuovo modello per ogni dataset. Un modello di fondazione per serie temporali viene pre-addestrato una volta su un ampio corpus, poi applicato a nuovi dataset zero-shot, tramite una probe leggera, oppure in-context a partire da una manciata di esempi etichettati forniti al momento dell'inferenza. Se quel pre-addestramento oggi porti accuratezza di classificazione sugli archivi standard, sotto un protocollo controllato, è la domanda che questo benchmark misura.
Metodologia del benchmark di classificazione delle serie temporali
Metodi. Quattro famiglie: modelli di fondazione pre-addestrati valutati tramite un protocollo di trasferimento (MOMENT, Chronos-2, TiRex, Mantis-V2), modelli in-context (TimEE, TiCT, RocketPFN), trasformate convoluzionali (MiniRocket, MultiRocket, Hydra) e riferimenti classici (HIVE-COTE 2, DTW-1NN, catch22).
Dati. 23 dataset univariati UCR e 10 dataset multivariati UEA,56 più un livello non-IID separato su SleepEDF e PTB-XL. 14.638 celle registrate, suddivise nella tabella di copertura sottostante.
Copertura. Le celle valutate non sono distribuite uniformemente tra i metodi, e i denominatori decidono quali confronti siano del tutto possibili.
Ogni confronto classificato viene eseguito sull'intersezione dei casi completi dei metodi che nomina, mai sulla copertura del singolo metodo, ed è questo che consente alle 140 celle di HIVE-COTE 2 e alle 2.760 di RocketPFN di comparire nella stessa tabella. L'esportazione completa contiene 14.638 righe: queste 11.874 celle valutate, il braccio di riproduzione del protocollo cartaceo di RocketPFN da 2.760 celle e 4 celle diagnostiche post hoc di HIVE-COTE 2.
Ricampionamento. r0 è la suddivisione train/test d'archivio; da r1 a r29 sono mescolamenti stratificati alle proporzioni dell'archivio, con seed 1729+r. L'unità inferenziale è il dataset: i ricampionamenti vengono mediati all'interno di un dataset prima di confrontare i metodi. HIVE-COTE 2 e DTW-1NN eseguono 5 ricampionamenti perché il loro costo per cella è da uno a due ordini di grandezza più alto, e la tabella primaria limita ogni metodo agli stessi 5 ricampionamenti abbinati. La suddivisione d'archivio r0 è sistematicamente più difficile dei ricampionamenti con seed su 8 dataset su 33, fino a 0.218 di accuratezza, quindi i cinque ricampionamenti abbinati non sono estrazioni intercambiabili.
Protocollo di trasferimento. Ogni modello di fondazione di riferimento esegue la stessa pipeline: codifica per variata, ultimo strato dell'encoder, mean-pool sui token di contesto validi, normalizzazione L2 per variata, concatenazione dei canali, standardizzazione solo sui dati di addestramento, probe di regressione logistica. Congelato il 2026-07-24, prima di qualsiasi cella valutata.
Statistiche. Test omnibus di Friedman, poi Wilcoxon signed-rank a coppie con correzione di Holm su tutti i 19 contrasti esaminati, sulle medie a livello di dataset, solo su pannelli a casi completi. L'omnibus supporta solo che i ranghi differiscano da qualche parte; ogni affermazione a coppie proviene dai contrasti corretti.
Congelamento. I dati sono stati congelati il 2026-07-29 alle 03:00 UTC, con regole di esclusione scritte prima che fossero noti i risultati in sospeso. Una cella è terminata 22 minuti dopo il limite ed è esclusa in base alla regola pre-scritta. Il rilascio supera 120 controlli meccanici di asserzione, tra cui il confronto hash di ogni file di input, la rigenerazione della tabella primaria dall'esportazione e l'applicazione delle esclusioni dichiarate dietro il dato pubblicato di TimEE sia nell'articolo sia nelle tabelle di rilascio.
Metriche. ROC-AUC era la metrica primaria dichiarata. Non è disponibile per 6 dei 7 modelli di fondazione di riferimento, le cui esecuzioni archiviano punteggi di decisione o previsioni di classe piuttosto che probabilità calibrate, quindi l'accuratezza è diventata la metrica di confronto. TimEE è l'unico dei sette a disporre di ROC-AUC. Lo dichiariamo invece di rietichettare l'accuratezza come pre-specificata. Accuratezza bilanciata, macro-F1 e log-loss sono analisi di sensibilità post hoc sul sottoinsieme coperto.
Riproducibilità. Le previsioni per singola istanza sono archiviate per tutti i 13 metodi e per tutti i 12 della tabella primaria; ogni previsione rigenerata riproduce il suo scalare congelato con una differenza massima di 0.000e+00 (4.260 celle della corsia CPU riverificate il 2026-08-02, zero orfani). La tabella primaria è completamente ricalcolabile dalle previsioni rilasciate.
Metodi non inclusi in questo benchmark
Modelli pubblicati rilevanti per la TSC che non abbiamo valutato, elencati affinché il confine del roster sia esplicito. Nessuna delle affermazioni qui presenti è una nostra misurazione. UniTS è un modello multi-task unificato che copre classificazione, previsione, imputazione e rilevamento di anomalie.18 TiViT converte le serie in immagini e classifica con Vision Transformer pre-addestrati congelati.19 UniShape è un modello di fondazione shape-aware costruito per la classificazione, con un adattatore shape-aware, accettato a AAAI 2026.20 GPT4TS, pubblicato anche come One Fits All, usa una backbone GPT-2 i cui blocchi di self-attention e feedforward restano congelati mentre i componenti di input, normalizzazione e output vengono addestrati.21 TIC-FM è un classificatore zero-shot in-context che prevede tutte le istanze di test in un singolo passaggio in avanti;22 leggere il suo design a chiamata singola come la stessa classe di esposizione del risultato sulla composizione del batch sopra è una nostra inferenza dalla descrizione pubblicata, non un risultato testato.
Limitazioni
- Non esiste alcun registro di sovrapposizione del pre-addestramento per nessun modello pre-addestrato: nessuno pubblica una dichiarazione a livello di dataset sul fatto che le serie UCR/UEA compaiano nel suo corpus di pre-addestramento, quindi il trasferimento non può essere separato dall'esposizione precedente. Trattare le perdite come sicure si basa su un'assunzione che nessun registro a livello di dataset può verificare: che l'esposizione precedente, laddove avvenuta, abbia favorito questi modelli piuttosto che danneggiarli. Sotto tale assunzione restano indietro nonostante il vantaggio e le perdite restano valide; qualsiasi vittoria di un modello pre-addestrato, con la stessa logica, non può essere attribuita in modo netto al trasferimento.
- I risultati dei modelli di fondazione sono condizionati dal singolo protocollo di trasferimento congelato. Il braccio post hoc su TiRex ha modificato solo l'estrazione dei livelli e ha aumentato l'accuratezza media di 1.13 punti percentuali, peggiorando però sette dei suoi 30 dataset, Heartbeat di 7.98 punti con 0 dei suoi 30 ricampionamenti in miglioramento. Ha testato un solo modello, non porta alcun rango e non stabilisce l'effetto per gli altri modelli di fondazione.
- Tutti i tempi wall sono throughput sotto carico con concorrenza variabile su una macchina condivisa. Sei metodi su 13 non ne hanno.
- Le evidenze coprono solo problemi delle dimensioni degli archivi. Nulla qui riguarda la scalabilità.
- Il benchmark ispeziona una versione di ciascun metodo alla sua data di congelamento.
Insidie comuni nel benchmarking della classificazione delle serie temporali
Sovrapposizione tra pre-addestramento e test. Un audit del 2025 ha tracciato 401 dataset attraverso 22 modelli di fondazione per serie temporali pubblicati e ha rilevato che solo il 6% non era mai comparso nel corpus di pre-addestramento o fine-tuning di alcun modello.23 Nessun modello del nostro roster pubblica una dichiarazione di sovrapposizione a livello di dataset, motivo per cui la nostra sezione sulle limitazioni tratta trasferimento ed esposizione precedente come inseparabili.
Disegno della suddivisione. L'archivio UCR standard distribuisce una singola suddivisione train/test fissa; la pratica moderna ricampiona, e il nostro pannello SleepEDF mostra perché la struttura per soggetto richieda più del ricampionamento: il solo disegno della suddivisione ha spostato l'accuratezza riportata fino a 0.060 e ha compresso la sua varianza di circa sette-nove volte. Nessun singolo valore qui è una proprietà del dataset; ognuno è una proprietà del dataset sotto un determinato disegno di suddivisione.
Molteplicità. Confrontare molti classificatori su molti dataset senza correzione produce risultati artefatti. La strumentazione standard è il Wilcoxon signed-rank per le coppie e la correzione familywise in stile Holm su ogni contrasto esaminato,2425 e la correzione deve coprire ogni contrasto esaminato, non solo quelli riportati. In questo benchmark tale disciplina ha eliminato 13 contrasti su 19.
Appendice: sensibilità all'estrazione di TiRex
Questo braccio post hoc usa gli stessi 30 dataset, le stesse 30 suddivisioni di ricampionamento, lo stesso scaler e la stessa probe logistica del risultato congelato di TiRex. Cambia solo l'estrazione delle feature, dall'ultimo strato dell'encoder alle rappresentazioni concatenate di tutti i 12 strati. Il braccio è rank-free e non altera il benchmark congelato.
L'accuratezza media è passata da 0.793 a 0.805, una variazione di 1.13 punti percentuali, con un intervallo bootstrap dei dataset con seed da +0.15 a +2.06 punti. Un test di Wilcoxon signed-rank a coppie sui delta dei 30 dataset fornisce un W esatto a due code di 92.0 con p=0.003. Tale test è esplorativo: è stato eseguito dopo il congelamento, si colloca al di fuori della famiglia Holm di 19 contrasti che governa ogni affermazione corretta qui e non porta alcun rango.
Auer et al. classificano TiRex al primo posto tra i modelli di fondazione per la previsione usando feature concatenate per livello e una Random Forest, e il loro stesso studio di ablazione riporta un effetto di livello più ampio di 5 punti.26 I due studi differiscono per dataset, roster di modelli, classificatore e filtro sulla lunghezza delle serie, quindi 1.13 e 5 punti sono stime di sensibilità specifiche del protocollo piuttosto che stime concorrenti di un unico effetto. Questo braccio non riproduce né confuta la loro classifica e non identifica la causa della differenza di rango tra gli studi. Stabilisce la sensibilità al livello per TiRex all'interno di questo benchmark. Non generalizza l'effetto agli altri modelli di fondazione né identifica la migliore prestazione di classificazione ottenibile da alcun modello.
Cita questa ricerca
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{Benchmark sulla classificazione delle serie temporali: modelli di fondazione vs metodi classici}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/time-series-classification}},
note = {AIMultiple. Consultato il 24 agosto 2026}
}Risultati e timestamp di 99 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 8 file CSV e un README.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Registro delle modifiche
3 aggiornamentiSostituito: il numero di modelli senza ROC-AUC è passato da 5 su 7 a 6 su 7.
Aggiornata la disponibilità di ROC-AUC a 6 modelli fondazionali su 7 nella sezione metodologia.
Aggiunta una sezione "Etichette rigide, non probabilità" sui metodi CPU privi di output di probabilità.
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.