Che cos'è un dataset

Nota: Questo documento è una traduzione automatica della versione originale in inglese.

Che cos'è un dataset

Un dataset è una raccolta strutturata di dati utilizzata per addestrare, valutare o testare un modello AI. È la materia prima su cui funziona il machine learning. Senza un dataset, non c'è nulla da cui un modello possa imparare e nessun modo per misurare se funziona.

Pensa a un dataset come al libro di testo di uno studente. Se il libro è pieno di errori, manca di capitoli o è scritto in una lingua che lo studente non parla, lo studente imparerà male — per quanto talentuoso sia. Lo stesso principio vale per l'AI: la qualità, la dimensione, la pertinenza e la struttura del dataset fissano il limite superiore di ciò che qualsiasi modello può raggiungere. Un'architettura brillante addestrata su dati scadenti produce risultati scadenti. Da qui nasce il principio garbage in, garbage out, che rimane la regola più importante nel machine learning applicato.

In sintesi: un dataset è il corpo organizzato di esempi da cui un modello AI impara — e la qualità di quei dati determina direttamente la qualità del modello.

Come si costruiscono i dataset

Un dataset finito può sembrare un singolo file o un database ben strutturato, ma per arrivarci serve una pipeline a più stadi. Ogni stadio comporta decisioni che influenzano il modello finale.

Raccolta

I dati devono essere raccolti da fonti pertinenti al compito. Per un large language model, questo può significare esplorare il web, aggregare libri e articoli accademici o estrarre repository di codice. Per un modello specifico per il mondo crypto, può significare raccogliere storici di transazioni blockchain, documentazione di protocolli, proposte di governance o sentiment dei social media. La scelta delle fonti determina cosa il modello può e non può imparare. Un modello addestrato solo su testo inglese fallirà con query multilingue. Un modello addestrato solo su dati di mercato storici non coglierà le nuove meccaniche dei protocolli.

Pulizia

I dati grezzi raccolti sono rumorosi. Contengono duplicati, formattazione danneggiata, errori di codifica, spam, informazioni personali identificabili e contenuti irrilevanti o dannosi. La pulizia dei dati rimuove o corregge questi problemi. I passaggi comuni includono la deduplicazione (rimozione di record quasi identici), la normalizzazione (standardizzazione di formati, date e unità), il filtraggio (rimozione di esempi di bassa qualità o fuori ambito) e l'anonimizzazione (eliminazione dei dati personali per rispettare le normative sulla privacy). La pulizia è tediosa ma critica — i modelli addestrati su dati non puliti imparano il rumore insieme al segnale.

Etichettatura

Per l'apprendimento supervisionato — l'approccio di addestramento più comune — a ogni esempio del dataset deve essere associata una risposta corretta. Una foto ha bisogno di un tag come "gatto" o "cane". Una transazione ha bisogno di un'etichetta come "fraudolenta" o "legittima". Una frase ha bisogno di un punteggio di sentiment. Questo processo si chiama etichettatura (o annotazione).

L'etichettatura è costosa e laboriosa. In genere richiede annotatori umani che esaminano gli esempi uno per uno e assegnano etichette secondo linee guida dettagliate. La qualità è garantita attraverso la ridondanza (più annotatori per esempio) e metriche di accordo tra annotatori. Alcuni progetti crypto AI costruiscono reti di etichettatura decentralizzate in cui i contributori annotano dati e guadagnano ricompense in token — anche se la qualità delle etichette incentivate deve essere verificata con attenzione.

Per i compiti in cui le etichette non sono necessarie o è impraticabile ottenerle, l'apprendimento auto-supervisionato estrae il segnale di addestramento dalla struttura stessa dei dati (ad esempio, prevedere la parola successiva in una frase o ricostruire una porzione mascherata di un'immagine).

Suddivisione

Prima che inizi l'addestramento, il dataset viene diviso in sottoinsiemi non sovrapposti:

Suddivisione	Scopo	Proporzione tipica
Training set	Il modello impara da questi dati	70-90%
Validation set	Usato durante l'addestramento per monitorare i progressi e regolare gli iperparametri	5-15%
Test set	Usato una sola volta, dopo l'addestramento, per misurare le prestazioni finali	5-15%

I set di validazione e test non devono mai infiltrarsi nell'addestramento. Se il modello vede i dati di test durante l'addestramento, i risultati della valutazione diventano privi di significato — il modello ha di fatto memorizzato le risposte. Questa separazione è un requisito fondamentale per benchmark e metriche di qualità affidabili.

Versionamento

I dataset non sono statici. Crescono man mano che vengono raccolti nuovi dati, si riducono quando vengono rimossi esempi problematici ed evolvono al cambiare delle linee guida di etichettatura. Il versionamento dei dataset traccia questi cambiamenti in modo che le sessioni di addestramento possano essere riprodotte e confrontate. Un modello addestrato sulla versione 2.3 di un dataset dovrebbe produrre risultati diversi da uno addestrato sulla versione 1.0, e la differenza dovrebbe essere tracciabile. Strumenti come DVC (Data Version Control), Hugging Face Datasets e Git LFS aiutano i team a gestire le versioni dei dataset in modo sistematico.

Tipi di dataset

I dataset variano per come sono etichettati, chi li ha creati e per cosa vengono usati. Comprendere questi tipi aiuta nella valutazione delle affermazioni sull'AI nei progetti crypto.

Etichettati vs non etichettati

I dataset etichettati includono la risposta corretta per ogni esempio. Un dataset di immagini etichettato associa a ogni immagine un'etichetta di classe; un dataset di testo etichettato associa a ogni frase un punteggio di sentiment o tag di entità. I dati etichettati abilitano l'apprendimento supervisionato, il paradigma di addestramento più comune e meglio compreso.
I dataset non etichettati sono raccolte grezze senza annotazioni — testo web, immagini, log di transazioni, letture di sensori. Vengono usati nell'apprendimento non supervisionato (trovare strutture senza guida) e come punto di partenza per l'apprendimento auto-supervisionato, che è il modo in cui i moderni LLM vengono pre-addestrati. Il modello impara prevedendo parti del proprio input (ad esempio, la previsione della parola successiva) anziché da etichette esterne.

La maggior parte dei sistemi AI pratici usa entrambi: pre-addestramento su enormi dati non etichettati, poi fine-tuning su un dataset etichettato più piccolo specifico per il dominio.

Pubblici vs proprietari

I dataset pubblici sono liberamente disponibili per la ricerca e lo sviluppo. Esempi noti includono ImageNet (14 milioni di immagini etichettate in oltre 20.000 categorie), Common Crawl (petabyte di dati web grezzi usati come base per molti LLM) e The Pile (un corpus testuale diversificato di 825 GB assemblato da EleutherAI specificamente per l'addestramento di modelli linguistici). I dataset pubblici abbassano la barriera d'ingresso ma sono disponibili a tutti — da soli non forniscono un vantaggio competitivo.
I dataset proprietari sono raccolti, curati o concessi in licenza da un'organizzazione specifica e non condivisi pubblicamente. Un'azienda di analisi crypto potrebbe costruire un dataset proprietario di transazioni DeFi etichettate. I dati proprietari possono fornire un vantaggio competitivo autentico, ma le affermazioni di "dati proprietari" sono difficili da verificare dall'esterno. Senza la divulgazione delle fonti, della metodologia o delle statistiche campionarie, l'affermazione non è verificabile.

Dataset sintetici

I dati sintetici sono generati da algoritmi o da altri modelli AI anziché raccolti da fonti del mondo reale. Un modello generativo potrebbe produrre immagini realistiche, campioni di testo o pattern di transazioni che ampliano un dataset reale. I dati sintetici sono utili quando i dati reali sono scarsi, costosi da raccogliere o limitati dalle normative sulla privacy. Tuttavia, i dati sintetici comportano rischi: se il generatore ha dei bias, i dati sintetici li ereditano; e i modelli addestrati interamente su dati sintetici possono sviluppare circoli viziosi (a volte chiamati "model collapse") in cui gli errori si accumulano di generazione in generazione.

Dataset di benchmark

I dataset di benchmark sono insiemi di valutazione standardizzati progettati per misurare capacità specifiche. Includono un test set fisso con risposte corrette note. I modelli vengono valutati rispetto a questi benchmark per produrre punteggi confrontabili. Esempi:

Benchmark	Dominio	Cosa misura
ImageNet	Computer vision	Accuratezza nella classificazione di immagini
GLUE / SuperGLUE	Linguaggio naturale	Comprensione del linguaggio in più compiti
MMLU	Conoscenza generale	Accuratezza multi-task su 57 materie
HumanEval	Generazione di codice	Correttezza funzionale del codice generato
Common Crawl	Testo web	Usato come dati di addestramento; scala e copertura

I risultati dei benchmark compaiono nelle schede progetto di DecAIHub come prova per il flag AI_3 (metriche/benchmark/qualità) all'interno dell'algoritmo DecAI Fit.

Perché i dataset contano nel crypto AI

La qualità dei dati determina la qualità del modello. Un modello addestrato su dati rumorosi, distorti o irrilevanti produrrà output rumorosi, distorti o irrilevanti — per quanto sofisticata sia la sua architettura. Per i progetti crypto AI, questo ha implicazioni concrete:

Un agente addestrato su documentazione di protocolli obsoleta darà risposte errate sui parametri attuali dei contratti.
Un analizzatore di sentiment addestrato solo su testo inglese fallirà con le community crypto multilingue.
Un modello di rischio addestrato su dati on-chain incompleti non coglierà pattern di transazione critici.

Nella valutazione delle affermazioni sull'AI di un progetto, il dataset è un elemento critico. Un progetto che descrive le sue fonti di dati, i metodi di raccolta e i controlli di qualità dimostra maggiore profondità AI rispetto a uno che menziona l'"AI" senza spiegare da cosa il modello abbia imparato.

Dati decentralizzati nel crypto AI

Diversi pattern nella categoria AI/Data collegano i dataset alla blockchain e alle meccaniche dei token:

Marketplace di dati — piattaforme in cui i fornitori di dati vendono o concedono in licenza dataset, con regolamento on-chain e tracciamento della provenienza.
Raccolta dati incentivata — progetti che premiano gli utenti con token per il contributo di dati (etichettare immagini, annotare testi, condividere letture di sensori).
Dataset federati — dati che rimangono distribuiti tra i partecipanti e non vengono mai riuniti in un unico luogo. I modelli vengono addestrati su di essi in loco usando il federated learning.
Data DAO — organizzazioni decentralizzate che governano, curano e monetizzano collettivamente dataset condivisi.

Questi modelli tentano di risolvere un problema reale: i dati etichettati di alta qualità sono costosi e spesso controllati da poche grandi aziende. Gli incentivi in token possono potenzialmente democratizzare il contributo di dati — anche se la qualità dei dati incentivati deve essere verificata con attenzione.

Raccolta ed etichettatura dei dati

I dati grezzi raramente arrivano pronti per l'addestramento. Devono essere raccolti, puliti, formattati e spesso etichettati da lavoratori umani o sistemi automatizzati. Questa pipeline — raccolta ed etichettatura dei dati — è essa stessa un vero AI component che compare nelle schede progetto di DecAIHub.

L'etichettatura su larga scala è costosa e laboriosa. Alcuni progetti crypto AI costruiscono reti di etichettatura decentralizzate in cui i contributori annotano dati e guadagnano ricompense in token. La qualità delle etichette è in genere garantita attraverso la ridondanza (più etichettatori per esempio) e meccanismi di consenso.

Dove compaiono i dataset nelle schede progetto di DecAIHub

I dataset emergono in più parti di una scheda progetto DecAIHub:

AI component — valori legati ai dati come "data collection", "data labeling" o "training data pipeline" indicano che il progetto lavora attivamente con i dataset anziché limitarsi a consumare modelli pre-costruiti.
Categoria — i progetti nella categoria AI/Data si concentrano specificamente su infrastrutture dati, marketplace o coordinamento decentralizzato dei dati.
Tabella delle prove — le prove Tier-1 per la qualità dei dataset includono data card pubblicate, statistiche campionarie, documentazione della metodologia di raccolta, informazioni sulle licenze e link a dataset o repository di dati pubblicamente accessibili.
ai_score — all'interno dell'algoritmo DecAI Fit, un progetto che dimostra un lavoro reale sui dati con prove pubblicate contribuisce a un ai_score più alto. Limitarsi a dichiarare "dati proprietari" senza artefatti verificabili non lo fa.

Cosa un dataset da solo non dimostra

Avere dati non significa che l'AI che li usa sia reale o valida. Un progetto può raccogliere un dataset enorme e non avere comunque un modello funzionante, nessuna pipeline di inferenza e nessun output utile.
La dimensione del dataset non è un indicatore di qualità. Un milione di esempi etichettati male vale meno di mille esempi ben curati.
Dichiarare "dati proprietari" non è una prova. Senza la divulgazione delle fonti dei dati, della metodologia di raccolta o dei risultati di valutazione, l'affermazione non è verificabile. Consulta il framework delle prove Tier-1/2/3.
Un dataset non spiega perché serva un token. L'archiviazione e l'accesso ai dati non richiedono intrinsecamente una blockchain o un token.
Raccogliere dati non è addestrare. Un progetto con un grande dataset ma senza modello, senza pipeline di addestramento e senza endpoint di inferenza è un progetto di dati, non un progetto AI.

Da non confondere con

Addestramento è il processo che consuma il dataset. Il dataset è l'input; l'addestramento è l'operazione.
Raccolta ed etichettatura dei dati è la pipeline che produce il dataset. Sono fasi correlate ma distinte.
Categoria AI/Data classifica i progetti focalizzati sulle infrastrutture dati. Un dataset è un concetto usato in tutte le categorie AI.
AI component descrive il meccanismo in cui avviene il lavoro AI. Un dataset alimenta quel meccanismo ma non è il meccanismo stesso.
Benchmark e metriche di qualità usano dataset specifici per la valutazione, ma il benchmark è la procedura di valutazione, non il dataset in sé.

Domande frequenti

Cosa rende buono un dataset?

Un buon dataset è pertinente al compito, abbastanza grande da coprire lo spazio del problema, etichettato con precisione (se supervisionato), privo di bias sistematici e ben documentato. La documentazione dovrebbe includere la fonte dei dati, la metodologia di raccolta, le linee guida di etichettatura, i limiti noti e la cronologia delle versioni. In pratica, un dataset più piccolo ma curato con attenzione spesso supera uno più grande ma rumoroso. Il principio è semplice: il modello può essere buono solo quanto i dati da cui ha imparato.

Cos'è il data poisoning?

Il data poisoning è un attacco deliberato in cui un avversario inietta esempi malevoli in un dataset di addestramento per corrompere il comportamento del modello. Per esempio, un attaccante potrebbe aggiungere immagini etichettate male per far sì che un classificatore identifichi erroneamente input specifici, o iniettare testo distorto per far produrre a un modello linguistico output dannosi. Il data poisoning è una preoccupazione seria per la raccolta dati decentralizzata, dove i contributori possono essere anonimi e mossi dagli incentivi. I meccanismi di difesa includono l'etichettatura ridondante, il rilevamento di anomalie, i sistemi di reputazione dei contributori e il tracciamento crittografico della provenienza dei dati.

Si possono usare dati protetti da copyright per addestrare l'AI?

È una questione legale aperta senza una risposta universale. Diverse cause di alto profilo stanno verificando se l'addestramento su materiale protetto da copyright costituisca fair use. Alcune giurisdizioni prevedono eccezioni esplicite per il text e data mining a fini di ricerca. In pratica, la maggior parte dei grandi modelli linguistici è stata addestrata su dati raccolti dal web che includono contenuti protetti da copyright. I progetti che divulgano le loro fonti di dati e i termini di licenza dimostrano più trasparenza di quelli che non lo fanno. DecAIHub valuta la trasparenza dei dati come parte del framework delle prove, ma non formula determinazioni legali sul copyright.

Cos'è un dataset sintetico?

Un dataset sintetico è generato da algoritmi o da altri modelli AI anziché raccolto da fonti del mondo reale. I dati sintetici vengono usati per ampliare dataset reali, colmare le lacune dove i dati reali scarseggiano o proteggere la privacy sostituendo record sensibili con surrogati realistici ma artificiali. Il rischio è che i dati sintetici possano ereditare e amplificare i bias del modello generatore. I modelli addestrati esclusivamente su dati sintetici possono anche soffrire di "model collapse" — un degrado progressivo della qualità man mano che ogni generazione di dati sintetici si allontana sempre più dalla distribuzione originale.

Come valuta DecAIHub la qualità dei dataset?

DecAIHub non assegna punteggi ai dataset direttamente. Valuta invece se un progetto fornisce prove verificabili del lavoro sui dati come parte della sua valutazione complessiva DecAI Fit. Le prove che contribuiscono all'ai_score includono data card pubblicate, metodologia di raccolta documentata, statistiche campionarie, repository pubblici e risultati di benchmark su set di valutazione riconosciuti. Le affermazioni di "dati proprietari" o "dataset enorme" senza artefatti a supporto sono trattate come non verificabili e non aumentano il punteggio. Il framework delle prove Tier-1/2/3 definisce cosa conta come prova.

Vedi anche

Riferimenti esterni

Hugging Face -- Datasets -- il più grande repository aperto di dataset per il machine learning, con ricerca, filtri, anteprima e documentazione per migliaia di dataset.
Papers With Code -- Datasets -- catalogo di dataset collegati a risultati di benchmark e articoli di ricerca, consultabile per compito e dominio.
Stanford HAI -- AI Index Report -- dati annuali sulla crescita dei dataset, sulle tendenze della governance dei dati e sul ruolo dei dati nel progresso dell'AI.
Google Research -- Dataset Search -- motore di ricerca specifico per i dataset pubblicati sul web, incluse fonti accademiche, governative e commerciali.
Wikipedia -- Training data -- spiegazione di base delle suddivisioni in dati di addestramento, validazione e test e del loro ruolo nel machine learning.