Che cos'è l'inferenza

Nota: Questo documento è una traduzione automatica della versione originale in inglese.

Che cos'è l'inferenza

L'inferenza è il processo di esecuzione di un modello AI addestrato su nuovi dati per ottenere un risultato. Quando un modello classifica un'immagine, genera un paragrafo di testo, prevede un punteggio di rischio o raccomanda un'azione, sta eseguendo inferenza. Se il training è il modo in cui il modello impara, l'inferenza è il modo in cui lavora.

Un'analogia utile: il training è studiare per un esame — leggere i libri di testo, risolvere esercizi, assimilare gli schemi. L'inferenza è sostenere l'esame — applicare quanto appreso a nuove domande in condizioni reali. Ogni volta che un sistema AI produce un output in produzione, quella è inferenza.

In breve: il training è studiare per un esame; l'inferenza è sostenere l'esame. Ogni volta che un sistema AI produce un output in produzione, quella è inferenza.

Come funziona l'inferenza passo dopo passo

Sebbene l'inferenza appaia istantanea all'utente finale ("ho digitato una domanda e ho ricevuto una risposta"), dietro le quinte gira una pipeline concreta ogni volta che un modello produce un output.

Input

Tutto inizia con i dati di input — un prompt testuale, un'immagine, un insieme di numeri, l'hash di una transazione blockchain, un clip audio o qualsiasi altro dato strutturato o non strutturato che il modello è stato progettato per elaborare.

Pre-elaborazione

L'input grezzo raramente viene passato direttamente al modello. Un passaggio di pre-elaborazione lo trasforma nel formato che il modello si aspetta. Per un modello testuale, ciò significa tokenizzazione — suddividere il testo in token (unità sub-lessicali) e convertirli in ID numerici. Per un modello di immagini, significa ridimensionare, normalizzare i valori dei pixel e talvolta aumentare l'immagine. La pre-elaborazione deve corrispondere esattamente ai passaggi usati durante il training; altrimenti il modello riceve dati in un formato che non è mai stato addestrato a gestire.

Forward pass

L'input pre-elaborato viene fatto passare attraverso l'architettura del modello — strato per strato, attraverso tutti i pesi appresi e le funzioni di attivazione. Questo passaggio è chiamato forward pass. Durante questa fase, il modello applica al nuovo input gli schemi appresi durante il training. Nessun peso viene aggiornato; non avviene alcun apprendimento. Il modello si limita a calcolare un output dall'input usando le conoscenze esistenti.

Per un modello linguistico di grandi dimensioni, il forward pass produce una distribuzione di probabilità sui possibili token successivi. Per un classificatore, produce probabilità per ciascuna classe. Per un modello generativo di immagini, produce un'immagine progressivamente ripulita dal rumore.

Output

Il forward pass produce un output grezzo — spesso un vettore di numeri, probabilità o una sequenza di token. Questo output grezzo deve essere interpretato per diventare utile.

Post-elaborazione

La post-elaborazione converte l'output grezzo in un risultato leggibile dall'uomo o utilizzabile dal sistema. Per un LLM, significa decodificare gli ID dei token riportandoli in testo. Per un classificatore, significa mappare i punteggi di probabilità sulle etichette di classe ("spam" vs "non spam"). Per un modello di scoring, significa convertire un valore grezzo in un intervallo di punteggio atteso dall'applicazione.

In sintesi:

Passaggio	Cosa succede	Esempio (modello testuale)
Input	Arrivano i dati grezzi	L'utente digita una domanda
Pre-elaborazione	I dati vengono trasformati nel formato del modello	Il testo viene tokenizzato in ID numerici
Forward pass	Il modello calcola l'output dall'input usando i pesi appresi	Distribuzione di probabilità sul vocabolario
Output grezzo	Viene prodotto il risultato numerico	Probabilità dei token
Post-elaborazione	L'output viene convertito in forma utilizzabile	Gli ID dei token vengono decodificati in testo

Tipi di inferenza

Non tutta l'inferenza è uguale. Scenari di deployment diversi creano requisiti tecnici e compromessi diversi.

Inferenza in tempo reale vs batch

Dimensione	Inferenza in tempo reale	Inferenza batch
Quando viene eseguita	Su richiesta, per singola richiesta	Su pianificazione o quando si accumula un batch
Requisito di latenza	Bassa (da millisecondi a secondi)	Flessibile (accettabili minuti o ore)
Caso d'uso	Chatbot, scoring in tempo reale, agenti interattivi	Generazione di report, classificazione in blocco, analisi periodiche
Profilo di costo	Più alto per richiesta (l'hardware deve essere sempre pronto)	Più basso per elemento (hardware usato in modo efficiente a raffiche)

L'inferenza in tempo reale è ciò che gli utenti finali sperimentano tipicamente — inviano una query e ricevono subito una risposta. L'inferenza batch è comune nelle pipeline di backend dove un modello elabora migliaia di punti dati alla volta (per esempio, valutare il rischio di frode di tutte le transazioni dell'ultima ora).

Inferenza edge vs cloud

L'inferenza cloud viene eseguita su server centralizzati (o cluster di server) in un data center. Offre hardware potente (GPU di fascia alta, molta memoria) ma introduce latenza di rete e dipendenza da un fornitore centrale.
L'inferenza edge viene eseguita su dispositivi locali — smartphone, sensori IoT, hardware embedded. Riduce la latenza e mantiene i dati sul dispositivo, ma è limitata dalla potenza di calcolo e dalla memoria del dispositivo.

Molti sistemi di produzione combinano entrambe: modelli leggeri girano sull'edge per risposte iniziali rapide, mentre le query complesse vengono inoltrate a modelli basati sul cloud.

Inferenza on-chain vs off-chain

Questa distinzione è specifica dell'AI cripto ed è centrale nel modo in cui DecAIHub valuta i progetti:

Inferenza off-chain — il modello gira su server tradizionali o cluster GPU. I risultati possono essere pubblicati o meno su una blockchain in un secondo momento. È la configurazione più comune nei progetti di AI cripto perché eseguire modelli di grandi dimensioni direttamente su una blockchain è computazionalmente impraticabile.
Inferenza on-chain — il modello (o una prova verificabile del suo calcolo) viene eseguito nell'ambiente di esecuzione della blockchain. La vera inferenza on-chain per modelli non banali è estremamente rara a causa delle limitazioni computazionali degli ambienti degli smart contract. I progetti che dichiarano inferenza on-chain usano tipicamente uno di questi approcci: eseguire un modello molto piccolo all'interno di uno smart contract, pubblicare una prova crittografica (come lo zkML) che l'inferenza è stata eseguita correttamente off-chain, oppure usare un meccanismo simile a un oracolo in cui i risultati dell'inferenza off-chain vengono attestati e registrati on-chain.

La distinzione tra inferenza on-chain e off-chain è direttamente rilevante per l'asse Onchain necessity in DecAI Fit.

Perché l'inferenza conta nell'AI cripto

Se un progetto afferma di usare l'intelligenza artificiale, l'inferenza deve avvenire da qualche parte. Un modello che è stato addestrato ma non esegue mai inferenza non produce output e non fornisce alcun valore agli utenti. L'inferenza è il punto in cui l'AI smette di essere un concetto e inizia a essere un prodotto.

Nelle schede di progetto DecAIHub, il campo AI component menziona spesso meccanismi legati all'inferenza: motori di inferenza, inferenza decentralizzata, endpoint di inferenza LLM, model serving. Questi sono indicatori concreti che un modello viene effettivamente usato — non solo dichiarato.

Costo, velocità e il collegamento con il calcolo

L'inferenza non è gratuita. Eseguire un modello richiede risorse di calcolo — tipicamente GPU o acceleratori specializzati come TPU e ASIC dedicati. Il costo dell'inferenza dipende da diversi fattori:

Fattore	Impatto su costo e velocità
Dimensione del modello (numero di parametri)	Modelli più grandi richiedono più memoria e calcolo per richiesta
Lunghezza dell'input	Input più lunghi (per esempio prompt testuali lunghi) aumentano il tempo di elaborazione
Lunghezza dell'output	Per i modelli autoregressivi (LLM), ogni token di output richiede un forward pass
Dimensione del batch	Elaborare più richieste insieme può migliorare il throughput ma aggiunge latenza
Hardware	GPU più potenti riducono i tempi ma costano di più
Quantizzazione	Ridurre la precisione numerica (per esempio da 32 bit a 8 bit) taglia memoria e calcolo al costo di una certa accuratezza

I progetti ottimizzano l'inferenza attraverso diverse tecniche:

Quantizzazione — ridurre la precisione numerica dei pesi per usare meno memoria e calcolo.
Distillazione — addestrare un modello "studente" più piccolo a imitare un modello "insegnante" più grande, producendo un modello più veloce con una perdita di qualità accettabile.
Batching — raggruppare più richieste per elaborarle simultaneamente e condividere l'overhead di calcolo.
Caching — memorizzare e riutilizzare i risultati per query ripetute o simili.
Selezione dell'hardware — scegliere la GPU, la TPU o l'acceleratore giusto per il carico di lavoro.

L'infrastruttura di calcolo che alimenta l'inferenza è un'area importante dell'AI cripto. Molti progetti costruiscono o coordinano reti GPU specificamente per servire carichi di lavoro di inferenza, ricadendo nelle categorie AI/Compute o AI/Inference.

Inferenza decentralizzata

Nell'AI tradizionale, l'inferenza gira su server centralizzati controllati da una sola azienda. L'inferenza decentralizzata distribuisce il serving dei modelli su una rete di fornitori indipendenti. È un pattern centrale nella categoria AI/Inference dei progetti di AI cripto.

L'inferenza decentralizzata introduce una serie di sfide che non esistono nei sistemi centralizzati:

Coerenza degli output — fornitori diversi devono produrre output identici (o sufficientemente simili) per lo stesso input. Differenze hardware, versioni software e precisione numerica possono causare divergenze.
Verifica — come si dimostra che è stato effettivamente usato il modello corretto, che l'input non è stato manomesso e che l'output è stato calcolato onestamente? Gli approcci includono il consenso multi-fornitore (eseguire la stessa query su più nodi e confrontare i risultati), i trusted execution environment (TEE) che forniscono garanzie a livello hardware, e le prove a conoscenza zero (zkML) che dimostrano la correttezza del calcolo senza rivelare i pesi del modello o i dati di input.
Latenza — instradare le richieste verso fornitori distribuiti aggiunge overhead di rete rispetto ai server centralizzati.
Coordinamento dei pagamenti — i fornitori devono essere compensati equamente, il che spesso coinvolge meccanismi di pagamento on-chain legati a lavoro di inferenza verificato.

Questi meccanismi sono descritti in dettaglio nella pagina L'inferenza come componente AI.

Dove appare nelle schede di progetto DecAIHub

L'inferenza emerge in più parti di una scheda di progetto DecAIHub:

AI component — valori legati all'inferenza come "inference", "model serving", "LLM inference" o "decentralized inference" indicano che la funzione AI centrale del progetto riguarda l'esecuzione di modelli in produzione.
Categoria — i progetti nella categoria AI/Inference si concentrano specificamente sulla fornitura di infrastruttura o servizi di inferenza.
Tabella delle evidenze — l'evidenza Tier-1 per l'inferenza include endpoint API pubblici, benchmark di inferenza, misurazioni di latenza e log di calcolo verificabili.
ai_score — un progetto che dimostra un'inferenza funzionante con evidenze pubblicate riceve un ai_score più alto di uno che si limita a descrivere un modello senza mostrare che gira.

Un progetto può affermare di avere un modello, ma se non c'è evidenza che l'inferenza avvenga in produzione, il modello non fornisce alcun valore agli utenti finali.

Cosa l'inferenza da sola non dimostra

Eseguire inferenza su un modello di terze parti via API (per esempio chiamando GPT o Claude) è tecnicamente inferenza ma non dimostra capacità AI proprietarie. Vedi Che cos'è un API wrapper.
L'inferenza dimostra che un modello gira — non dimostra che il modello sia di alta qualità o adatto al compito. La qualità richiede benchmark e metriche.
L'inferenza non dimostra che un token sia necessario al funzionamento della pipeline o che il progetto debba essere on-chain. Questi sono assi separati in DecAI Fit.
Le affermazioni sulla velocità senza benchmark o metodologia pubblicati non sono verificabili. Dichiarare "l'inferenza più veloce" richiede evidenze riproducibili.
L'esistenza di un endpoint di inferenza non dimostra che il modello dietro di esso sia stato costruito dal progetto anziché essere una copia ospitata di un modello open-source.

Controlla sempre la tabella delle evidenze e l'evidenza Tier-1/2/3 per gli artefatti a supporto.

Da non confondere con

Training produce il modello. L'inferenza lo usa. Sono fasi sequenziali del ciclo di vita dell'AI.
L'inferenza come componente AI descrive come l'inferenza appare specificamente nelle schede di progetto DecAIHub. Questa pagina spiega il concetto in sé.
Categoria AI/Inference classifica i progetti che si concentrano sull'infrastruttura di inferenza. Il concetto di inferenza si applica a qualsiasi progetto che esegue un modello, indipendentemente dalla sua categoria.
Calcolo fornisce l'hardware. L'inferenza è il carico di lavoro che gira su quell'hardware. Una rete di calcolo può servire sia carichi di training sia di inferenza.
Modello AI è l'artefatto (i pesi addestrati). L'inferenza è il processo di uso di quell'artefatto per produrre output.

Domande frequenti

Qual è la differenza tra training e inferenza?

Il training è il processo con cui si insegna a un modello esponendolo ai dati e regolandone i pesi per minimizzare gli errori. È computazionalmente costoso e avviene tipicamente una volta (o periodicamente per il retraining). L'inferenza è il processo di uso del modello addestrato per produrre output su nuovi dati. Avviene ogni volta che un utente interagisce con il modello. Il training crea il modello; l'inferenza lo usa.

Perché la velocità di inferenza è importante?

La velocità determina l'esperienza utente e il costo operativo. Un chatbot che impiega 30 secondi a rispondere è inutilizzabile nella pratica. Un sistema di rilevamento delle frodi che impiega minuti a valutare una transazione perde la finestra per agire. Un'inferenza più veloce significa anche un costo di calcolo inferiore per richiesta, il che influisce direttamente sulla sostenibilità economica di un servizio — soprattutto per le reti decentralizzate dove i fornitori sostengono il costo dell'hardware.

Che cos'è l'inferenza decentralizzata?

L'inferenza decentralizzata distribuisce il serving dei modelli su una rete di fornitori di calcolo indipendenti invece di affidarsi ai server di una singola azienda. Le sfide principali sono garantire la coerenza degli output, verificare che sia stato effettivamente usato il modello corretto, gestire la latenza e coordinare i pagamenti. I progetti di AI cripto nella categoria AI/Inference costruiscono spesso infrastruttura specificamente per questo scopo.

Come si può verificare che l'inferenza stia effettivamente avvenendo?

Cerca evidenza Tier-1: endpoint API pubblici che possono essere testati, benchmark di latenza dell'inferenza, log di calcolo, registrazioni on-chain di richieste e risultati di inferenza, oppure prove verificabili (come attestazioni TEE o prove zkML). Affermazioni di marketing come "powered by AI" senza nessuno di questi artefatti non costituiscono evidenza di inferenza reale.

Qual è il costo dell'esecuzione dell'inferenza?

Il costo dipende dalla dimensione del modello, dalla lunghezza di input/output, dall'hardware e dalle tecniche di ottimizzazione. Far passare una singola query attraverso un modello linguistico di grandi dimensioni può costare da frazioni di centesimo a diversi centesimi a seconda del fornitore e della dimensione del modello. Per le reti di inferenza decentralizzate, i costi sono tipicamente pagati per query o per unità di calcolo, spesso usando il token nativo della rete o una stablecoin. L'economia dell'inferenza è un fattore chiave nella sostenibilità su larga scala della pipeline AI di un progetto.

Vedi anche

Riferimenti esterni

Hugging Face — Inference Endpoints — infrastruttura gestita per il deployment e l'esecuzione di modelli in produzione.
Papers With Code — Inference — risultati di benchmark e metodi per un'inferenza efficiente su vari tipi di modelli.
Stanford HAI — AI Index Report — dati annuali su costi dell'inferenza, tendenze hardware e pattern di deployment.
Google AI Blog — Efficient ML — ricerca su quantizzazione, distillazione e altre tecniche di ottimizzazione dell'inferenza.
Wikipedia — Statistical inference — approfondimento sui fondamenti statistici dell'inferenza nel machine learning.