L'AI in Azione: Cos'è l'Inference

L'Inference (Inferenza) è il momento in cui l'intelligenza artificiale "lavora". Dopo che un modello è stato addestrato (Training), viene messo in produzione per rispondere alle domande degli utenti. Mentre il training richiede mesi e supercomputer, l'inferenza deve essere istantanea ed economica.

Ottimizzazione dell'Inferenza

Per le aziende, il costo dell'inferenza è la voce di spesa principale. Tecniche come la Quantizzazione e il Pruning (taglio dei pesi inutili) servono a rendere l'inferenza più veloce, permettendo all'AI di rispondere in millisecondi anche su dispositivi con poca memoria.

Inference at the Edge

L'inferenza può avvenire nel cloud o "at the edge" (sul dispositivo). L'inferenza locale è preferita per applicazioni critiche come la guida autonoma, dove non ci si può permettere il ritardo della connessione internet.