L'Alfabeto dell'AI: I Token

Un LLM non legge le lettere e non legge nemmeno esattamente le parole. Legge i Token. Un token può essere una parola intera ("casa"), una parte di parola ("-izzazione") o un segno di punteggiatura. In media, 1000 token corrispondono a circa 750 parole.

Perché sono importanti

• Costi: Le API di OpenAI e Google ti fanno pagare in base a quanti token usi.
• Limiti: Ogni AI ha una "finestra di contesto" (es. 128k token): è la quantità massima di testo che può ricordare in una volta sola.

Efficienza nel Linguaggio

La "Tokenizzazione" è ciò che permette all'AI di gestire lingue diverse e codici di programmazione. Saper ottimizzare il numero di token usati è una competenza chiave per chi sviluppa software basati su AI.