Le Scuole Elementari dell'AI: Il Pre-training

Il Pre-training è la fase più costosa e lunga nella creazione di un'AI. Il modello legge internet intero (o enormi dataset selezionati) per imparare la grammatica, i fatti storici, il codice e il senso comune, senza un obiettivo specifico.

Creare una Fondazione

Il risultato del pre-training è un "Foundation Model". È un modello grezzo, che sa tutto ma non sa ancora come comportarsi con un utente umano. È come un genio che ha letto tutti i libri della biblioteca ma non ha mai parlato con nessuno.

Economia di Scala

Solo pochissime aziende al mondo possono permettersi il pre-training di modelli di punta, a causa degli investimenti miliardari in chip e dei mesi di tempo necessari per completare il processo.