IA: il Collasso, reloaded

Non è per rompere le uova nel paniere ma, da blogger vecchia scuola, per esempio in questo passaggio:

Alcuni studi mostrano che il collasso del modello si verifica in modelli semplici come i Gaussian Mixture Models ed i Variational Autoencoders, nonché in Modelli Linguistici più complessi. Anche una taratura del modello durante l’addestramento non impedisce il collasso del modello nei modelli linguistici.

avrei probabilmente messo almeno 2 o 3 link ai paper utilizzati per scrivere questo passaggio. Poi magari c'è una fonte terza che ha già esaminato e rimuginato la faccenda, solo che manca anche questa fonte terza. E poi, sebbene sia scritto del warning iniziale che

la cosa sarà per voi chiarissima, anzi abbagliante nella sua semplicità

ed effettivamente lo è, ciò però non vuol dire che mi debba mettere a cercare le fonti e ripercorrere la stessa ricerca dell'autore, che poi ho alla fine abbastanza materiale per scriverci io stesso un post. O, nell'ottica di un lettore non del "mestiere" (nel senso della comunicazione scientifica), si prende quanto scritto come "oro colato".