Perché i chatbot sembrano capire (e perché non fidarsi a occhi chiusi)

Su softwarecrisis.dev, Baldur Bjarnason chiama "effetto LLMentalist" il trucco per cui i chatbot sembrano intelligenti: non perché ragionino come una persona, ma perché riproducono i meccanismi di un mentalista — frasi vaghe, conferme, tono sicuro — e noi riempiamo i buchi con la nostra fiducia. Il pezzo è del 2023, ma il problema è più attuale che mai. Usiamo questi strumenti per mail, preventivi, decisioni. Se "sembrano capire", abbassiamo la guardia. Qui sta il ribaltamento. Il rischio non è solo l'errore tecnico (date sbagliate, citazioni inventate). È trattare una risposta fluida come una verifica fatta. Il modello completa pattern. Non firma responsabilità. Quella resta tua — verso il cliente, il Fisco, il contratto. Per noi in redazione la regola è secca: l'AI può abbozzare. Tu controlli fonti, numeri e tono prima di mandare fuori qualsiasi cosa che porti il tuo nome. Cosa fare lunedì: su ogni output importante, chiedi "dove l'ha preso?" e "cosa succede se è sbagliato?". Se non sai rispondere, non è pronto.