🧠 Come interpretare questa simulazione
Scrivi o seleziona una frase di esempio e guarda come l'attenzione si distribuisce quando clicchi su una parola. I colori più intensi indicano maggiore rilevanza: è così che i modelli Transformer decidono dove concentrare la comprensione.
- Inserisci una frase o scegli uno degli esempi rapidi.
- Clicca su una parola per visualizzare i pesi di attenzione rispetto a tutte le altre.
- Consulta la heatmap e i punteggi ordinati per capire come cambia il contesto.
🔤 Input Frase
🧠 Cos'è l'Attention Mechanism?
L'Attention Mechanism permette ai modelli di IA di concentrarsi dinamicamente sulle parti più rilevanti dell'input. A differenza delle reti neurali tradizionali che processano ogni elemento allo stesso modo, l'attention impara a dare pesi diversi a parti diverse dell'input.
Esempio pratico: Nella traduzione "The black cat" → "Il gatto nero", quando traduci "nero", il modello deve "prestare attenzione" sia a "black" (significato) che a "cat" (accordo grammaticale). L'attention permette questo!
L'attention è la base dei modelli Transformer (come GPT, BERT) e permette di catturare relazioni a lungo raggio nel testo, superando i limiti delle RNN. Ogni parola può "guardare" tutte le altre parole e decidere quali sono più importanti!
