Transformer és attention
Honnan „tudja” egy nyelvi modell, melyik korábbi szó fontos?
A lényeg
A Transformer figyelmi mechanizmusai (attention) a sorozat elemei közötti kapcsolatok súlyozását teszik lehetővé. A pozícióinformáció segít a sorrend kezelésében. A modern modellek architektúrája változatos; az attention fontos alkotóelem, de nem önmagában állítja elő a teljes válaszminőséget.
Az attention segítségével a modell egy pozíció feldolgozásakor más pozíciókból is információt súlyozhat. Ez nem emberi figyelem, és önmagában nem oldja meg a hosszú kontextus összes problémáját.
„A kutya meglátta a macskát, mert az...” – a folytatásnál a korábbi szereplők és mondatszerkezet számítanak.
Az attention-súlyok önmagukban nem teljes, megbízható magyarázatok a modell belső döntéseire.
Próbáld ki!
Írj mondatot több azonos nemű szereplővel; hol lehet félreérthető a névmási utalás?
Szánj erre 1–2 percet. A saját megoldás többet ér, mint a kész válasz olvasása. Nem kell AI-fiók a feladathoz.
Mondd el saját szavaiddal a lecke lényegét. Hogyan magyaráznád el valakinek, miért téves a fent bemutatott félreértés? Hozz még egy saját példát!
Saját jegyzeted (automatikus helyi mentés)
Ellenőrizd a tudásod
Helyes válasz: A tokenek közötti releváns kapcsolatok súlyozása. A Transformer figyelmi mechanizmusai (attention) a sorozat elemei közötti kapcsolatok súlyozását teszik lehetővé. Az attention-súlyok önmagukban nem teljes, megbízható magyarázatok a modell belső döntéseire.
Források és továbbolvasás
A magyarázatok ismeretterjesztő összefoglalók. A hivatkozások modulonkénti szakmai háttéranyagok, nem mondatonkénti, elsődleges bizonyítékok. Kétség esetén ellenőrizd az eredeti dokumentumot.