RAG korlátai és tesztelése
A forrást idéző chatbot is tévedhet.
A lényeg
Egy RAG-rendszert legalább három rétegen érdemes értékelni: megtalálta-e a releváns forrást, helyesen használta-e fel, és megfelelően kezeli-e a hiányzó adatot. A hozzáférési kontroll külön alapkövetelmény. Tesztkészletben legyenek válaszolható, nem válaszolható, ellentmondásos és jogosultsággal védett kérdések.
RAG-nál mérni kell a visszakeresés találati minőségét és a válasz forráshűségét külön is. A hibás vagy manipulált dokumentumot a modell könnyen hitelesnek kezelheti.
A rendszernek inkább azt kell mondania, hogy „nincs elég információ”, mint egy nem található céges szabályt kitalálnia.
Az idézetszám önmagában nem mér minőséget; a kapcsolódó állítást kell ellenőrizni.
Próbáld ki!
Írj négy tesztkérdést: könnyű, hiányzó adat, ellentmondó forrás, védett tartalom.
Szánj erre 1–2 percet. A saját megoldás többet ér, mint a kész válasz olvasása. Nem kell AI-fiók a feladathoz.
Mondd el saját szavaiddal a lecke lényegét. Hogyan magyaráznád el valakinek, miért téves a fent bemutatott félreértés? Hozz még egy saját példát!
Saját jegyzeted (automatikus helyi mentés)
Ellenőrizd a tudásod
Helyes válasz: Olyan kérdés, amelyre nincs válasz a dokumentumokban. Egy RAG-rendszert legalább három rétegen érdemes értékelni: megtalálta-e a releváns forrást, helyesen használta-e fel, és megfelelően kezeli-e a hiányzó adatot. Az idézetszám önmagában nem mér minőséget; a kapcsolódó állítást kell ellenőrizni.
Források és továbbolvasás
A magyarázatok ismeretterjesztő összefoglalók. A hivatkozások modulonkénti szakmai háttéranyagok, nem mondatonkénti, elsődleges bizonyítékok. Kétség esetén ellenőrizd az eredeti dokumentumot.