Tokenizáció és embedding
A modell nem szavanként, szótári definíciókkal gondolkodik.
A lényeg
A tokenizáló a szöveget feldolgozható egységekre alakítja: ezek lehetnek szavak, szórészletek, írásjelek vagy más elemek. A tokenazonosítók embeddingeken keresztül numerikus reprezentációvá alakulnak. A tokenek száma befolyásolhatja a kontextusméretet, a késleltetést és az API-költséget, de nem azonos a szavak számával.
A token nem feltétlenül teljes szó: lehet szórész, írásjel vagy más szövegegység. Az embeddingek számszerű vektorokká alakítják a reprezentációkat; a jelentéshez való viszonyuk a modell tanításától függ.
A „kibervédelem” egy tokenizálóban lehet egyetlen egység, egy másikban több darab. A magyar ragozás is változást okozhat.
A 1000 karakter nem minden modellnél azonos számú token; konkrét becsléshez használj tokenizálót.
Próbáld ki!
Írj három összetett magyar szót; jósolj rá, melyik bomolhat több részre, majd ellenőrizd tokenizálóval.
Szánj erre 1–2 percet. A saját megoldás többet ér, mint a kész válasz olvasása. Nem kell AI-fiók a feladathoz.
Mondd el saját szavaiddal a lecke lényegét. Hogyan magyaráznád el valakinek, miért téves a fent bemutatott félreértés? Hozz még egy saját példát!
Saját jegyzeted (automatikus helyi mentés)
Ellenőrizd a tudásod
Helyes válasz: A modell által feldolgozott szövegegység, nem feltétlenül teljes szó. A tokenizáló a szöveget feldolgozható egységekre alakítja: ezek lehetnek szavak, szórészletek, írásjelek vagy más elemek. A 1000 karakter nem minden modellnél azonos számú token; konkrét becsléshez használj tokenizálót.
Források és továbbolvasás
A magyarázatok ismeretterjesztő összefoglalók. A hivatkozások modulonkénti szakmai háttéranyagok, nem mondatonkénti, elsődleges bizonyítékok. Kétség esetén ellenőrizd az eredeti dokumentumot.