Hardver: CPU, GPU, RAM és VRAM
Egy lokális modell kiválasztásakor gyakran a memória a szűk keresztmetszet.
A lényeg
A modell paramétereinek és futás közbeni állapotainak tárolása memóriát igényel. A CPU sok modellhez elegendő lehet lassabb sebességgel, a GPU pedig nagy párhuzamosítás miatt gyorsíthat. A videómemória, a rendszer-RAM, a kontextushossz és a kvantálás együtt határozzák meg, mi fut kényelmesen.
A CPU sok modellt futtat, de a GPU gyorsíthatja az inference-t. A memóriaigényt a súlyok mellett a kontextus és a futtatókörnyezet is befolyásolja; az egyes konfigurációk között nagy eltérés lehet.
Egy kvantált kisebb modell elindulhat átlagos laptopon, miközben egy nagy modell túl sok memóriát kér.
A modellfájl mérete nem azonos a teljes futás közbeni memóriaigénnyel.
Próbáld ki!
Nézd meg a géped RAM-ját, a grafikus gyorsító memóriáját és az ingyenes tárhelyet.
Szánj erre 1–2 percet. A saját megoldás többet ér, mint a kész válasz olvasása. Nem kell AI-fiók a feladathoz.
Mondd el saját szavaiddal a lecke lényegét. Hogyan magyaráznád el valakinek, miért téves a fent bemutatott félreértés? Hozz még egy saját példát!
Saját jegyzeted (automatikus helyi mentés)
Ellenőrizd a tudásod
Helyes válasz: A modell és a futás memóriaigénye. A modell paramétereinek és futás közbeni állapotainak tárolása memóriát igényel. A modellfájl mérete nem azonos a teljes futás közbeni memóriaigénnyel.
Források és továbbolvasás
A magyarázatok ismeretterjesztő összefoglalók. A hivatkozások modulonkénti szakmai háttéranyagok, nem mondatonkénti, elsődleges bizonyítékok. Kétség esetén ellenőrizd az eredeti dokumentumot.