Com funciona de veritat el descarregament d'experts en un equip amb més RAM de sistema que VRAM: els experts calents queden fixos a la targeta; els freds dormen a la memòria comuna. La mecànica, mesurada:
https://blog.localai.hex7.com/hot-experts-cold-ram-running-a-big-moe-on-a-machine-with-more-memory-than-vram/
Top comments (0)