DEV Community

Cover image for Experts calents, RAM freda: executar un MoE gran
Private Local AI
Private Local AI

Posted on

Experts calents, RAM freda: executar un MoE gran

Com funciona de veritat el descarregament d'experts en un equip amb més RAM de sistema que VRAM: els experts calents queden fixos a la targeta; els freds dormen a la memòria comuna. La mecànica, mesurada:
https://blog.localai.hex7.com/hot-experts-cold-ram-running-a-big-moe-on-a-machine-with-more-memory-than-vram/

https://blog.localai.hex7.com/hot-experts-cold-ram-running-a-big-moe-on-a-machine-with-more-memory-than-vram/

Top comments (0)