Despliegue en local del glm52
GLM 52 es un modelo MOE de 753B con 40B activos por token, el coste de computo por token es similar al de un modelo de 40B, es rapido por los 40B pero el huecazo que necesitas en memoria es bastante grande, basicamente corre como un 40B y pesa como un 753B.
Demas tecnicismos:
- licencia MIT
- contexto con capacidad de 1M tokens
- solo texto
- precision nativa BF16
En los rankings de benchamarks es uno de los mejores modelos, cerca del rendimiento de gpt 5.5 en algunos aspectos con la velocidad de nemotron 3 ultra
¿cuanto ocuparia el glm52 con precision bf16? unos 1.51TB de RAM. 8x h100 solo llegarian a unos 640GB
De momento, los modelos dinamicos de Unsloth (https://huggingface.co/unsloth/GLM-5.2-GGUF) son los mas recomendables porque mantienen una calidad muy alta de respuesta reduciendo la precision del modelo, con la consiguiete reduccion del peso en memoria del modelo.
Las cuantizaciones tradicionales convierten todo el modelo al mismo número de bits. Las cuantizaciones dinamicas de Unsloth utilizan más bits en las capas críticas y menos bits en las menos importantes, asi consigue una calidad cercana al original ocupando mucho menos espacio en memoria.
La pregunta ahora es: ¿cual es punto dulce entre precision/consumo RAM?
| Cuantización | Tamaño | Bits | Calidad respecto a BF16 |
|---|---|---|---|
| UD-IQ1_S | 217 GB | 1-bit | Pérdida importante de calidad. Funciona, pero se nota bastanta la degradacion. |
| UD-IQ1_M | 228 GB | 1-bit | Pérdida importante de calidad. |
| UD-IQ2_XXS | 238 GB | 2-bit | Degradación apreciable. |
| UD-IQ2_M | 239 GB | 2-bit | Degradación apreciable. |
| UD-Q2_K_XL | 254 GB | 2-bit | Utilizable en caso de necesidad, aunque el razonamiento se resiente. |
| UD-IQ3_XXS | 282 GB | 3-bit | Empieza a ofrecer un buen rendimiento. |
| UD-IQ3_S | 309 GB | 3-bit | Muy buen equilibrio para su tamaño. |
| UD-Q3_K_M | 343 GB | 3-bit | Punto dulce para la mayoría de usuarios |
| UD-Q3_K_XL | 343 GB | 3-bit | La opción más recomendable para la mayoría de usuarios. |
| UD-IQ4_XS | 365 GB | 4-bit | Prácticamente indistinguible del modelo original en la mayoría de tareas. |
| UD-IQ4_NL | 373 GB | 4-bit | Prácticamente indistinguible del modelo original. |
| UD-Q4_K_S | 436 GB | 4-bit | Excelente calidad. |
| UD-Q4_K_M | 466 GB | 4-bit | Excelente calidad. |
| UD-Q4_K_XL | 467 GB | 4-bit | El punto dulce de calidad. |
| UD-Q5_K_S | 527 GB | 5-bit | A partir de aquí las mejoras son cada vez menores. |
| UD-Q5_K_M | 561 GB | 5-bit | Mejora marginal respecto a Q4. |
| UD-Q5_K_XL | 562 GB | 5-bit | Mejora marginal respecto a Q4. |
| UD-Q6_K | 626 GB | 6-bit | En la práctica es indistinguible de BF16. |
| UD-Q6_K_XL | 684 GB | 6-bit | Igual que la anterior. |
| Q8_0 | 801 GB | 8-bit | Prácticamente sin pérdida de calidad, pero poco práctico para uso local. |
| UD-Q8_K_XL | 820 GB | 8-bit | Igual que la anterior. |
| BF16 | 1.51 TB | 16-bit | Precisión completa. La versión que prácticamente nadie ejecuta en local. |
El punto dulce seria el modelo UD-Q4_K_XL de 467GB, sigue siendo una cantidad alta de memoria. Para la mayoria de la gente, el modelo UD-Q3_K_XL de 343GB es una solucion realista para 4 tarjetas donde no caben los 467GB, basicamente el UD-Q3_K_XL es el objetivo minimo, si tienes mas memoria, adelante con los demas. No obstante, me gustaria decir que el UD-Q3_K_XL con prompts complejos o cuando le da el venazo tiene problemas de loops de razonamiento
Unsloth, en su guía, recomienda el modelo UD-IQ2_M de 239 GB, que alcanza un 82% de coincidencia Top1 respecto al BF16. Para tareas que no impliquen código, agentes o razonamientos complejos, esta equilibrado entre memoria y calidad. En mi opinión, tienen razón: para un uso generalista, una cuantización de 2 bits es suficiente.
Recuerda que tienes que dejar espacio para la cache KV.
| Quant | Tamaño |
|---|---|
| IQ1 | No recomendable |
| IQ2 | Uso general |
| Q3 | Programación |
| Q4 | Calidad máxima razonable |
| Q5+ | Solo si sobra memoria |
Posibles equipos:
Solo cpu. Puedes correr glm 5.2 solo en cpu y ram con llama.cpp o mejor con ik_llama.cpp, cargas el modelo en un equipo con threadripper, epyc,... y con mas de 400GB RAM DDR5 iras a la velocidad del rayo de unos maximo 5-10 tokens segundo. Para algo interactivo, olvidalo
Mac studio/DGX Spark. respecto al mac studio (pendiente de lo que presente apple en el septiembre/octubre 2026) sin usar las nuevas versiones del motor MLX, de segunda mano el m3 ultra de 512GB cabe el UD-Q3_K_XL de 343GB, con espacio para el contexto, iria a unos 15-20 tokens segundo. usando las nuevas versiones del motor MLX, es posible correr con 128GB y 256k de KV. con 2x DGX Spark (no lo he probado) mas informacion: https://forums.developer.nvidia.com/t/academic-glm-5-2-on-2x-dgx-spark-gb10-nodes-crazy-1-bit-ud-iq1-s-rpc-llama-cpp-256k-context-8-tok-s/374523
multi gpu semiprofesional. con 3090's el UD-Q3_K_XL necesitarias 15 tarjetas, ideal para barbacoas. la tarjeta que encaja mejor es la RTX Pro 6000 Blackwell de 96GB, con minimo 4 tarjetas (50-60k) tienes suficiente para correr UD-Q3_K_XL con espacio para contexto. con 6 tarjetas (90k) alcanza para llegar al punto dulce UD-Q4_K_XL. Olvídate de NVLink. Lo importante es que llama.cpp/vllm/... pueda repartir los pesos entre las GPUs; no necesitas que las memorias se fusionen. Ahora bien, existen metodos mas exoticos (forks de vllm) que permiten correr glm5.2 en 2x RTX Pro 6000 Blackwell usando VRAM - RAM - NVM a 28-32 tokens segundo. la tecnica que usan es comprimir los moe a 2bit y con un recovery a FP4 para las partes mas importantes (https://github.com/kacper-daftcode/vllm-Moet)
nodo datacenter. 8x h100 (20-25k cada tarjeta) son unos 640GB que permiten caber UD-Q6_K, no permiten caber precision FP8 que serian unos 753GB, al menos necesitarias 1TB para encajar el modelo y el contexto, osea, minimo necesitarias 8x h200/mi300X, las 8x h100 no alcanzan para FP8
¿Que es mejor usar la api o un equipo local comprado/alquilado?
Tiene sentido usar los equipos locales cuando necesitas un volumen intenso de inferencias, privacidad, "baja latencia", ...
Proveedores api glm5.2:
https://artificialanalysis.ai/models/glm-5-2/providers
Mi recomendación rápida
✔ Solo quieres usar GLM-5.2? para la API.
✔ Tienes un Mac Studio 256 GB? para UD-IQ2_M (quizas con problemas).
✔ Tienes un Mac Studio 512 GB? para UD-Q3_K_XL.
✔ Vas a montar un servidor dedicado? para UD-Q3_K_XL.
✔ Quieres la mejor calidad posible sin disparar el consumo de ram? para UD-Q4_K_XL.
Top comments (0)