Promptra Team for Promptra

Posted on Jul 10

GLM 5.2 на своём железе: локальный запуск через Unsloth, без облака

#ai #llm #opensource #china

Применить: 30 минут на проверку железа · Уровень: средний · Чтение: ~24 минуты · Данные проверены на 10 июля 2026

Что узнаешь:

Сколько памяти реально просит GLM 5.2: от ~223 ГБ на 1-bit до ~810 ГБ на 8-bit - таблица по всем квантам

Почему «40 млрд активных параметров» не значит «нужно 40 ГБ»: все ~744 млрд должны лежать в памяти

Команды llama.cpp и Unsloth verbatim: сборка, скачивание весов, запуск, квантизация KV-кэша

Реальная скорость по бенчам сообщества: 10-20 ток/с на многокарточных сборках, единицы ток/с на бытовом железе

Разбор мифа «24 ток/с на RTX 4090»: на деле кластер из 32 карт на 4 узлах

Экономика 2026: железо от ~2,1 млн ₽ против API по $1.40/$4.40 за 1M токенов (по данным агрегаторов)

Главное. GLM 5.2 - открытая MoE-нейросеть от китайской Z.ai, вышла 13 июня 2026 под лицензией MIT. Веса качаются с Hugging Face без подписки и оплаты картой - отсюда и мечта «запущу дома». На практике даже ужатая до 2 бит модель просит ~245 ГБ памяти при рекордно дорогой оперативке, а скорость на бытовом железе - единицы токенов в секунду. Полное ускорение длинного контекста в llama.cpp пока не реализовано. Для эпизодических задач API почти всегда дешевле железа.

Ты нашёл GLM 5.2, увидел ярлык «уровень Claude Opus 4.8 с открытыми весами по MIT» и захотел поставить её у себя. Без подписки, без оплаты картой, которую Z.ai всё равно не принимает. Логика железная: веса лежат на Hugging Face, качай и запускай.

Дальше начинается математика. В оригинале модель весит порядка 1.5 ТБ. Ужатая до 2 бит - это всё ещё ~245 ГБ, которые надо где-то держать. А оперативная память за полтора года подорожала в разы, и это ломает любой бюджет, посчитанный до 2026 года.

Разберём по-честному: сколько памяти реально нужно, какое железо потянет, какую скорость ждать и что выгоднее - железо или API. Каждая цифра с источником и датой. Где источники спорят между собой, я это отмечаю прямо в тексте. Данные проверены на 10 июля 2026.

Что такое GLM 5.2 и почему её рвутся запускать локально?

Главное. Флагман линейки GLM от Z.ai (Zhipu AI): релиз 13 июня 2026, лицензия MIT без региональных ограничений. Порядка 744 млрд параметров, ~40 млрд активных на токен, контекст до 1 048 576 токенов - в 5 раз больше, чем у GLM-5.1. Z.ai ставит её рядом с Claude Opus 4.8, GPT-5.5 и Gemini 3.1 Pro. Веса лежат на Hugging Face в открытом доступе - желание поставить её дома понятно.

GLM 5.2 работает как знакомый чат-ассистент и заточена под кодинг и агентные задачи. Ключевое отличие от закрытых топ-моделей - открытые веса под MIT: их можно скачать, запустить локально и встроить в свой продукт без спроса.

Архитектура - Mixture of Experts (MoE). Это значит, что модель состоит из множества «экспертов», но на каждый токен активируется лишь часть из них. Формально в карточке модели фигурирует нейминг 744B-A40B: ~744 млрд параметров суммарно и ~40 млрд активных на токен. Тут первая ловушка, к которой вернусь ниже, - активные 40 млрд не равны 40 ГБ памяти.

Версии и почему важна именно 5.2

Линейка развивалась быстро: GLM-5 → GLM-5.1 (открытые веса выложены 7 апреля 2026) → GLM-5.2 (13 июня 2026). Пятая-первая уже устарела, комментаторы Хабра называют её медленной. Если ищешь гайд «GLM 5 локально», ориентируйся на 5.2 - остальное про вчерашний день.

Контекст расширили до 1 048 576 токенов (миллион), максимальный ответ - до 131 072 токенов. За экономию отвечает механизм IndexShare: общий индексатор разреженного внимания переиспользуется каждые 4 слоя и, по заявлению карточки Hugging Face, снижает FLOPs на токен в 2.9 раза при контексте 1M. Запомни этот индексатор - именно он позже подложит свинью на локальном запуске.

Что известно про качество

На релизе Z.ai не показала ни одной бенчмарк-цифры - MarkTechPost отдельно это подчёркивал (проверено 10 июля 2026): «There is no SWE-bench, Terminal-Bench, or Code Arena number yet» (никаких чисел по SWE-bench, Terminal-Bench или Code Arena пока нет). Цифры подтянулись позже, в карточке HF и блоге.

По данным карточки Hugging Face (проверено 10 июля 2026): SWE-Bench Pro 62.1 (у GLM-5.1 было 58.4), Terminal-Bench 2.1 - 81.0 (у 5.1 - 62.0), MCP-Atlas 76.8, AIME 2026 - 99.2, GPQA-Diamond 91.2. По HLE (Humanity's Last Exam) - 40.5; для Claude Opus 4.8 сторонние обзоры называют порядка 45-50 в зависимости от режима замера. В Design Arena нейросеть заняла первое место с Elo 1360, обойдя Claude Fable 5, - по данным ixbt.com, 1 июля 2026.

Небольшое расхождение для честности: официальный нейминг и большинство обзоров используют «744B», но в карточке HF в отдельных местах мелькает «753B». Прямого объяснения на официальных страницах нет - вероятно, разный подсчёт вспомогательных весов. Дальше в тексте держусь формулировки «~744 млрд».

Интерес к локальному запуску вспыхнул после гайда Unsloth. Тред «GLM-5.2 - How to Run Locally» на Hacker News собрал 617 очков и 305 комментариев (создан 22 июня 2026). Там и разгорелись главные споры - про память, скорость и «lossless»-кванты, которые разберём по порядку.

Зачем запускать нейросеть локально, если есть облако?

Главное. Три реальных мотива: приватность (код с секретами нельзя отправлять в чужое облако), независимость от лимитов подписок и проблема оплаты из России - карту РФ Z.ai не принимает. Против них - честный факт: большая MoE-нейросеть в низком кванте на бытовом железе работает медленно и качеством уступает облаку. Локаль оправдана как дополнение под конкретные задачи - полноценной замены API из неё не выходит.

Начну с честного мотива, который признают даже скептики. Приватность. Как формулирует kasthack_phoenix на Хабре (2026), дешёвые подписки собирают данные, и компании физически не могут отправлять конфиги с секретами в чужое облако. Ему вторит nikv19: «Есть работа/развлечение/деятельность которую ни в коем случае нельзя светить в интернете» (Хабр, 2026). Для кода с ключами и чувствительных данных локальная нейросеть - иногда единственный вариант.

Второй мотив - лимиты. randvell описывает боль подписок: «20 баксов на клоде улетают за 2-3 запроса, после чего оставшиеся 4.5 часа ты ждёшь сброса лимитов» (Хабр, 2026). Своё железо лимитов не знает: гоняй сколько влезет, платишь только за электричество.

Третий - оплата из России. Подписку Z.ai картой РФ не оформить (подробно в разделе про доступ из России). Веса же в открытом доступе - ни платной подписки, ни валютного платежа. Схема «скачал и владею» и делает запрос «запустить llm локально» таким соблазнительным.

Честный скепсис, который не спрятать

А теперь другая сторона, которую русскоязычная аудитория знает наизусть. Oeaoo формулирует прямо: «Объясните танкисту, зачем их запускать локально? Я понимаю, что бесплатно и безопасно, но ведь оно же и коптит и тупит как проклятое, не?» (Хабр, 2026). Ему поддакивает botyzanzylyvseNIKI: «только все это раза в 2-3 ХУЖЕ чем онлайн и даже не спорьте».

Экономический аргумент тоже жёсткий. DonStron указывает на нереальность рекомендаций покупать H100 за миллионы рублей, когда подписка ChatGPT за $20/мес работает лучше. vtal007 считает, что при росте производительности хотя бы вдвое подписка окупается - «может каждый день покупать за 2к подписку» (Хабр, 2026), - и предлагает гибрид: оркестрация локальной нейросети с облачной.

MAXH0 сводит дилемму разработчика к выбору: «платить до половины дохода в чужие облака» или вкладываться в своё железо. RicoX, который гоняет RTX 5090 с контекстом 256K, подчёркивает: локальная модель у него дополняет облако, полноценно заменить его она не смогла.

Вывод по мотивам: локаль - для тех, кому нельзя в облако или у кого подходящее железо уже стоит под столом. Если модель нужна пару раз в неделю - честнее смотреть в сторону API, к этому вернёмся в разделе про экономику.

Сколько памяти нужно GLM 5.2?

Главное. Оригинальные bf16-веса - около 1.5 ТБ. Квантизация (сжатие) уменьшает их: 1-bit просит ~223 ГБ памяти, 2-bit ~245 ГБ, 4-bit 372-475 ГБ, 8-bit ~810 ГБ (по гайду Unsloth). Ключевой миф: MoE активирует 40 млрд параметров на токен, но в памяти должны лежать все ~744 млрд - любой эксперт может понадобиться на любом токене. Минимальный вменяемый вариант «для дома» - 2-bit, ~245 ГБ. Данные проверены на 10 июля 2026.

Сначала про квантизацию простыми словами. Это как заархивировать фотоальбом в ZIP или ужать зимнюю куртку вакуумным пакетом. Объём падает в разы, содержимое на месте. Но пережмёшь слишком сильно - на куртке останутся заломы, а на фото полезут артефакты. С весами модели то же самое: 2 бита вместо 16 экономят память, но качество ответов проседает, и вопрос лишь в том, насколько заметно.

Теперь главная ошибка новичка. Раз активны только ~40 млрд параметров на токен, кажется, что и памяти надо как под 40B-модель. Это неверно. В MoE любой эксперт может быть выбран для любого токена, поэтому все ~744 млрд параметров должны целиком лежать в памяти (или быть доступны через offloading на диск). Активность 40 млрд касается только вычислений на токен, а не объёма хранения.

Таблица памяти по квантам

Требования из официального гайда Unsloth (суммарно диск плюс RAM/VRAM под веса), проверено 10 июля 2026:

Квант	Суммарная память	Заявленная точность Unsloth
1-bit (UD-IQ1_S)	~223 ГБ	~76,2% top-1 accuracy
2-bit (UD-IQ2_M)	~245 ГБ (239 ГБ на диске)	~82% accuracy
3-bit	290-360 ГБ	между 2 и 4 бит
4-bit (UD-Q4_K_XL)	372-475 ГБ	«в основном без потерь»
5-bit (UD-Q5_K_XL)	~570 ГБ	«в основном без потерь»
8-bit (UD-Q8_K_XL)	~810 ГБ	почти полная точность
bf16 (оригинал)	~1,5 ТБ	эталон

Данные: гайд Unsloth, проверено 10 июля 2026. Проценты точности - заявления Unsloth без независимой верификации.

График 1. Даже самый агрессивный 1-bit квант GLM 5.2 просит ~223 ГБ памяти, а «домашний минимум» 2-bit - ~245 ГБ. Источник: гайд Unsloth, 10 июля 2026.

Что это значит для покупки железа

Практическая рекомендация гайда: 2-bit квант UD-IQ2_M - минимальный вменяемый вариант для дома. Он помещается либо на Mac с 256 ГБ unified memory целиком, либо на связку из одной 24-гигабайтной GPU плюс 256 ГБ системной RAM, где эксперты MoE выгружаются на CPU.

Теперь про масштаб. Даже 1-bit квант, который сжимает модель на 86% от оригинала, всё равно требует ~223 ГБ - «докупить плашку» тут не сработает. Русскоязычные комментаторы это уже прочувствовали: rhiamonlatin на Хабре (июнь 2026) отрезвляет мечтателей - «Скачать-то её можно, но для запуска полноценной GLM 5.2 потребуется 1.1TB VRAM». Это про full-precision, но порядок величины задаёт настроение.

Что такое Unsloth и можно ли верить «почти без потерь»?

Главное. Unsloth - проект, который делает динамические GGUF-кванты моделей и пишет гайды по локальному запуску. Их фишка - «динамическая» квантизация: разные слои жмутся по-разному, чтобы удержать качество при малом размере. Заявление «4-bit практически без потерь» - маркетинг: за ним метрики вроде KL-divergence, реальные длинноконтекстные задачи они не покрывают. На практике для критичного кода часто нужен более высокий бит (Q5-Q8). Проверяй на своих реальных промптах, прежде чем верить чужим цифрам.

Unsloth - это команда, которая раздаёт готовые квантованные версии моделей в формате GGUF и подробные инструкции по их запуску. Именно их гайд по GLM 5.2 запустил волну обсуждений. Их динамические кванты (UD-IQ2_M, UD-Q4_K_XL и подобные) жмут разные части нейросети с разной агрессивностью: критичные слои остаются точнее, менее важные - сильнее сжаты. Это честно лучше, чем «в лоб» квантовать всё одинаково.

Проблема начинается со слова «lossless» (без потерь). В гайде Unsloth 4-bit и 5-bit помечены как «в основном без потерь», 8-bit - «почти полная точность». В HN-треде это сразу растащили на цитаты. kibibu пересказывает тезис буквально: «According to this very article, 4-bit dynamic is essentially lossless» (согласно этой же статье, 4-битный динамический квант практически без потерь) - kibibu, Hacker News, июнь 2026.

Против этого выступил один из самых цитируемых голосов треда.

«Watch out. Those claims are often made based on KL-divergence over some arbitrary corpus, not performance in the real world or benchmarks. I've found that I need to go a couple steps past whatever quantizations are good enough in the KL-divergence testing to get good performance in real tasks with long context. So when Q4 is claimed to be lossless I end up with Q5 or Q6 for actual long-context tasks.»

Перевод: «Осторожно. Такие заявления часто делают на основе KL-divergence по какому-то произвольному корпусу, а не по реальным задачам или бенчмаркам. Я на практике выяснил, что нужно взять на пару ступеней выше того кванта, который «достаточно хорош» по KL-divergence, чтобы получить нормальное качество в реальных задачах с длинным контекстом. Так что когда Q4 объявляют lossless, я в итоге беру Q5 или Q6 для настоящих длинноконтекстных задач.»

Aurornis, Hacker News, июнь 2026

Перевод на живой язык: маркетинговая метрика говорит «достаточно», а на твоей реальной задаче нейросеть начинает подтупливать, и приходится брать квант потяжелее. Для кода планка ещё выше - mgambati в том же треде режет прямо: «With 2 wouldn't have good results. Ideal range for coding is at least Q8» (на 2 битах хорошего результата не будет, идеальный диапазон для кодинга - минимум Q8) - mgambati, Hacker News, июнь 2026.

Практический вывод: цифры Unsloth - только ориентир. Скачал квант поменьше ради экономии памяти - проверь его на своих реальных промптах, прежде чем удалять тяжёлую версию «за ненадобностью».

Где здесь provod.ai. Пока ты считаешь гигабайты под 2-bit квант, есть развилка попроще: топовое качество без танцев с железом - через один API из России за рубли. provod.ai даёт те же флагманы - Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro, DeepSeek v4, Qwen - в одном чате и через единый ключ, цены 1:1 с официалом. Есть ли GLM 5.2 в каталоге на день чтения - смотри актуальный список моделей и цены в рублях.

Какое железо реально потянет GLM 5.2?

Главное. Выбор по факту - между Mac Studio с 256 ГБ+ unified memory (в РФ от ~2,1 млн ₽) и десктопом с одной RTX 4090/5090 плюс 256 ГБ DDR5, где сама память сейчас стоит сотни тысяч рублей отдельно от карты. «Дешёвого» пути через б/у RTX 3090 нет: 24 ГБ VRAM не хватает, нужен офлоад в RAM, а RAM в разгаре ценового шока: рост в 3.5-4 раза за полтора года.

Отталкивайся от минимальной конфигурации Unsloth под 2-bit квант: одна GPU на 24 ГБ плюс 256 ГБ системной RAM, либо Mac с 256 ГБ unified memory. Дальше всё упирается в две вещи - объём памяти и её пропускную способность (к скорости вернёмся в отдельном разделе).

RAM-кризис 2026: почему бюджеты «с бумаги» не работают

Главная новость для кошелька - оперативная память подорожала катастрофически. По данным Tom's Hardware и Wccftech (проверено 10 июля 2026): комплект 32 ГБ DDR5-6000, стоивший меньше $90 в начале 2025 года, к середине 2026 стоит около $529 - рост в 3.5-4 раза. Причина - AI-спрос съедает около 20% мирового производства DRAM в 2026 году. В феврале 2026 Micron свернула потребительский бренд Crucial, чтобы сосредоточиться на корпоративных AI-клиентах, - с рынка потребительской памяти ушёл крупный поставщик. Прогнозы сходятся: повышенные цены минимум до конца 2027 года.

Это же бьёт по Apple. По данным Tom's Hardware (проверено 10 июля 2026), Apple убрала опцию апгрейда Mac Studio на M3 Ultra до 512 ГБ ($4000) и подняла цену апгрейда до 256 ГБ до $2000 - заголовок статьи прямо связывает это с «AI RAM squeeze».

На HN эту боль озвучил jiqiren: «I hope all this speculation comes true. Right now this ram crunch is ridiculous» (надеюсь, все эти прогнозы сбудутся, а то нынешний дефицит памяти - это просто смешно) - jiqiren, Hacker News, июнь 2026.

⚠️ Внимание. Гайды, посчитанные до 2026 года, врут по деньгам. Конфигурация «256 ГБ RAM за разумную сумму» могла втрое подорожать к моменту, когда ты дойдёшь до корзины. Считай бюджет по ценам на день покупки.

Цены в России на 10 июля 2026

Прямые фетчи DNS/Citilink 10 июля 2026 вернули антибот-защиту, поэтому привожу датированные снапшоты у реселлеров и явную ценовую динамику:

Железо	Ориентир цены в РФ	Комментарий
Mac Studio M3 Ultra, 256 ГБ, 4 ТБ SSD	2 135 991 ₽	по данным store-apple.msk.ru, июль 2026
Mac Studio M3 Ultra, 256 ГБ, 8 ТБ SSD	2 574 990 ₽	тот же реселлер
Mac mini M4 Pro, 64 ГБ	от 224 900 ₽	максимум 64 ГБ unified - на GLM 5.2 не хватит
RTX 5090	заметно выше 300 000 ₽	тренд на рост, ixbt/digital-razor, начало-середина 2026
RTX 3090 (б/у, 24 ГБ)	от ~103 200-135 000 ₽	hardprice.ru, снапшот; на Авито обычно ниже
DDR5 128 ГБ	~75 000 ₽	частное объявление Kingston, не розница

Данные проверены на 10 июля 2026. Точную розничную цену RTX 4090/5090 и комплектов DDR5 в рублях фетчем подтвердить не удалось (каталоги заблокированы для автозапросов) - привожу тренд и датированные снапшоты; твёрдого прайса тут нет.

Отдельно про Mac mini M4 Pro: конфигурация красивая по цене, но максимум unified memory там 64 ГБ. Этого не хватит даже на 1-bit квант GLM 5.2 (~223 ГБ). Не ведись на дешёвый ценник - под эту нейросеть он не подходит.

Практический итог: единственная реалистичная «GLM 5.2 у себя дома» на середину 2026 в России - это либо Mac Studio с 256 ГБ+ (от ~2,1 млн ₽), либо десктоп с RTX 4090/5090 и 256 ГБ DDR5, где сама память в текущих ценах - сотни тысяч рублей помимо видеокарты.

Как запустить GLM 5.2 через Unsloth: пошаговая инструкция

Главное. Пять шагов: собрать llama.cpp с CUDA, скачать нужный квант с Hugging Face, запустить llama-cli с параметрами temperature 1.0 / top-p 0.95 / min-p 0.01, при нехватке памяти под контекст включить квантизацию KV-кэша (даёт в 3-3.5 раза больше контекста), при желании отключить «размышления». Все команды ниже - verbatim из гайда Unsloth, проверено 10 июля 2026.

Прежде чем копировать команды - предупреждение. llama.cpp грузит и гоняет GLM 5.2 GGUF, но полное ускорение разреженного внимания на длинном контексте в нём пока не реализовано (детали в разделе про ошибки). Это рабочий путь, чтобы попробовать, но заявленной скорости на 1M токенов от него не жди.

Шаг 1. Собрать llama.cpp с поддержкой CUDA

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first \
    --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Флаг -DGGML_CUDA=ON включает поддержку видеокарт Nvidia. На Mac этот шаг отличается - там llama.cpp собирается под Metal, и как самый простой GUI-путь на macOS Unsloth рекомендует LM Studio.

Шаг 2. Скачать веса нужного кванта

Пример для 2-bit кванта UD-IQ2_M - того самого «домашнего минимума» на ~245 ГБ:

pip install huggingface_hub
hf download unsloth/GLM-5.2-GGUF \
    --local-dir unsloth/GLM-5.2-GGUF \
    --include "*UD-IQ2_M*"

Хочешь другой квант - меняй маску в --include (например, *UD-Q4_K_XL*). Заранее убедись, что на диске есть место: 2-bit занимает 239 ГБ только под файл весов.

Шаг 3. Базовый запуск

./llama.cpp/llama-cli \
    --model unsloth/GLM-5.2-GGUF/UD-IQ2_M/GLM-5.2-UD-IQ2_M-00001-of-00006.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01

Рекомендованные параметры генерации от Unsloth: temperature = 1.0, top-p = 0.95, min-p = 0.01. Модель поддерживает non-thinking режим и два уровня усилия рассуждений - High и Max (Max советуют для сложных многошаговых задач кодинга).

Шаг 4. Квантовать KV-кэш под длинный контекст

Если упираешься в память под контекст, ужми KV-кэш. По гайду это даёт примерно в 3-3.5 раза больше контекста по сравнению с f16-кэшем:

./llama.cpp/llama-cli \
    --model unsloth/GLM-5.2-GGUF/UD-IQ2_M/GLM-5.2-UD-IQ2_M-00001-of-00006.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01 \
    --cache-type-k q4_1 \
    --cache-type-v q4_1

Шаг 5. Отключить «размышления» при желании

Если thinking-режим тебе не нужен (быстрее ответ, меньше токенов), добавь:

--chat-template-kwargs '{"enable_thinking":false}'

Прямых цифр токенов в секунду в самом гайде Unsloth нет - реальные бенчмарки на конкретном железе собрало сообщество отдельно. К ним и переходим.

Какую скорость ждать от локальной нейросети GLM 5.2?

Главное. По бенчам сообщества (обсуждение unsloth/GLM-5.2-GGUF на Hugging Face, проверено 10 июля 2026): ~10 ток/с на связке RTX 4090 + 3× RTX 3090 + 512 ГБ DDR5, ~11 ток/с на RTX 5090 + 512 ГБ, ~20 ток/с на двух RTX PRO 6000 Blackwell. На бытовом железе с офлоадом в RAM - единицы токенов в секунду. Скорость решает пропускная способность памяти - мощность GPU почти ни при чём.

Скорость локальной нейросети упирается в пропускную способность памяти. Число ядер видеокарты тут вторично - решает то, как быстро железо читает веса. phamilton в HN-треде задал вопрос, который волнует всех.

«I have the RAM, but not the VRAM. What kind of speed/tps could you expect from a 3090 with 24GBs of RAM? I am somewhat tempted to pick a GPU with 24GBs of RAM.»

Перевод: «RAM у меня есть, а вот VRAM нет. Какую скорость в токенах/сек можно ждать от 3090 с 24 ГБ? Меня немного тянет взять GPU на 24 ГБ.»

phamilton, Hacker News, июнь 2026

И сам же дал опорную эвристику, которую растащила вся ветка.

«Generation is basically just memory bandwidth math. Each token has to read all the active weights. I think that's around 40B parameters active. At a 4-bit quant that's 20GB. With 100GB/s (replace with whatever your bandwidth is) and you get 5 tokens per second.»

Перевод: «Генерация - это по сути арифметика пропускной способности памяти. На каждый токен надо прочитать все активные веса. Активных, кажется, около 40 млрд параметров. При 4-битном кванте это 20 ГБ. При 100 ГБ/с (подставь свою пропускную способность) получаешь 5 токенов в секунду.»

phamilton, Hacker News, июнь 2026

Для покупки железа это значит: бери пропускную способность своей памяти в ГБ/с и дели на размер активных весов в кванте (~20 ГБ на 4 бита). Получишь грубую, но честную прикидку токенов в секунду. Медленная память - медленная нейросеть, сколько бы ядер ни было в GPU.

Таблица реальных бенчей сообщества

Из обсуждения «GLM-5.2 GGUF Benchmarks!» на Hugging Face, проверено 10 июля 2026:

Железо	Квант	Скорость
1× RTX 4090 + 3× RTX 3090 + 512 ГБ DDR5	UD-Q2_K_XL, 10k контекста	~10 ток/с
1× RTX 5090 + Xeon, 512 ГБ DDR5	UD-Q3_K_XL	~11 ток/с
2× RTX PRO 6000 Blackwell + Epyc 9B45 + 12-канальный DDR5 6400	-	~20 ток/с
Разные конфиги (после починки CUDA Toolkit)	UD-Q4_K_XL	2,26-2,97 ток/с (деградированный кейс)

Данные: обсуждение unsloth/GLM-5.2-GGUF на Hugging Face, проверено 10 июля 2026.

График 2. Даже на многокарточных сборках за миллионы рублей потолок - 10-20 ток/с; на бытовом железе счёт идёт на штуки. Источник: обсуждения сообщества на Hugging Face, 10 июля 2026.

Русскоязычные цифры совпадают. sergeym69 на Хабре (июнь 2026): «GLM-5.1 в Q4 кванте локально крутится 10 tok/sec». Overman775 честно: «сидел на 5.1 GLM, работал отлично но скорость была крайне низкая» (Хабр, июнь 2026). Автор гайда по 5.1 на вопрос про RTX + 24 ГБ + 256 ГБ RAM отвечал: «должно быть ~0,5 - 1,5 токена в секунду» (Хабр, апрель 2026) - то есть на грани юзабельности. А владелец двух RTX 3090 в комментариях к тому же гайду добавил приговор агрессивным квантам: «Брать IQ2 НЕТ никакого смысла, увеличения скорости нет» (Хабр, апрель 2026).

Ещё архитектурная деталь из комментариев к гайду по 5.1 (Хабр, апрель 2026): у GLM «плотная формула голов» внимания, и из-за неё скорость сильно проседает при контексте свыше 30-60K токенов. То самое разреженное внимание, которое должно спасать на длинном контексте, локально пока не разгоняется - об этом в следующем разделе.

Разбор мифа «24 ток/с на RTX 4090»

В выдаче и блогах гуляет цифра «~24 tok/s single-stream на RTX 4090». Звучит как «купи одну 4090 и радуйся». При проверке первоисточника (репозиторий renning22/glm-5.2-4090, проверено 10 июля 2026) выясняется другое: за цифрой стоит кластер из 32× RTX 4090-48GB на 4 узлах с tensor-parallel (TP=8) и pipeline-parallel (PP=4), с портированными под архитектуру Ada ядрами DeepSeek Sparse Attention. Одна карта в такой конфигурации даёт ~24 ток/с в режиме одного потока при использовании CUDA-graph (в eager-режиме - ~2,5 ток/с), а агрегированная пропускная способность при батче ~128 параллельных запросов - ~725 ток/с.

⚠️ Внимание. Цифра «24 ток/с на RTX 4090» - из serving-проекта на 32 картах, а не из домашней сборки на одной. Не путай кластерные и бытовые бенчмарки: одна 4090 такой скорости на GLM 5.2 не даст. Сравнивая цифры перед покупкой, всегда смотри, на каком железе они получены.

7 ошибок, из-за которых локальный запуск не взлетает

Главное. Семь типовых граблей: считать память по активным 40 млрд вместо всех 744 млрд; верить «lossless» без проверки на своих задачах; смотреть на VRAM и модель GPU, забыв про пропускную способность памяти; путать swap с mmap; ловить криптичные ошибки Jinja-шаблона в GUI; планировать бюджет по старым ценам на RAM; не проверять статус поддержки архитектуры в раннере перед покупкой.

Собрано из HN-треда, обсуждений llama.cpp и гайдов по MoE-offloading (проверено 10 июля 2026).

Ошибка 1. Считать память по 40 млрд активных параметров. Классика. Раз активны 40B - значит, хватит памяти как под 40B-модель. Нет. MoE выбирает экспертов заново на каждом шаге, поэтому под рукой должен быть весь комплект весов - все ~744 млрд. На объём хранения «активность» не влияет, она только про вычисления.

Ошибка 2. Слепо верить «lossless». Заявление «4-bit практически без потерь» построено на агрегированных метриках вроде KL-divergence - твоей реальной задачи они не видели. Для кода часто нужен квант тяжелее «официально достаточного» (см. цитату Aurornis в разделе про Unsloth). Проверяй, прежде чем сносить тяжёлый квант с диска.

Ошибка 3. Смотреть на VRAM и забыть про bandwidth. Инференс упирается почти целиком в пропускную способность памяти. Новички гонятся за гигабайтами VRAM и топовой моделью GPU, а решает скорость чтения весов из RAM/VRAM.

Ошибка 4. Путать swap и mmap. Если система при нехватке RAM свалится в классический swap, ОС начнёт писать содержимое памяти (включая веса) на диск - это лишний износ SSD и резкое замедление. mmap в llama.cpp работает иначе: читает статичные веса файла напрямую без записи на диск, даже когда физическая RAM исчерпана.

⚠️ Внимание. Запуск гигантской нейросети «в упор» под объём RAM легко утаскивает систему в swap. Мало того что медленно: своп ещё и постоянно пишет на SSD, ускоренно его изнашивая. Следи, чтобы llama.cpp читал веса через mmap - классический своп для этого не годится.

Ошибка 5. Криптичные ошибки шаблонов в GUI. Новая архитектура ломает парсинг chat-template в клиентах ещё до генерации. У LM Studio на старте вылезала ошибка Failed to parse Jinja template: Expected identifier following dot operator из-за формата prompt-шаблона. Фикс обсуждали в отдельном треде на Hugging Face. Выглядит пугающе, но причина в шаблоне, а железо ни при чём.

Ошибка 6. Планировать бюджет по старым ценам на RAM. Память за полтора года выросла в цене в разы - подробности в разделе про железо. Гайд двухлетней давности, где «256 ГБ за разумные деньги», сегодня врёт втрое. Пересчитывай на день покупки.

Ошибка 7. Не проверять поддержку архитектуры в раннере. Эта бьёт больнее всех. GLM 5.2 использует относительно новый механизм разреженного внимания (DSA/IndexShare). Базовую поддержку добавили в llama.cpp через PR #19460, но с пометкой «indexer is not yet supported» (индексатор пока не поддерживается). Отдельный PR #24770 сделал тензоры DSA-индексатора опциональными, чтобы GGUF-файлы вообще грузились. При этом открытый feature-request issue #24730 «Feature Request: Support for GLM 5.2» (открыт 17 июня 2026, статус open на 10 июля 2026, без привязанных PR) фиксирует: полноценная реализация разреженного внимания всё ещё не сделана.

На практике модель в llama.cpp запускается, но ускорения от разреженного внимания на длинном контексте не получает. Часть архитектурного выигрыша модели на CPU/consumer-GPU конфигурациях фактически не работает, и ты получаешь скорость ниже теоретической. Купить железо ради длинного контекста, который раннер не разгоняет, - обидная трата.

Локально или через API: что выгоднее в 2026?

Главное. Для эпизодического использования API дешевле железа на порядки. По данным агрегаторов, API GLM 5.2 у Z.ai - $1.40 за 1M входных и $4.40 за 1M выходных токенов; у DeepInfra ещё дешевле ($0.93-0.95 вход, $3.00 выход). Локальная сборка стартует от ~2,1 млн ₽ и упирается в дорогую RAM. Железо окупается только при уже имеющемся оборудовании, требованиях приватности или очень высоком постоянном объёме.

Сначала цены API. Оговорюсь сразу: официальную страницу цен Z.ai фетч отдал 404, поэтому цифры зафиксированы по агрегаторам (OpenRouter, Requesty) и VentureBeat. По этим данным API GLM 5.2 у Z.ai - $1.40 за 1M входных токенов, $4.40 за 1M выходных, кэшированный вход - $0.26 за 1M. Standalone pay-per-token API включили 16 июня 2026.

У сторонних провайдеров дешевле. По состоянию на 3 июля 2026 самое дешёвое предложение - DeepInfra: $0.93-0.95 за 1M входных, $0.18 за кэшированные, $3.00 за 1M выходных, примерно на треть дешевле официального API. Модель раздают 18 провайдеров через агрегаторы.

Теперь железо. Минимальная сборка под 2-bit стартует от ~2,1 млн ₽ - расклад по конфигам был в разделе про железо. А на HN uberex привёл прикидку с потолка для неквантованного запуска: «Funny I casually asked Gemini and it said 500k for unquantized with decent throughput» (забавно, я мимоходом спросил Gemini, и он сказал 500 тысяч за неквантованный запуск с приличной пропускной способностью) - uberex, Hacker News, июнь 2026. Ту же цифру независимо называет Dreams_and_magic на Хабре (июнь 2026): «стоимость железа для запуска GLM-5.2 минимум примерно 500К долларов».

Совет от практика

Самую трезвую рекомендацию дал ekidd, у которого опыт с моделью поменьше.

«A GPU with 24GBs of RAM is mostly useful for running a very carefully squeezed Qwen3.6 27B (4-bit Unsloth quants, 8-bit K/V cache, possibly MTP, 128k context)... Speed-wise, I don't have numbers, but it feels subjectively faster than Opus in Claude Code. YMMV. Once you go above "a used 3090 at a decentish price", then I strongly recommend renting cloud GPUs or at least testing models using paid APIs. This allows testing your use case before spending piles of money.»

Перевод: «GPU на 24 ГБ полезна в основном для очень аккуратно ужатой Qwen3.6 27B (4-битные кванты Unsloth, 8-битный K/V-кэш, возможно MTP, контекст 128k)... По скорости чисел у меня нет, но субъективно ощущается быстрее Opus в Claude Code. Как повезёт. Но как только выходишь за рамки «б/у 3090 по вменяемой цене», я настоятельно советую арендовать облачные GPU или хотя бы тестировать модели через платные API. Это позволяет проверить свой сценарий, прежде чем спускать кучу денег.»

ekidd, Hacker News, июнь 2026

Суть простая: сначала протестируй нейросеть на своей реальной задаче через API или аренду, и только потом, если сходится экономика, вкладывайся в железо. Порядок «сначала железо, потом посмотрим» слишком часто заканчивается дорогой сборкой, которая пылится.

Матрица «локально против API»

Критерий	Локально (GLM 5.2 + Unsloth)	API (Z.ai / провайдеры)
Стартовые вложения	от ~2,1 млн ₽ за железо	0, платишь за токены
Цена за использование	электричество	~$1.40/$4.40 за 1M (по агрегаторам)
Скорость на бытовом железе	единицы ток/с	скорость дата-центра
Приватность	максимум, данные не уходят	зависит от провайдера
Оплата из РФ	только железо и свет	карту РФ Z.ai не берёт
Когда выгодно	своё железо / приватность / огромный объём	эпизодические и разовые задачи

Данные проверены на 10 июля 2026.

График 3. Локальный запуск выигрывает по приватности и на огромных объёмах, API - по стартовым вложениям и скорости. Источник: агрегаторы цен и бенчи сообщества, 10 июля 2026.

Кому подходит локальный GLM 5.2: дерево решений

Главное. Дерево простое: железо, приватность, скорость, объём. Есть ли уже мощное железо (256 ГБ памяти). Критична ли приватность настолько, что данные нельзя отдавать в облако. Нужна ли интерактивная скорость. Постоянный ли объём запросов. Если хотя бы одно «нет» в первых двух вопросах - тебе в облако или к агрегатору; сборку за миллионы даже не считай.

Разложу по развилкам, чтобы не гадать.

1. У тебя уже есть железо с 256 ГБ+ памяти (Mac Studio или десктоп с 256 ГБ RAM)?
   ├─ Нет  → покупка под GLM 5.2 стартует от ~2,1 млн ₽. Переходи к вопросу 2, но будь готов к API.
   └─ Да   → отлично, локаль реалистична. Дальше вопрос 3.

2. Данные настолько чувствительны, что их нельзя отдавать в облако?
   ├─ Да   → это главный аргумент за локаль. Готовься вложиться в железо.
   └─ Нет  → приватность не решающая. API почти наверняка выгоднее (см. раздел про экономику).

3. Тебе нужна интерактивная скорость (быстрый чат, живой отклик)?
   ├─ Да   → на бытовом железе это единицы ток/с. Тяжело. Смотри в сторону API.
   └─ Нет  → пакетные/фоновые задачи терпят низкую скорость. Локаль подходит.

4. Объём запросов постоянный и большой (амортизация железа окупает счета за API)?
   ├─ Да   → своё железо со временем окупится. Считай точку окупаемости.
   └─ Нет  → эпизодические задачи в облаке стоят копейки на фоне сборки.

Короткий итог по веткам: два «да» в первых двух вопросах - собирай локаль. Всё остальное - повод взять API, или у самого Z.ai, или через агрегатор с оплатой в рублях.

Как пользоваться GLM 5.2 из России, если локально не потянуть?

Главное. Прямой платёж за подписку Z.ai картой РФ не проходит - шлюз отклоняет транзакцию. GLM Coding Plan стоит от $18/мес, но остаются либо посредники с комиссией 20-40%, либо иностранная карта. Базовый чат на chat.z.ai работает без регистрации. Русские агрегаторы (KodaCode, MatrixHub и другие) дают облачный доступ к GLM 5.2 за рубли: модель крутится на чужих серверах, рублёвый биллинг снимает проблему оплаты.

Если железо за два с лишним миллиона не сходится, а нейросеть нужна, вариант один - облачный доступ. И тут первая стена: подписку Z.ai (GLM Coding Plan) картой РФ не оплатить. Платёжный шлюз автоматически отклоняет транзакцию, если карта выпущена в России; Apple Pay и Google Pay для зарубежных сервисов российским пользователям тоже недоступны. Тариф стартует от $18/мес, но, как обобщают профильные материалы vc.ru (7 июля 2026), «российские карты Z.ai не принимает, остаются только посредники с комиссией 20-40% или иностранная карта».

Что работает бесплатно: базовый чат на chat.z.ai по нескольким источникам не требует регистрации для простого использования. Для «пощупать» этого хватит, для работы в проде - нет.

Русские агрегаторы-прокладки (KodaCode, MatrixHub) дают доступ к GLM 5.2 «без VPN, без иностранных карт, без настройки API-ключа». Важно не путать: это облачный доступ через русский биллинг. GLM 5.2 физически работает у провайдера, ты просто платишь за неё в рублях.

Отдельный класс - универсальные агрегаторы, которые дают через один API не одну нейросеть, а сразу пачку флагманов. По подходу это агрегаторы-универсалы: один ключ, один баланс, оплата в рублях. Если тебе важно топовое качество под задачу без привязки к одному вендору, это самый удобный путь - и про него в финале.

Что НЕ решает локальный запуск нейросети (честные ограничения)

Главное. Локаль не даёт интерактивной скорости на бытовом железе (единицы ток/с). Не разгоняет длинный контекст: разреженное внимание в llama.cpp до сих пор без полноценной поддержки, и на длинном контексте скорость проседает. До качества облака агрессивные кванты не дотягивают - на реальных задачах они подтупливают. И дорогое железо никуда не девается: RAM до сих пор в ценовом пике.

Без розовых очков - чего локальный запуск GLM 5.2 не делает, проверено 10 июля 2026:

Не даёт скорость облака. Офлоад в RAM на бытовой сборке выдаёт токены поштучно: для фоновых задач терпимо, для живого чата мучительно.
Не разгоняет длинный контекст. Механизм разреженного внимания, ради которого модель и брали под 1M токенов, в llama.cpp пока не реализован (issue #24730 остаётся open). Плюс архитектурная особенность GLM - проседание скорости при контексте свыше 30-60K токенов.
Не даёт качество тяжёлого кванта на лёгком. «4-bit lossless» - маркетинг по агрегированным метрикам. На реальных задачах, особенно на коде, часто нужен квант потяжелее.
Не отменяет дорогое железо. Даже 1-bit просит ~223 ГБ, а память дешевле не становится. Бюджетной двери в локаль сейчас нет.
Не решает всё лучше конкурентов. В комментариях к гайду по 5.1 прямо сравнивают: «MiniMax 2.7 229b в квантовании Q6 божественна и летает на схожем железе» (Хабр, апрель 2026). GLM 5.2 - не безальтернативный выбор для локали.

Запускать всё это не мешает. Просто иди в локаль с открытыми глазами: знай заранее, где будет больно, и не верь глянцевым обещаниям из гайдов.

Сделай прямо сейчас

Главное. Перед тратами: посчитай память под нужный квант, сверь своё железо с таблицей, прогони нейросеть через API и реши вопрос оплаты из России заранее. Сборку под GLM 5.2 «на будущее» не покупай.

По шагам:

Посчитай память под нужный квант по таблице. Минимум для дома - 2-bit, ~245 ГБ. Помни: память нужна под весь комплект весов - «активные 40 млрд» её не экономят.
Сверь своё железо с реалистичными конфигами. Нет 256 ГБ памяти - локаль под вопросом, считай API.
Прежде чем покупать железо, прогони GLM 5.2 на своей реальной задаче через API или аренду GPU - как советует ekidd, потратиться успеешь.
Реши вопрос доступа из России заранее: Z.ai отклоняет российские карты на шлюзе, остаются посредники с комиссией 20-40% либо агрегатор с оплатой в рублях.

Была полезна статья? Да / Нет

Источники

unsloth.ai/docs/models/glm-5.2 - официальный гайд (требования к памяти по квантам 223-810 ГБ, команды llama.cpp verbatim, параметры генерации temp 1.0 / top-p 0.95 / min-p 0.01, KV-кэш) - проверено 10 июля 2026
news.ycombinator.com / hn.algolia.com - тред «GLM-5.2 - How to Run Locally», 617 очков, 305 комментариев (цитаты kibibu, mgambati, phamilton, Aurornis, uberex, jiqiren, ekidd с objectID) - 22 июня 2026
huggingface.co, карточка zai-org/GLM-5.2 (параметры 744B-A40B, контекст 1 048 576, IndexShare, бенчмарки SWE-Bench Pro 62.1, Terminal-Bench 2.1 81.0, HLE 40.5) - проверено 10 июля 2026
huggingface.co, обсуждения unsloth/GLM-5.2-GGUF (бенчи сообщества 2,26-20 ток/с, ошибка Jinja в LM Studio) - проверено 10 июля 2026
github.com, ggml-org/llama.cpp - PR #19460 («indexer is not yet supported»), PR #24770, issue #24730 (open, статус поддержки DSA) - проверено 10 июля 2026
github.com, renning22/glm-5.2-4090 (разбор «24 ток/с» = кластер 32× RTX 4090-48GB на 4 узлах) - проверено 10 июля 2026
marktechpost.com, venturebeat.com (дата релиза 13 июня 2026, отсутствие бенчей на старте, позиционирование vs GPT-5.5) - проверено 10 июля 2026
tomshardware.com, wccftech.com (RAM-дефицит: 32 ГБ DDR5 $529, рост в 3.5-4 раза, ~20% мирового DRAM на AI, Micron свернула Crucial, Apple убрала опцию 512 ГБ для Mac Studio) - проверено 10 июля 2026
openrouter.ai, requesty.ai (цены API GLM 5.2: Z.ai $1.40/$4.40, DeepInfra $0.93-0.95/$3.00 - по данным агрегаторов) - проверено 10 июля 2026
habr.com, статьи 1022242 и news/1048380 с комментариями (боли и цитаты RU-аудитории: rhiamonlatin, Dreams_and_magic, sergeym69, Overman775, Oeaoo, DonStron, randvell, kasthack_phoenix, vtal007, RicoX, MAXH0) - апрель-июнь 2026
ixbt.com (релиз-контекст, Design Arena 1360 против 1350), vc.ru (оплата Z.ai из России, посредники 20-40%) - 1 и 7 июля 2026
store-apple.msk.ru, megabait.net, hardprice.ru (цены железа в РФ: Mac Studio 256 ГБ 2 135 991 ₽, Mac mini M4 Pro от 224 900 ₽, RTX 3090 от ~103 200 ₽) - снапшоты, 10 июля 2026

Связанные материалы

«Агрегаторы LLM API в России 2026: какой выбрать и не переплатить» - как выбрать единый API-шлюз под задачи и не нарваться на наценку посредника
«Как оплатить ChatGPT из России в 2026: все способы в рублях» - разбор карт, App Store и агрегаторов, если нужна именно подписка
«ChatGPT, дипсик и гемини из России в 2026: как пользоваться топовыми нейросетями бесплатно и в рублях» - рабочие способы доступа к флагманам без зарубежной карты

Запускать GLM 5.2 локально имеет смысл под приватность, готовое железо или огромный объём. Во всех остальных случаях топовое качество удобнее брать через один API за рубли - без сборки за миллионы, без VPN и зарубежных карт. provod.ai работает как российский OpenRouter: Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro, DeepSeek v4, Qwen и другие флагманы в одном чате и через единый API, OpenAI- и Anthropic-совместимый.

Цены 1:1 с официалом, свежие флагманы добавляются оперативно. Платить можно картой РФ, через СБП или по счёту - бизнесу дают договор и закрывающие документы. Посмотреть актуальный список моделей и цены: подключить доступ к флагманам в рублях.

provod.ai — Russian LLM API aggregator. One OpenAI-compatible endpoint to all flagship models: OpenAI (GPT-5.6, GPT-5.5), Anthropic (Claude Opus 4.8, Sonnet 4.6), Google (Gemini 3.1 Pro, 3.5 Flash), DeepSeek V4 Pro, Qwen 3.6 Plus. Provider prices at the CBR rate, no token markup. Pay in rubles to a Russian legal entity with full closing documents.

Try: provod.ai · model catalog · docs

DEV Community