<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:dc="http://purl.org/dc/elements/1.1/">
  <channel>
    <title>DEV Community: Nabil Doghri</title>
    <description>The latest articles on DEV Community by Nabil Doghri (@nabil_doghri_f8ac169835d5).</description>
    <link>https://dev.to/nabil_doghri_f8ac169835d5</link>
    <image>
      <url>https://media2.dev.to/dynamic/image/width=90,height=90,fit=cover,gravity=auto,format=auto/https:%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Fuser%2Fprofile_image%2F2046351%2Fbea67b44-c16a-4dce-805d-85627858c169.jpg</url>
      <title>DEV Community: Nabil Doghri</title>
      <link>https://dev.to/nabil_doghri_f8ac169835d5</link>
    </image>
    <atom:link rel="self" type="application/rss+xml" href="https://dev.to/feed/nabil_doghri_f8ac169835d5"/>
    <language>en</language>
    <item>
      <title>تشغيل نموذج MoE بحجم 35B على GTX 1650 بذاكرة 4GB: اختبار فعلي</title>
      <dc:creator>Nabil Doghri</dc:creator>
      <pubDate>Tue, 17 Nov 2026 12:52:48 +0000</pubDate>
      <link>https://dev.to/nabil_doghri_f8ac169835d5/tshgyl-nmwdhj-moe-bhjm-35b-l-gtx-1650-bdhkr-4gb-khtbr-fly-1841</link>
      <guid>https://dev.to/nabil_doghri_f8ac169835d5/tshgyl-nmwdhj-moe-bhjm-35b-l-gtx-1650-bdhkr-4gb-khtbr-fly-1841</guid>
      <description>&lt;p&gt;يبدو تشغيل نموذج يحتوي على 35 مليار مُعامل على بطاقة GTX 1650 Max-Q بذاكرة فيديو لا تتجاوز 4 غيغابايت مزحة سيئة. وغالبًا ما يكون كذلك.&lt;/p&gt;

&lt;p&gt;لكن النموذج الذي اختبرته من نوع «مزيج الخبراء» MoE، وهذا النوع لا يستخدم جميع معاملاته في حساب كل رمز. ومع ذاكرة نظام كافية، ومحرك استدلال جيد، وتوقعات لا تنتمي إلى عالم المعجزات، يمكن الحصول على أداء عملي فعلًا.&lt;/p&gt;

&lt;p&gt;اختبرت نموذج Qwen3.6-35B-A3B بتكميم Q4_K_M على حاسوب محمول مزود ببطاقة GTX 1650 Max-Q. لا توجد RTX 4090 مخفية تحت الطاولة، ولا أرقام منسوخة من الإنترنت. هذه هي الآلة الفعلية، والأوامر الفعلية، والقياسات الخام.&lt;/p&gt;

&lt;h2&gt;
  
  
  مواصفات جهاز الاختبار
&lt;/h2&gt;

&lt;ul&gt;
&lt;li&gt;بطاقة الرسوميات: NVIDIA GeForce GTX 1650 Max-Q بذاكرة VRAM سعتها 4 غيغابايت&lt;/li&gt;
&lt;li&gt;المعالج: Intel Core i7-10750H، بست نوى و12 مسارًا&lt;/li&gt;
&lt;li&gt;ذاكرة النظام: 62 غيبيبايت إجمالًا&lt;/li&gt;
&lt;li&gt;محرك التشغيل: Ollama 0.40.13 مع الواجهة الخلفية llama.cpp&lt;/li&gt;
&lt;li&gt;النموذج: Qwen3.6-35B-A3B بتكميم Q4_K_M&lt;/li&gt;
&lt;li&gt;حجم النموذج: 23 غيغابايت&lt;/li&gt;
&lt;li&gt;نافذة السياق في الاختبار: 2048 رمزًا&lt;/li&gt;
&lt;li&gt;تاريخ الاختبار: 17 نوفمبر 2026&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;a href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fkz7t5pj4gwwkp1alr2zt.png" class="article-body-image-wrapper"&gt;&lt;img src="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fkz7t5pj4gwwkp1alr2zt.png" alt="مواصفات الجهاز والإصدارات" width="799" height="392"&gt;&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;أوامر التحقق المستخدمة:&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv,noheader
grep -m1 &lt;span class="s1"&gt;'^model name'&lt;/span&gt; /proc/cpuinfo &lt;span class="o"&gt;|&lt;/span&gt; cut -d: -f2-
nproc
free -h &lt;span class="o"&gt;|&lt;/span&gt; sed -n &lt;span class="s1"&gt;'1,2p'&lt;/span&gt;
ollama --version
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;الحد الأول واضح: ملف النموذج حجمه 23 غيغابايت، ولذلك لا يمكنه الإقامة داخل 4 غيغابايت من VRAM. معظم الأوزان يجب أن تبقى في ذاكرة النظام.&lt;/p&gt;

&lt;h2&gt;
  
  
  لماذا يعمل النموذج أصلًا؟
&lt;/h2&gt;

&lt;p&gt;النموذج الكثيف بحجم 35B يستخدم جميع طبقاته وأوزانه اللازمة عند توليد كل رمز. أما نموذج MoE فيستعمل موجّهًا يختار مجموعة محدودة من الخبراء لكل رمز. يحتفظ النموذج بسعة إجمالية كبيرة، لكن مقدار الحساب النشط أقل كثيرًا من 35 مليار مُعامل.&lt;/p&gt;

&lt;p&gt;هناك التباس شائع يجب التخلص منه: عبارة «3 مليارات مُعامل نشط» لا تعني أن حجم الملف 3 غيغابايت، ولا أن النظام يحتاج إلى تحميل 3 مليارات مُعامل فقط. الأوزان البالغ حجمها 23 غيغابايت ما زالت موجودة ويجب تخزينها في مكان ما. في هذا الاختبار، ذلك المكان هو ذاكرة النظام في المقام الأول.&lt;/p&gt;

&lt;p&gt;أظهر Ollama التوزيع التالي:&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;SIZE      PROCESSOR      CONTEXT      RUNNER
23 GB     92%/8% CPU/GPU 2048         llamacpp
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;استهلكت عملية &lt;code&gt;llama-server&lt;/code&gt; نحو 2942 ميبيبايت من VRAM. تحتفظ البطاقة الرسومية بجزء مفيد من العمل، بينما تبقى غالبية الأوزان والحسابات على جانب المعالج وذاكرة النظام.&lt;/p&gt;

&lt;p&gt;&lt;a href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Ftr6di6qv6o8o74omepty.png" class="article-body-image-wrapper"&gt;&lt;img src="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Ftr6di6qv6o8o74omepty.png" alt="توزيع النموذج بين المعالج والبطاقة الرسومية" width="800" height="510"&gt;&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;إذن، الوصف الدقيق ليس «البطاقة الرسومية تشغل نموذج 35B»، بل «استدلال هجين بين CPU وGPU». الفرق مهم، إلا إذا كان الهدف إنتاج عنوان مثير للاهتمام بدل إنتاج معلومة صحيحة.&lt;/p&gt;

&lt;h2&gt;
  
  
  منهجية القياس
&lt;/h2&gt;

&lt;p&gt;استخدمت واجهة Ollama المحلية مباشرة بالإعدادات التالية:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;سياق ثابت قدره 2048 رمزًا؛&lt;/li&gt;
&lt;li&gt;توليد 128 رمزًا في كل جولة؛&lt;/li&gt;
&lt;li&gt;
&lt;code&gt;temperature: 0&lt;/code&gt;؛&lt;/li&gt;
&lt;li&gt;قيمة seed ثابتة؛&lt;/li&gt;
&lt;li&gt;تعطيل نمط التفكير؛&lt;/li&gt;
&lt;li&gt;ثلاث جولات متتالية بعد تحميل النموذج في الذاكرة.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;الأمر المستخدم:&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;curl -s http://127.0.0.1:11434/api/generate \
  -H &lt;span class="s1"&gt;'Content-Type: application/json'&lt;/span&gt; \
  -d &lt;span class="s1"&gt;'{
    "model":"qwen3.6:35b",
    "prompt":"Explique pourquoi les MoE conviennent à une inférence hybride CPU/GPU.",
    "stream":false,
    "think":false,
    "options":{
      "num_ctx":2048,
      "num_predict":128,
      "temperature":0,
      "seed":42
    }
  }'&lt;/span&gt; &lt;span class="o"&gt;&amp;gt;&lt;/span&gt; run.json

jq -r &lt;span class="s1"&gt;'"eval=\(.eval_count) | speed=\(.eval_count/(.eval_duration/1e9)) tok/s"'&lt;/span&gt; run.json
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;h2&gt;
  
  
  نتائج الأداء بعد تحميل النموذج
&lt;/h2&gt;

&lt;p&gt;كانت نتائج الجولات الثلاث كما يلي:&lt;/p&gt;

&lt;div class="table-wrapper-paragraph"&gt;&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;الجولة&lt;/th&gt;
&lt;th&gt;الرموز&lt;/th&gt;
&lt;th&gt;سرعة التوليد&lt;/th&gt;
&lt;th&gt;الزمن الإجمالي&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;1&lt;/td&gt;
&lt;td&gt;128&lt;/td&gt;
&lt;td&gt;22.60 رمز/ثانية&lt;/td&gt;
&lt;td&gt;7.42 ثانية&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;2&lt;/td&gt;
&lt;td&gt;128&lt;/td&gt;
&lt;td&gt;21.58 رمز/ثانية&lt;/td&gt;
&lt;td&gt;6.13 ثانية&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;td&gt;128&lt;/td&gt;
&lt;td&gt;20.99 رمز/ثانية&lt;/td&gt;
&lt;td&gt;6.24 ثانية&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;المتوسط&lt;/td&gt;
&lt;td&gt;128&lt;/td&gt;
&lt;td&gt;21.72 رمز/ثانية&lt;/td&gt;
&lt;td&gt;—&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;

&lt;p&gt;الحد الأدنى 20.99 رمزًا في الثانية، والحد الأقصى 22.60.&lt;/p&gt;

&lt;p&gt;&lt;a href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fuweq82zv794mo20notei.png" class="article-body-image-wrapper"&gt;&lt;img src="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fuweq82zv794mo20notei.png" alt="اختبار التوليد في ثلاث جولات" width="799" height="392"&gt;&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;في الاستخدام التفاعلي، سرعة 21 إلى 22 رمزًا في الثانية مريحة. يظهر النص أسرع من سرعة قراءة معظم البشر. أما البشر الذين يقرؤون أسرع من ذلك فليسوا أساسًا منطقيًا لتخطيط البنية التحتية.&lt;/p&gt;

&lt;h2&gt;
  
  
  اختبار أطول واستهلاك الموارد
&lt;/h2&gt;

&lt;p&gt;ولّد اختبار ثانٍ 256 رمزًا مع أخذ 53 عينة من استهلاك الموارد.&lt;/p&gt;

&lt;p&gt;النتائج:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;سرعة التوليد: 20.85 رمزًا في الثانية؛&lt;/li&gt;
&lt;li&gt;الزمن الإجمالي: 13.03 ثانية؛&lt;/li&gt;
&lt;li&gt;استهلاك VRAM: 2988 ميبيبايت، ثابت أثناء الاختبار؛&lt;/li&gt;
&lt;li&gt;استخدام GPU: متوسط 35.3% وحد أقصى 40%؛&lt;/li&gt;
&lt;li&gt;حرارة GPU: متوسط 67.8 درجة مئوية وحد أقصى 70 درجة؛&lt;/li&gt;
&lt;li&gt;استهلاك &lt;code&gt;llama-server&lt;/code&gt; من ذاكرة النظام: نحو 21.4 غيبيبايت.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;a href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fcnn4tepbk0gkypve9u0e.png" class="article-body-image-wrapper"&gt;&lt;img src="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fcnn4tepbk0gkypve9u0e.png" alt="استهلاك الموارد أثناء الاستدلال" width="799" height="314"&gt;&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;بقيت السرعة قريبة من نتائج اختبارات 128 رمزًا. أي أن الأداء لا ينهار بمجرد تجاوز الإجابة فقرتين، وهو معيار جودة يفشل فيه عدد مدهش من البرمجيات.&lt;/p&gt;

&lt;h2&gt;
  
  
  الكلفة الحقيقية: التشغيل البارد
&lt;/h2&gt;

&lt;p&gt;أوقفت النموذج وأخرجته من الذاكرة أولًا:&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;ollama stop qwen3.6:35b
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;ثم قست أول طلب لتوليد 64 رمزًا باستخدام &lt;code&gt;/usr/bin/time&lt;/code&gt;:&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;/usr/bin/time -f &lt;span class="s1"&gt;'Wall clock: %e s'&lt;/span&gt; curl -s \
  http://127.0.0.1:11434/api/generate \
  -H &lt;span class="s1"&gt;'Content-Type: application/json'&lt;/span&gt; \
  -d &lt;span class="s1"&gt;'{
    "model":"qwen3.6:35b",
    "prompt":"Résume le principe MoE en français.",
    "stream":false,
    "think":false,
    "options":{"num_ctx":2048,"num_predict":64,"temperature":0}
  }'&lt;/span&gt; &lt;span class="o"&gt;&amp;gt;&lt;/span&gt; cold-run.json
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;القياسات:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;الزمن الكلي: 44.97 ثانية؛&lt;/li&gt;
&lt;li&gt;تحميل النموذج: 40.77 ثانية؛&lt;/li&gt;
&lt;li&gt;معالجة الطلب: 0.65 ثانية؛&lt;/li&gt;
&lt;li&gt;التوليد: 3.54 ثانية؛&lt;/li&gt;
&lt;li&gt;سرعة التوليد: 18.06 رمزًا في الثانية.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;a href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fni5wn8mrf33qzj9k6nb7.png" class="article-body-image-wrapper"&gt;&lt;img src="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fni5wn8mrf33qzj9k6nb7.png" alt="قياس التشغيل البارد" width="799" height="470"&gt;&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;المشكلة الأساسية ليست سرعة التوليد بعد تحميل النموذج، بل كلفة التحميل الأول. هذا مقبول لخدمة تُبقي النموذج في الذاكرة. أما تشغيل عملية كاملة لتوليد ثلاثة أسطر ثم إنهاؤها، فهو استخدام مكلف لطقوس جنائزية رقمية.&lt;/p&gt;

&lt;h2&gt;
  
  
  ما الذي تثبته هذه النتائج؟
&lt;/h2&gt;

&lt;p&gt;تثبت أن نموذج MoE بحجم 35B وبتكميم مناسب يمكن أن يكون عمليًا على جهاز لا يملك سوى 4 غيغابايت من VRAM، بشرط توافر ما يلي:&lt;/p&gt;

&lt;ol&gt;
&lt;li&gt;ذاكرة نظام كافية؛ فقد استهلك الخادم هنا أكثر من 20 غيبيبايت فعليًا؛&lt;/li&gt;
&lt;li&gt;معالج مناسب وعرض نطاق جيد للذاكرة؛&lt;/li&gt;
&lt;li&gt;محرك استدلال يوزع النموذج بفعالية بين CPU وGPU؛&lt;/li&gt;
&lt;li&gt;تكميم مناسب؛&lt;/li&gt;
&lt;li&gt;نموذج MoE بعدد محدود نسبيًا من المعاملات النشطة.&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;ولا تثبت أن GTX 1650 تساوي بطاقة حديثة عالية الأداء. النموذج يعمل بفضل المنظومة الكاملة: المعالج، وذاكرة النظام، والبطاقة الرسومية، والبرمجيات. حذف ذاكرة النظام من القصة ونسب النتيجة إلى GPU وحده خطأ تقني. وبالطبع، سيكون عنوانًا ممتازًا لجمع النقرات.&lt;/p&gt;

&lt;h2&gt;
  
  
  الحدود الفعلية
&lt;/h2&gt;

&lt;h3&gt;
  
  
  1. ذاكرة النظام ليست تفصيلًا ثانويًا
&lt;/h3&gt;

&lt;p&gt;تستهلك العملية نحو 21.4 غيبيبايت من RAM. جهاز بذاكرة 16 غيغابايت لن يعيد هذه التجربة بصورة سليمة. وقد تكفي 32 غيغابايت، لكن الهامش المتبقي للنظام والذاكرة المؤقتة والتطبيقات الأخرى سيكون محدودًا.&lt;/p&gt;

&lt;h3&gt;
  
  
  2. سياق الاختبار قصير
&lt;/h3&gt;

&lt;p&gt;استخدمت القياسات سياقًا بطول 2048 رمزًا. زيادة السياق ترفع كلفة KV cache، وزمن المعالجة الأولية، واستهلاك الذاكرة. الحد النظري الذي يعلنه النموذج ليس توصية تشغيلية. إنه حد، لا دعوة لتجربته بلا سبب.&lt;/p&gt;

&lt;h3&gt;
  
  
  3. مرحلة المعالجة الأولية قد تصبح عنق الزجاجة
&lt;/h3&gt;

&lt;p&gt;سرعة 21 إلى 22 رمزًا في الثانية جيدة أثناء التوليد، لكن الطلب الطويل يجب معالجته أولًا. عند إدخال وثائق كبيرة، قد يصبح زمن انتظار أول رمز أسوأ بكثير من سرعة التوليد نفسها.&lt;/p&gt;

&lt;h3&gt;
  
  
  4. نموذج MoE ليس نموذجًا كثيفًا
&lt;/h3&gt;

&lt;p&gt;تعتمد هذه النتيجة على الطبيعة المتناثرة لنموذج MoE. نقل أوزان نموذج كثيف بحجم 35B إلى CPU لا يجعل كمية الحساب النشط مماثلة تلقائيًا.&lt;/p&gt;

&lt;h3&gt;
  
  
  5. التكميم له ثمن
&lt;/h3&gt;

&lt;p&gt;يمثل Q4_K_M حلًا وسطًا. فهو يقلل الذاكرة كثيرًا، لكنه قد يخفض الدقة. قياس السرعة وحده لا يقيس جودة الاستدلال، ولا الصحة الواقعية، ولا الأداء في مجال متخصص.&lt;/p&gt;

&lt;h3&gt;
  
  
  6. مستخدم واحد ليس خادمًا متعدد المستخدمين
&lt;/h3&gt;

&lt;p&gt;هذه الأرقام تخص عملية توليد واحدة. الطلبات المتزامنة، والدفعات الكبيرة، والسياقات المتعددة النشطة ستغير احتياجات الذاكرة ومعدل التوليد بوضوح.&lt;/p&gt;

&lt;h2&gt;
  
  
  الخلاصة
&lt;/h2&gt;

&lt;p&gt;نعم، نموذج Qwen3.6-35B-A3B بتكميم Q4_K_M قابل للاستخدام على هذا الجهاز. وبدقة أكبر: يمكن استخدامه فعليًا في محادثة محلية بعد تحميله، بسرعة تقارب 21 إلى 22 رمزًا في الثانية.&lt;/p&gt;

&lt;p&gt;لكن لا، النموذج لا «يعمل داخل 4 غيغابايت». حجمه 23 غيغابايت، ويستهلك نحو 21.4 غيبيبايت من ذاكرة النظام، ويستخدم قرابة 3 غيغابايت من VRAM. تساهم GTX 1650 في التنفيذ، لكنها لا تصنع معجزة. «المعجزة» هي غالبًا الاسم الذي يُطلق على معمارية لم يأخذ أحد وقتًا لقياسها.&lt;/p&gt;

&lt;p&gt;النتيجة مقنعة لمساعد شخصي، أو نظام RAG محلي، أو مهام متتابعة. أما السياق الضخم، وزمن التشغيل البارد المنخفض، والطلبات المتزامنة، وخدمات الإنتاج، فتحتاج إلى ذاكرة أكبر، أو بطاقة أقوى، أو طموحات أقل ميلًا إلى الزينة.&lt;/p&gt;




&lt;p&gt;&lt;a href="https://dev.to/nabil_doghri_f8ac169835d5/faire-tourner-un-moe-de-35b-sur-une-gtx-1650-4-go-le-test-reel-441j"&gt;Lire la version française&lt;/a&gt;&lt;/p&gt;

</description>
      <category>ai</category>
      <category>llm</category>
      <category>ollama</category>
      <category>arabic</category>
    </item>
    <item>
      <title>Faire tourner un MoE de 35B sur une GTX 1650 4 Go : le test réel</title>
      <dc:creator>Nabil Doghri</dc:creator>
      <pubDate>Tue, 17 Nov 2026 12:52:47 +0000</pubDate>
      <link>https://dev.to/nabil_doghri_f8ac169835d5/faire-tourner-un-moe-de-35b-sur-une-gtx-1650-4-go-le-test-reel-441j</link>
      <guid>https://dev.to/nabil_doghri_f8ac169835d5/faire-tourner-un-moe-de-35b-sur-une-gtx-1650-4-go-le-test-reel-441j</guid>
      <description>&lt;p&gt;Tester un modèle de 35 milliards de paramètres sur une GTX 1650 Max-Q de 4 Go semble être une mauvaise blague. En général, c’en est une.&lt;/p&gt;

&lt;p&gt;Sauf que le modèle testé est un MoE — un Mixture of Experts — et qu’un MoE ne calcule pas avec l’intégralité de ses paramètres à chaque token. Avec suffisamment de RAM, un moteur d’inférence correct et des attentes qui ne relèvent pas de la théologie, la machine peut produire un résultat réellement utilisable.&lt;/p&gt;

&lt;p&gt;J’ai donc testé Qwen3.6-35B-A3B en Q4_K_M sur un laptop équipé d’une GTX 1650 Max-Q. Pas une RTX 4090 cachée sous le bureau. Pas un benchmark recopié depuis Internet. La machine réelle, les commandes réelles et les mesures brutes.&lt;/p&gt;

&lt;h2&gt;
  
  
  La machine de test
&lt;/h2&gt;

&lt;ul&gt;
&lt;li&gt;GPU : NVIDIA GeForce GTX 1650 Max-Q, 4 Go de VRAM&lt;/li&gt;
&lt;li&gt;CPU : Intel Core i7-10750H, 6 cœurs et 12 threads&lt;/li&gt;
&lt;li&gt;RAM : 62 Gio disponibles au total&lt;/li&gt;
&lt;li&gt;Moteur : Ollama 0.40.13, avec le backend llama.cpp&lt;/li&gt;
&lt;li&gt;Modèle : Qwen3.6-35B-A3B, quantification Q4_K_M&lt;/li&gt;
&lt;li&gt;Taille du modèle : 23 Go&lt;/li&gt;
&lt;li&gt;Contexte du benchmark : 2 048 tokens&lt;/li&gt;
&lt;li&gt;Date du test : 17 novembre 2026&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;a href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fkz7t5pj4gwwkp1alr2zt.png" class="article-body-image-wrapper"&gt;&lt;img src="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fkz7t5pj4gwwkp1alr2zt.png" alt="Configuration matérielle et versions" width="799" height="392"&gt;&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;Les commandes de vérification :&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv,noheader
grep -m1 &lt;span class="s1"&gt;'^model name'&lt;/span&gt; /proc/cpuinfo &lt;span class="o"&gt;|&lt;/span&gt; cut -d: -f2-
nproc
free -h &lt;span class="o"&gt;|&lt;/span&gt; sed -n &lt;span class="s1"&gt;'1,2p'&lt;/span&gt;
ollama --version
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;La première limite apparaît immédiatement : les 23 Go du modèle ne tiennent évidemment pas dans 4 Go de VRAM. L’essentiel doit résider en RAM système.&lt;/p&gt;

&lt;h2&gt;
  
  
  Pourquoi cela fonctionne malgré tout
&lt;/h2&gt;

&lt;p&gt;Un modèle dense de 35B utilise toutes ses couches et tous ses poids utiles pour chaque token. Un MoE procède différemment : un routeur sélectionne un sous-ensemble d’experts pour chaque token. Le modèle conserve une grande capacité totale, mais le calcul actif est bien inférieur à ses 35 milliards de paramètres.&lt;/p&gt;

&lt;p&gt;Il faut corriger une confusion fréquente : « 3B actifs » ne signifie pas « fichier de 3 Go » ni « seulement 3B à charger ». Les 23 Go de poids existent toujours. Ils doivent être stockés quelque part. Ici, ce quelque part est surtout la RAM.&lt;/p&gt;

&lt;p&gt;Ollama annonce le placement suivant :&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;SIZE      PROCESSOR      CONTEXT      RUNNER
23 GB     92%/8% CPU/GPU 2048         llamacpp
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;Le processus &lt;code&gt;llama-server&lt;/code&gt; utilise environ 2 942 MiB de VRAM. Le GPU conserve donc une partie utile du travail, tandis que la majorité des poids et du calcul restent côté CPU/RAM.&lt;/p&gt;

&lt;p&gt;&lt;a href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Ftr6di6qv6o8o74omepty.png" class="article-body-image-wrapper"&gt;&lt;img src="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Ftr6di6qv6o8o74omepty.png" alt="Modèle et placement CPU/GPU" width="800" height="510"&gt;&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;Ce n’est pas « le GPU fait tourner un 35B ». C’est une inférence hybride CPU/GPU. La nuance évite de transformer un résultat technique intéressant en titre YouTube pour personnes vulnérables.&lt;/p&gt;

&lt;h2&gt;
  
  
  Méthode de benchmark
&lt;/h2&gt;

&lt;p&gt;J’ai utilisé directement l’API locale d’Ollama avec :&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;un contexte fixé à 2 048 tokens ;&lt;/li&gt;
&lt;li&gt;128 tokens générés par passage ;&lt;/li&gt;
&lt;li&gt;
&lt;code&gt;temperature: 0&lt;/code&gt; ;&lt;/li&gt;
&lt;li&gt;une seed fixe ;&lt;/li&gt;
&lt;li&gt;le mode de réflexion désactivé ;&lt;/li&gt;
&lt;li&gt;trois passages successifs avec le modèle déjà chargé.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Commande utilisée :&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;curl -s http://127.0.0.1:11434/api/generate \
  -H &lt;span class="s1"&gt;'Content-Type: application/json'&lt;/span&gt; \
  -d &lt;span class="s1"&gt;'{
    "model":"qwen3.6:35b",
    "prompt":"Explique pourquoi les MoE conviennent à une inférence hybride CPU/GPU.",
    "stream":false,
    "think":false,
    "options":{
      "num_ctx":2048,
      "num_predict":128,
      "temperature":0,
      "seed":42
    }
  }'&lt;/span&gt; &lt;span class="o"&gt;&amp;gt;&lt;/span&gt; run.json

jq -r &lt;span class="s1"&gt;'"eval=\(.eval_count) | speed=\(.eval_count/(.eval_duration/1e9)) tok/s"'&lt;/span&gt; run.json
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;h2&gt;
  
  
  Résultats à chaud
&lt;/h2&gt;

&lt;p&gt;Les trois passages ont produit :&lt;/p&gt;

&lt;div class="table-wrapper-paragraph"&gt;&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Passage&lt;/th&gt;
&lt;th&gt;Tokens&lt;/th&gt;
&lt;th&gt;Génération&lt;/th&gt;
&lt;th&gt;Temps total&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;1&lt;/td&gt;
&lt;td&gt;128&lt;/td&gt;
&lt;td&gt;22,60 tok/s&lt;/td&gt;
&lt;td&gt;7,42 s&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;2&lt;/td&gt;
&lt;td&gt;128&lt;/td&gt;
&lt;td&gt;21,58 tok/s&lt;/td&gt;
&lt;td&gt;6,13 s&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;td&gt;128&lt;/td&gt;
&lt;td&gt;20,99 tok/s&lt;/td&gt;
&lt;td&gt;6,24 s&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Moyenne&lt;/td&gt;
&lt;td&gt;128&lt;/td&gt;
&lt;td&gt;21,72 tok/s&lt;/td&gt;
&lt;td&gt;—&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;

&lt;p&gt;Minimum : 20,99 tok/s. Maximum : 22,60 tok/s.&lt;/p&gt;

&lt;p&gt;&lt;a href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fuweq82zv794mo20notei.png" class="article-body-image-wrapper"&gt;&lt;img src="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fuweq82zv794mo20notei.png" alt="Benchmark de génération sur trois passages" width="799" height="392"&gt;&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;En usage interactif, 21 à 22 tokens par seconde sont confortables. Le texte apparaît plus vite qu’un humain normal ne le lit. Il existe des humains anormaux, mais ils ne constituent pas une cible de dimensionnement raisonnable.&lt;/p&gt;

&lt;h2&gt;
  
  
  Mesure longue et consommation
&lt;/h2&gt;

&lt;p&gt;Un second test a généré 256 tokens tout en échantillonnant les ressources 53 fois.&lt;/p&gt;

&lt;p&gt;Résultat :&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;vitesse : 20,85 tok/s ;&lt;/li&gt;
&lt;li&gt;durée totale : 13,03 s ;&lt;/li&gt;
&lt;li&gt;VRAM : 2 988 MiB, stable pendant le test ;&lt;/li&gt;
&lt;li&gt;utilisation GPU : 35,3 % en moyenne, 40 % au maximum ;&lt;/li&gt;
&lt;li&gt;température GPU : 67,8 °C en moyenne, 70 °C au maximum ;&lt;/li&gt;
&lt;li&gt;RAM de &lt;code&gt;llama-server&lt;/code&gt; : environ 21,4 Gio.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;a href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fcnn4tepbk0gkypve9u0e.png" class="article-body-image-wrapper"&gt;&lt;img src="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fcnn4tepbk0gkypve9u0e.png" alt="Ressources pendant l’inférence" width="799" height="314"&gt;&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;La vitesse reste proche des passages de 128 tokens. Le système ne s’effondre donc pas dès que la réponse dépasse deux paragraphes, ce qui est un seuil de qualité étonnamment rare dans certains logiciels.&lt;/p&gt;

&lt;h2&gt;
  
  
  Le vrai coût : le démarrage à froid
&lt;/h2&gt;

&lt;p&gt;Le modèle a ensuite été explicitement déchargé :&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;ollama stop qwen3.6:35b
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;Puis une première requête de 64 tokens a été mesurée avec &lt;code&gt;/usr/bin/time&lt;/code&gt;.&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;/usr/bin/time -f &lt;span class="s1"&gt;'Wall clock: %e s'&lt;/span&gt; curl -s \
  http://127.0.0.1:11434/api/generate \
  -H &lt;span class="s1"&gt;'Content-Type: application/json'&lt;/span&gt; \
  -d &lt;span class="s1"&gt;'{
    "model":"qwen3.6:35b",
    "prompt":"Résume le principe MoE en français.",
    "stream":false,
    "think":false,
    "options":{"num_ctx":2048,"num_predict":64,"temperature":0}
  }'&lt;/span&gt; &lt;span class="o"&gt;&amp;gt;&lt;/span&gt; cold-run.json
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;Mesure obtenue :&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;temps total : 44,97 s ;&lt;/li&gt;
&lt;li&gt;chargement du modèle : 40,77 s ;&lt;/li&gt;
&lt;li&gt;traitement du prompt : 0,65 s ;&lt;/li&gt;
&lt;li&gt;génération : 3,54 s ;&lt;/li&gt;
&lt;li&gt;vitesse de génération : 18,06 tok/s.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;a href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fni5wn8mrf33qzj9k6nb7.png" class="article-body-image-wrapper"&gt;&lt;img src="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fni5wn8mrf33qzj9k6nb7.png" alt="Mesure du démarrage à froid" width="799" height="470"&gt;&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;Le problème principal n’est donc pas la génération une fois le modèle chargé. C’est son chargement initial. Pour un service qui conserve le modèle en mémoire, c’est acceptable. Pour un script lancé une fois afin de générer trois lignes puis mourir héroïquement, c’est absurde.&lt;/p&gt;

&lt;h2&gt;
  
  
  Ce que ces chiffres prouvent
&lt;/h2&gt;

&lt;p&gt;Ils prouvent qu’un MoE de 35B quantifié peut être exploitable sur une machine dotée de seulement 4 Go de VRAM, à condition de disposer :&lt;/p&gt;

&lt;ol&gt;
&lt;li&gt;de suffisamment de RAM système — ici plus de 20 Gio réellement consommés par le serveur ;&lt;/li&gt;
&lt;li&gt;d’un CPU convenable et d’une bande passante mémoire correcte ;&lt;/li&gt;
&lt;li&gt;d’un moteur capable de répartir proprement le modèle entre CPU et GPU ;&lt;/li&gt;
&lt;li&gt;d’une quantification adaptée ;&lt;/li&gt;
&lt;li&gt;d’un modèle MoE dont le nombre de paramètres actifs reste modéré.&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;Ils ne prouvent pas qu’une GTX 1650 équivaut à une carte haut de gamme. Elle ne l’est pas. Le modèle fonctionne grâce à l’ensemble CPU, RAM, GPU et logiciel. Retirer la RAM de l’équation puis attribuer le résultat au GPU serait techniquement incorrect, donc probablement excellent pour l’engagement.&lt;/p&gt;

&lt;h2&gt;
  
  
  Limites honnêtes
&lt;/h2&gt;

&lt;h3&gt;
  
  
  1. La RAM n’est pas optionnelle
&lt;/h3&gt;

&lt;p&gt;Le processus consomme environ 21,4 Gio de RAM. Une machine avec 16 Go ne reproduira pas cette expérience correctement. Avec 32 Go, cela devient plausible, mais la marge pour le système, les caches et les autres applications reste limitée.&lt;/p&gt;

&lt;h3&gt;
  
  
  2. Le contexte de test est court
&lt;/h3&gt;

&lt;p&gt;Les mesures utilisent 2 048 tokens de contexte. Augmenter fortement le contexte accroît le coût du KV cache, le temps de préremplissage et la mémoire consommée. La capacité théorique annoncée par le modèle n’est pas une recommandation opérationnelle. C’est une limite, pas une invitation.&lt;/p&gt;

&lt;h3&gt;
  
  
  3. Le préfill peut devenir le goulot d’étranglement
&lt;/h3&gt;

&lt;p&gt;La génération à 21–22 tok/s est agréable, mais un prompt très long doit d’abord être traité. Sur de gros documents, le temps avant le premier token peut devenir bien plus pénible que le débit de génération.&lt;/p&gt;

&lt;h3&gt;
  
  
  4. Un MoE n’est pas un modèle dense
&lt;/h3&gt;

&lt;p&gt;Cette stratégie dépend de la parcimonie du MoE. Elle ne transforme pas automatiquement un modèle dense de 35B en charge légère. Les poids peuvent être déchargés vers le CPU, mais la quantité de calcul actif reste très différente.&lt;/p&gt;

&lt;h3&gt;
  
  
  5. La qualité dépend de la quantification
&lt;/h3&gt;

&lt;p&gt;Q4_K_M est un compromis. Il réduit fortement la mémoire, au prix d’une perte potentielle de précision. La vitesse seule n’évalue ni le raisonnement, ni la fidélité factuelle, ni la qualité sur un domaine spécialisé.&lt;/p&gt;

&lt;h3&gt;
  
  
  6. Un utilisateur n’est pas un serveur multi-utilisateur
&lt;/h3&gt;

&lt;p&gt;Ces chiffres décrivent une génération unique. Plusieurs requêtes concurrentes, un grand batch ou plusieurs contextes actifs modifieront sérieusement le débit et la mémoire nécessaires.&lt;/p&gt;

&lt;h2&gt;
  
  
  Verdict
&lt;/h2&gt;

&lt;p&gt;Oui, Qwen3.6-35B-A3B en Q4_K_M est passable sur cette machine. Plus précisément : il est réellement utilisable en conversation locale une fois chargé, avec environ 21 à 22 tokens par seconde.&lt;/p&gt;

&lt;p&gt;Non, il ne « tourne pas dans 4 Go ». Il occupe 23 Go, consomme environ 21,4 Gio de RAM système et utilise près de 3 Go de VRAM. La GTX 1650 participe. Elle ne réalise aucun miracle. Le miracle est généralement le nom donné à une architecture que quelqu’un n’a pas pris le temps de mesurer.&lt;/p&gt;

&lt;p&gt;Pour un assistant personnel, du RAG local ou des tâches séquentielles, le résultat est convaincant. Pour du contexte massif, une faible latence à froid, de la concurrence ou un service de production, il faut davantage de mémoire, un GPU plus solide, ou des ambitions moins décoratives.&lt;/p&gt;




&lt;p&gt;&lt;a href="https://dev.to/nabil_doghri_f8ac169835d5/tshgyl-nmwdhj-moe-bhjm-35b-l-gtx-1650-bdhkr-4gb-khtbr-fly-1841"&gt;اقرأ النسخة العربية&lt;/a&gt;&lt;/p&gt;

</description>
      <category>ai</category>
      <category>llm</category>
      <category>ollama</category>
      <category>localai</category>
    </item>
  </channel>
</rss>
