কৃত্রিম বুদ্ধিমত্তা বা AI এখন শুধু প্রযুক্তি enthusiasts-দের বিষয় নয়। লেখালেখি, coding, সারাংশ তৈরি, research কিংবা দৈনন্দিন বিভিন্ন কাজে ChatGPT, Gemini ও Claude-এর মতো tool অনেকের নিয়মিত কাজের অংশ হয়ে উঠেছে। তবে cloud-based AI ব্যবহারের ক্ষেত্রে সাধারণত internet connection প্রয়োজন হয় এবং আপনার data কীভাবে process বা সংরক্ষণ করা হবে, সেটি নির্ভর করে সংশ্লিষ্ট service-এর policy ও configuration-এর ওপর।
কিন্তু আপনার নিজের computer-এই যদি একটি AI model চালানো যায়? একটি model download করার পর অনেক ধরনের inference কাজ internet connection ছাড়াই করা সম্ভব। এই ধরনের ব্যবস্থাকে বলা হয় Local AI বা Local LLM । Windows, macOS বা Linux computer-এ Ollama এবং LM Studio -এর মতো tool ব্যবহার করে স্থানীয়ভাবে বিভিন্ন AI model চালানো যায়।
লোকাল AI কী?
Local AI হলো এমন একটি ব্যবস্থা যেখানে AI model-এর inference আপনার নিজের computer-এ সম্পন্ন হয়। Modelটি আগে download করা থাকলে অনেক ক্ষেত্রে chat, document analysis এবং অন্যান্য inference কাজ internet ছাড়াই করা সম্ভব। তবে model download, software update বা online service ব্যবহারের জন্য internet প্রয়োজন হতে পারে। LM Studio-এর official documentation-এও download করা model দিয়ে chat ও document features offline ব্যবহারের কথা উল্লেখ করা হয়েছে।
লোকাল AI কেন ব্যবহার করবেন?
নিজের কম্পিউটারে AI চালানোর সবচেয়ে বড় সুবিধাগুলোর একটি হলো নিয়ন্ত্রণ । মডেল এবং inference আপনার নিজের ডিভাইসেই চলতে পারে। উদাহরণ হিসেবে, LM Studio-এর তথ্য অনুযায়ী, ডাউনলোড করা local model-এর সঙ্গে chat করার সময় আপনার input ডিভাইসের বাইরে পাঠানোর প্রয়োজন হয় না।
- অফলাইনে ব্যবহার: মডেল ডাউনলোড হয়ে গেলে অনেক ধরনের কাজ ইন্টারনেট ছাড়াই করা যায়।
- গোপনীয়তা: স্থানীয় inference-এর কারণে সংবেদনশীল লেখা বা document সরাসরি cloud service-এ পাঠানোর প্রয়োজন নাও হতে পারে।
- এককালীন সেটআপ: প্রতিবার AI ব্যবহার করতে আলাদা কোনো ওয়েবসাইটে গিয়ে account বা internet connection-এর ওপর নির্ভর করতে হয় না।
- নিজের হার্ডওয়্যার ব্যবহার: আপনার CPU, RAM এবং GPU-এর ক্ষমতা অনুযায়ী উপযুক্ত model বেছে নেওয়া যায়।
- ডেভেলপারদের জন্য সুবিধা: স্থানীয় model-এর API ব্যবহার করে নিজের application বা workflow-এর সঙ্গে AI যুক্ত করা যায়। Ollama এবং LM Studio দুটিই local API ব্যবহারের সুবিধা দেয়।
একটি বিষয় মনে রাখুন:
“Offline” মানে প্রথম setup থেকেই internet ছাড়াই সবকিছু করা যাবে এমন নয়। Ollama বা LM Studio install করার পর প্রয়োজনীয় model download করতে সাধারণত internet connection লাগে। Modelটি ডিভাইসে download হয়ে গেলে সেটি ব্যবহার করে offline inference করা সম্ভব।
লোকাল AI চালাতে কেমন কম্পিউটার লাগবে?
লোকাল AI চালানোর জন্য সবার ক্ষেত্রে একই ধরনের “minimum PC” প্রয়োজন হয় না। কোন মডেল ব্যবহার করছেন, তার parameter size ও quantization কেমন এবং inference CPU নাকি GPU দিয়ে হচ্ছে এসব বিষয়ের ওপর performance অনেকটাই নির্ভর করে। LM Studio-এর documentation অনুযায়ী, model load করার সময় model weights এবং প্রয়োজনীয় data কম্পিউটারের memory-তে রাখতে হয়।
| হার্ডওয়্যার | ছোট মডেলের জন্য | আরও স্বচ্ছন্দ ব্যবহারের জন্য |
|---|---|---|
| RAM | 8 GB | 16–32 GB বা বেশি |
| CPU | আধুনিক 4-core বা সমমানের প্রসেসর | আধুনিক Core i7 / Ryzen 7 / Apple Silicon বা সমমান |
| GPU | GPU ছাড়াও ছোট মডেল চালানো সম্ভব | ডেডিকেটেড GPU থাকলে কিছু মডেল আরও দ্রুত চলতে পারে |
| Storage | মডেল অনুযায়ী কয়েক GB থেকে শুরু | 50 GB বা বেশি খালি SSD থাকলে সুবিধা |
তবে এগুলো একটি সাধারণ ধারণা, কঠোর system requirement নয়। একই পরিমাণ RAM থাকা দুটি কম্পিউটারে ভিন্ন CPU বা GPU থাকলে model loading এবং inference speed-এ যথেষ্ট পার্থক্য দেখা যেতে পারে।
কোন ধরনের Local AI মডেল ব্যবহার করবেন?
বর্তমানে স্থানীয়ভাবে চালানোর জন্য বিভিন্ন ধরনের open এবং openly available model পাওয়া যায়। LM Studio-এর platform-এ Qwen, Gemma, DeepSeek, Llama এবং gpt-oss-এর মতো বিভিন্ন model পাওয়া যাচ্ছে।
মডেল বাছাইয়ের সময় শুধু model-এর নাম দেখে সিদ্ধান্ত নেওয়া ঠিক নয়। Parameter size, quantization, context length, hardware compatibility এবং model license বিবেচনা করা ভালো। একই model family-এর 3B, 7B বা আরও বড় সংস্করণের memory ও hardware requirement এক নয়।
১ম পদ্ধতি: Ollama দিয়ে Local AI চালান
আপনি যদি Terminal বা Command Prompt ব্যবহার করতে স্বাচ্ছন্দ্যবোধ করেন, তাহলে Ollama একটি সহজ option। Ollama Windows-এ GPU acceleration সমর্থন করে এবং local API ব্যবহারের সুবিধাও দেয়।
- Ollama ডাউনলোড করুন: ollama.com-এ গিয়ে আপনার operating system অনুযায়ী Ollama download ও install করুন।
- Terminal খুলুন: Windows-এ Command Prompt বা PowerShell খুলুন। macOS ও Linux-এ Terminal ব্যবহার করতে পারেন।
- একটি মডেল চালান: উদাহরণ হিসেবে Llama 3.2 চালাতে পারেন:
ollama run llama3.2
Ollama-এর official documentation ও model page-এ এই ধরনের command ব্যবহার করে model চালানোর নির্দেশনা দেওয়া আছে। Llama 3.2-এর 3B সংস্করণের জন্য ollama run llama3.2 এবং 1B সংস্করণের জন্য ollama run llama3.2:1b ব্যবহার করা যায়।
মডেলটি প্রথমবার চালানোর সময় Ollama প্রয়োজনীয় model files download করবে। এরপর modelটি আপনার কম্পিউটারে localভাবেই ব্যবহার করা যাবে।
২য় পদ্ধতি: LM Studio দিয়ে ChatGPT-এর মতো Interface
Command Prompt-এর পরিবর্তে আপনি যদি graphical interface পছন্দ করেন, তাহলে LM Studio ব্যবহার করতে পারেন। এটি Windows, macOS এবং Linux-এর জন্য available এবং স্থানীয়ভাবে বিভিন্ন LLM চালানোর সুবিধা দেয়।
- LM Studio ইনস্টল করুন: lmstudio.ai থেকে সফটওয়্যারটি download ও install করুন।
- মডেল খুঁজুন: LM Studio-এর Discover section থেকে আপনার কম্পিউটারের hardware অনুযায়ী উপযুক্ত model খুঁজে নিন।
- মডেল ডাউনলোড করুন: প্রয়োজন অনুযায়ী একটি model variant বা quantization বেছে নিন। LM Studio GGUF-সহ বিভিন্ন supported model format নিয়ে কাজ করতে পারে।
- মডেল Load করুন: Chat tab-এ গিয়ে model loader থেকে download করা modelটি নির্বাচন করুন।
- চ্যাট শুরু করুন: modelটি memory-তে load হয়ে গেলে সরাসরি chat করা যাবে।
ইন্টারনেট ছাড়াই LM Studio
মডেল download হয়ে যাওয়ার পর LM Studio-এর chat, document chat এবং local server-এর মতো মূল কাজ offline চালানো যায়। তবে নতুন model search, model download এবং software update-এর মতো কাজের জন্য আবার internet connection প্রয়োজন হবে।
8 GB RAM হলে কোন মডেল ব্যবহার করবেন?
8 GB RAM-এর কম্পিউটারে খুব বড় model দিয়ে শুরু করা ভালো নয়। Model size যত বড় হয়, সাধারণত memory requirement তত বাড়ে এবং inference ধীর হতে পারে। তাই তুলনামূলক ছোট parameter count এবং উপযুক্ত quantization ব্যবহার করে শুরু করা বেশি বাস্তবসম্মত।
এখানে একটি গুরুত্বপূর্ণ বিষয় হলো শুধু “7B” বা “8B” লেখা দেখে model নির্বাচন করা ঠিক নয়। একই model-এর quantization অনুযায়ী memory requirement উল্লেখযোগ্যভাবে পরিবর্তিত হতে পারে। তাই LM Studio-এর model information-এর পাশাপাশি আপনার available RAM ও VRAM বিবেচনা করে model নির্বাচন করুন।
Local AI কি সত্যিই পুরোপুরি Private?
Model যদি আপনার নিজের কম্পিউটারেই চলে, তাহলে inference-এর সময় data cloud AI provider-এর server-এ পাঠানোর প্রয়োজন নাও হতে পারে। LM Studio-এর তথ্য অনুযায়ী, downloaded local model দিয়ে chat করার সময় আপনার input device-এর বাইরে পাঠানো হয় না।
তবে এর অর্থ এই নয় যে local AI ব্যবহার করলেই 100% data leak impossible বা 100% secure । আপনার computer-এ malware থাকলে local data, model files বা chat history অন্যভাবে ঝুঁকিতে পড়তে পারে। তাই Local AI ব্যবহার করলেও operating system, browser এবং security software আপডেট রাখা গুরুত্বপূর্ণ।
Ollama নাকি LM Studio?
| ফিচার | Ollama | LM Studio |
|---|---|---|
| সহজ GUI | কম | হ্যাঁ |
| Terminal-based ব্যবহার | খুব ভালো | আছে |
| Local API | হ্যাঁ | হ্যাঁ |
| Offline inference | হ্যাঁ | হ্যাঁ |
| শুরুর জন্য | Developer-friendly | Beginner-friendly |
সহজভাবে বললে, command line ও API নিয়ে কাজ করতে চাইলে Ollama এবং সহজ graphical interface-এ model চালাতে চাইলে LM Studio দিয়ে শুরু করতে পারেন।
শুরু করার আগে যে বিষয়গুলো মনে রাখবেন
- Model download: প্রথমবার model download করার জন্য internet connection প্রয়োজন হবে।
- Performance: বড় model মানেই আপনার PC-তে ভালো performance হবে এমন নয়। Hardware অনুযায়ী ছোট model অনেক সময় বেশি responsive হতে পারে।
- RAM/VRAM: আপনার available RAM ও VRAM অনুযায়ী model size এবং quantization নির্বাচন করুন।
- Model license: বিশেষ করে commercial project-এ ব্যবহারের আগে model-এর license ও usage terms দেখে নিন।
- PC security: Local AI ব্যবহার করলেও operating system, browser এবং security software আপডেট রাখা এবং সাধারণ security practices অনুসরণ করা জরুরি।
শেষ কথা
Local AI এখন আর শুধু গবেষণাগার বা high-end workstation-এর মধ্যে সীমাবদ্ধ নয়। সঠিক model এবং hardware বেছে নিলে সাধারণ PC বা laptop দিয়েও স্থানীয়ভাবে AI ব্যবহার করা সম্ভব। যারা lightweight, terminal-based workflow পছন্দ করেন, তাদের জন্য Ollama ভালো একটি option হতে পারে। অন্যদিকে, সহজ graphical interface-এর মাধ্যমে model চালাতে চাইলে LM Studio সুবিধাজনক।
সবচেয়ে গুরুত্বপূর্ণ বিষয় হলো, model একবার আপনার কম্পিউটারে download ও load করা হয়ে গেলে অনেক ধরনের কাজ internet connection ছাড়াই করা যায়। তাই privacy, offline workflow বা AI development যে কারণেই Local AI ব্যবহার করতে চান, শুরুতেই খুব বড় model নেওয়ার পরিবর্তে নিজের hardware অনুযায়ী একটি ছোট model দিয়ে শুরু করাই ভালো।
Reference:
Ollama Official Website
Ollama – Llama 3.2
LM Studio Official Website
LM Studio – Offline Operation
LM Studio – Getting Started
Top comments (0)