Md. Junaidul Islam

Posted on Oct 23

সিস্টেম স্কেলিং: এক নজরে বেসিক কনসেপ্ট

#architecture #softwareengineering #programming #systemdesign

স্কেলিং হলো আপনার সিস্টেমের ক্ষমতা বৃদ্ধি করা যাতে বেশি ট্র্যাফিক এবং ডেটা সামলানো যায়। একজন সিনিয়র ইঞ্জিনিয়ার প্রথমে সমস্যাগুলো চিহ্নিত করেন এবং তারপর ধাপে ধাপে সমাধান করেন।

Setup: সিঙ্গেল সার্ভার থেকে শুরু

প্রত্যেক সিস্টেমই একটি মাত্র সার্ভার দিয়ে শুরু হয় যেখানে অ্যাপ্লিকেশন এবং ডেটাবেস একসাথে চলে। এই পর্যায়ে আপনাকে বুঝতে হবে bottleneck কোথায় তৈরি হচ্ছে - CPU, মেমরি, ডিস্ক I/O নাকি নেটওয়ার্ক। যদি আপনি একটি সিঙ্গেল সার্ভার সেটআপের সীমাবদ্ধতা বুঝতে না পারেন, তবে জটিল আর্কিটেকচারের প্রয়োজনীয়তাও ব্যাখ্যা করতে পারবেন না।[1]

Databases: আপনার সবচেয়ে বড় চ্যালেঞ্জ

ডেটাবেস প্রায় সবসময়ই প্রধান bottleneck হয়ে থাকে। Read-heavy এবং Write-heavy লোড আলাদাভাবে সামলাতে হয়। Read Replicas ব্যবহার করে আপনি পড়ার চাপ কমাতে পারেন, যেখানে Master ডেটাবেস লেখার কাজ করে এবং Replica গুলো পড়ার কাজ করে।[3][4][5][6][7]

Connection Pooling

Connection Pooling হলো পারফরম্যান্স বাড়ানোর একটি গুরুত্বপূর্ণ কৌশল যেখানে প্রতিবার নতুন কানেকশন তৈরি না করে পূর্বের কানেকশনগুলো পুনরায় ব্যবহার করা হয়। প্রতিটি নতুন কানেকশন তৈরি করতে TCP handshake, authentication এবং encryption এর প্রয়োজন হয়, যা অনেক সময় নেয়। Server-side connection pooling বড় সিস্টেমের জন্য বেশি কার্যকর কারণ এটি centralized নিয়ন্ত্রণ দেয়।[4][5][8]

Database Sharding

Sharding হলো বিশাল ডেটাবেসকে ছোট ছোট অংশে (shards) ভাগ করা যাতে প্রতিটি shard নিজস্বভাবে কাজ করতে পারে। এটি মূলত Write scalability এর জন্য ব্যবহৃত হয় কারণ লেখার কাজ বিভিন্ন shards এ বিতরণ করা হয়। NoSQL databases যেমন MongoDB built-in sharding support দেয়, কিন্তু traditional SQL databases এ আপনাকে নিজে sharding logic implement করতে হয়।[6][9][7][10]

Scaling: Vertical নাকি Horizontal?

Vertical Scaling (Scale Up)

Vertical scaling মানে একই সার্ভারে আরো শক্তিশালী hardware যোগ করা - বেশি CPU, RAM বা Storage। এটি implement করা সহজ এবং application architecture পরিবর্তনের প্রয়োজন হয় না। তবে এর সীমাবদ্ধতা রয়েছে - আপনি একটি সার্ভারকে অসীম বড় করতে পারবেন না এবং এটি Single Point of Failure (SPOF) তৈরি করে।[2][1]

Horizontal Scaling (Scale Out)

Horizontal scaling মানে আরো বেশি সার্ভার যোগ করা এবং load balancer দিয়ে লোড বিতরণ করা। এর সুবিধা হলো উচ্চ Fault Tolerance এবং প্রায় অসীম scalability। তবে এটি জটিল কারণ distributed system manage করতে sophisticated coordination mechanism প্রয়োজন।[11][2][1]

Load Balancers: ট্র্যাফিক ডিস্ট্রিবিউশন

Load balancer একাধিক সার্ভারে incoming requests বিতরণ করে। বিভিন্ন algorithms ব্যবহার করা হয়:[12][13]

Round Robin

প্রতিটি request পর্যায়ক্রমে পরবর্তী সার্ভারে পাঠানো হয়। এটি সহজ কিন্তু server load বিবেচনা করে না।[14][15][12]

Least Connections

যে সার্ভারে সবচেয়ে কম active connections আছে সেখানে নতুন request পাঠানো হয়। এটি dynamic load balancing এর জন্য কার্যকর যেখানে request processing time বিভিন্ন হয়।[13][12][14]

Weighted Algorithms

বিভিন্ন সার্ভারের ক্ষমতা অনুযায়ী আলাদা "weight" দেওয়া হয় এবং সেই অনুযায়ী traffic বিতরণ করা হয়।[16][12]

Layer 4 vs Layer 7 Load Balancing

Layer 4 Load Balancing

Transport layer এ কাজ করে এবং শুধুমাত্র IP address, port এবং protocol দেখে routing করে। এটি দ্রুত কারণ packet content inspect করতে হয় না। Simple traffic এর জন্য ideal যেখানে high performance প্রয়োজন।[17][18][19][20]

Layer 7 Load Balancing

Application layer এ কাজ করে এবং HTTP headers, URLs, cookies দেখে intelligent routing করতে পারে। এটি content-based routing, SSL offload এবং session persistence (sticky sessions) সমর্থন করে। জটিল applications এর জন্য এটি উপযুক্ত যেখানে content awareness দরকার।[18][20][17]

SPOF (Single Point of Failure): সবচেয়ে বিপজ্জনক সমস্যা

SPOF হলো সিস্টেমের এমন একটি component যার ব্যর্থতায় পুরো সিস্টেম down হয়ে যেতে পারে। Common SPOF examples:[21][22]

Load Balancer নিজেই SPOF

একটি single load balancer থাকলে তা down হলে সব সার্ভার unreachable হয়ে যায়। Solution: multiple load balancers বা Geo-DNS ব্যবহার করা।[22]

Master Database

Master-Replica setup এ master database ব্যর্থ হলে write operations বন্ধ হয়ে যায়। Automated failover implement করে একটি replica কে automatically নতুন master হিসেবে promote করা যায়। Leader election algorithms এই কাজে ব্যবহৃত হয়।[23][7][3]

Availability Zones

একটি single availability zone এ সব resources থাকলে সেই zone down হলে সব কিছু down হবে। Multi-region deployment এই ঝুঁকি কমায়।[22]

Security: সিস্টেম সুরক্ষা

Security measures include endpoint-based authentication, per-user/IP tracking এবং DDoS mitigation। Load balancers প্রায়ই security filtering এবং rate limiting implement করে। Layer 7 load balancers content inspection করতে পারে যা security threats detect করতে সাহায্য করে।[24][17][18]

একজন সিনিয়র ইঞ্জিনিয়ারের মতো চিন্তা করুন

স্কেলিং একটি iterative process। সহজ দিয়ে শুরু করুন এবং শুধুমাত্র প্রয়োজন হলেই complexity যোগ করুন। প্রতিটি সিদ্ধান্তের trade-offs বুঝুন - vertical scaling সহজ কিন্তু সীমিত, horizontal scaling জটিল কিন্তু unlimited। আপনার architecture diagram দেখে instantly identify করতে পারা উচিত কোথায় failure হতে পারে এবং কীভাবে সেই ঝুঁকি mitigate করবেন।[2][1][22]

মনে রাখবেন, কোনো theoretical knowledge নয় - বাস্তব সমস্যা সমাধানের অভিজ্ঞতাই আপনাকে সিনিয়র করবে।

DEV Community