<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:dc="http://purl.org/dc/elements/1.1/">
  <channel>
    <title>DEV Community: Vietsory</title>
    <description>The latest articles on DEV Community by Vietsory (@vietsory).</description>
    <link>https://dev.to/vietsory</link>
    <image>
      <url>https://media2.dev.to/dynamic/image/width=90,height=90,fit=cover,gravity=auto,format=auto/https:%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Fuser%2Fprofile_image%2F4173297%2Fdf87e8b5-9927-4242-827a-732442c9ca48.png</url>
      <title>DEV Community: Vietsory</title>
      <link>https://dev.to/vietsory</link>
    </image>
    <atom:link rel="self" type="application/rss+xml" href="https://dev.to/feed/vietsory"/>
    <language>en</language>
    <item>
      <title>Why Scaling Kubernetes Pods Doesn't Fix gRPC Timeouts: A Hidden Load Balancing Problem</title>
      <dc:creator>Vietsory</dc:creator>
      <pubDate>Tue, 17 Nov 2026 04:55:40 +0000</pubDate>
      <link>https://dev.to/vietsory/why-scaling-kubernetes-pods-doesnt-fix-grpc-timeouts-a-hidden-load-balancing-problem-1d7h</link>
      <guid>https://dev.to/vietsory/why-scaling-kubernetes-pods-doesnt-fix-grpc-timeouts-a-hidden-load-balancing-problem-1d7h</guid>
      <description>&lt;h1&gt;
  
  
  1. Introduction — The Hidden Problem Behind Kubernetes Load Balancing
&lt;/h1&gt;

&lt;p&gt;Trong kiến trúc microservices, Load Balancing là một trong những cơ chế quan trọng giúp phân phối traffic giữa các backend instances, cải thiện khả năng mở rộng (Scalability) và duy trì tính sẵn sàng (Availability) của hệ thống.&lt;/p&gt;

&lt;p&gt;Khi triển khai ứng dụng trên Kubernetes, chúng ta thường mong đợi rằng việc tăng số lượng Pods sẽ giúp phân phối workload tốt hơn. Đặc biệt, khi kết hợp với Horizontal Pod Autoscaler (HPA), hệ thống có thể tự động bổ sung tài nguyên khi nhu cầu xử lý tăng cao.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, trong tình huống thực tế:&lt;/p&gt;

&lt;p&gt;Một ứng dụng ban đầu chạy trên 3 Pods. Khi lượng request tăng mạnh, P99 latency bắt đầu tăng và một số request gặp timeout. Kubernetes HPA phát hiện mức sử dụng CPU vượt ngưỡng và tự động scale Deployment từ 3 lên 10 Pods.&lt;/p&gt;

&lt;p&gt;Sau khi scaling hoàn thành:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;Tất cả 10 Pods đều ở trạng thái &lt;code&gt;Running&lt;/code&gt; và &lt;code&gt;Ready&lt;/code&gt;.&lt;/li&gt;
&lt;li&gt;Kubernetes Service nhận diện đầy đủ các backend endpoints.&lt;/li&gt;
&lt;li&gt;Cluster vẫn còn tài nguyên CPU và Memory.&lt;/li&gt;
&lt;li&gt;Một số Pods tiếp tục hoạt động gần ngưỡng CPU tối đa.&lt;/li&gt;
&lt;li&gt;Phần lớn các Pods mới gần như không nhận traffic.&lt;/li&gt;
&lt;li&gt;P99 latency và timeout rate không cải thiện đáng kể.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;Tại sao hệ thống đã có thêm tài nguyên nhưng vẫn không giải quyết được tình trạng quá tải?&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Vấn đề đặt ra là liệu việc Load Balancing ở network layer có thực sự đồng nghĩa với việc phân phối đều các application requests hay không.&lt;/p&gt;

&lt;p&gt;Khi các microservices giao tiếp thông qua gRPC và HTTP/2, mối quan hệ giữa TCP connections, RPC calls và cách Kubernetes Service lựa chọn backend trở thành yếu tố quan trọng ảnh hưởng đến quá trình phân phối traffic.&lt;/p&gt;

&lt;p&gt;Trong bài viết này, tôi sẽ phân tích một sự cố production giả lập, nơi HPA đã scale thành công nhưng hiệu năng hệ thống vẫn không cải thiện. Từ các dấu hiệu ban đầu, bài viết sẽ đi qua quá trình troubleshooting, tìm hiểu cơ chế Load Balancing trong Kubernetes, xác định root cause và đề xuất giải pháp khắc phục.&lt;/p&gt;




&lt;h1&gt;
  
  
  2. System Architecture &amp;amp; Initial Conditions — Kiến trúc hệ thống và điều kiện ban đầu
&lt;/h1&gt;

&lt;h2&gt;
  
  
  2.1. System Overview
&lt;/h2&gt;

&lt;p&gt;Giả sử chúng ta đang vận hành một hệ thống thương mại điện tử được xây dựng theo kiến trúc microservices và triển khai trên Kubernetes.&lt;/p&gt;

&lt;p&gt;Hệ thống bao gồm ba thành phần chính:&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;API Gateway&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Là điểm tiếp nhận HTTP requests từ phía người dùng. Gateway thực hiện xác thực, kiểm tra request và chuyển các lời gọi nghiệp vụ tới những backend services.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Order Service&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Chịu trách nhiệm xử lý đơn hàng. Service này cung cấp các RPC methods như &lt;code&gt;CreateOrder&lt;/code&gt;, &lt;code&gt;GetOrder&lt;/code&gt; và &lt;code&gt;ValidateOrder&lt;/code&gt;.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Kubernetes Infrastructure&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Quản lý các Pods của Order Service, cung cấp service discovery, networking và cơ chế autoscaling thông qua HPA.&lt;/p&gt;

&lt;p&gt;Trong tình huống này, API Gateway giao tiếp với Order Service bằng &lt;strong&gt;gRPC trên HTTP/2&lt;/strong&gt;, thông qua một Kubernetes Service có kiểu &lt;code&gt;ClusterIP&lt;/code&gt;.&lt;/p&gt;

&lt;p&gt;Kiến trúc logic:&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;                Client Applications
                        |
                        | HTTPS
                        v
                  API Gateway
                   (2 Pods)
                        |
                        | gRPC / HTTP/2
                        v
             Kubernetes ClusterIP
                 order-service
                        |
           +------------+------------+
           |            |            |
           v            v            v
       Order Pod A   Order Pod B   Order Pod C
           |            |            |
           +------------+------------+
                        |
                  Database
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Trong kiến trúc trên, API Gateway đóng vai trò là gRPC client, còn các Order Service Pods đóng vai trò là gRPC servers.&lt;/p&gt;
&lt;h2&gt;
  
  
  2.2. Kubernetes Deployment &amp;amp; Autoscaling Configuration
&lt;/h2&gt;

&lt;p&gt;Hệ thống được thiết kế với các thông số sau:&lt;/p&gt;

&lt;div class="table-wrapper-paragraph"&gt;&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Component&lt;/th&gt;
&lt;th&gt;Configuration&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Container Orchestration&lt;/td&gt;
&lt;td&gt;Kubernetes&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Worker Nodes&lt;/td&gt;
&lt;td&gt;3 Nodes&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;API Gateway&lt;/td&gt;
&lt;td&gt;2 Pods&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Order Service&lt;/td&gt;
&lt;td&gt;3 Pods ban đầu&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Maximum Replicas&lt;/td&gt;
&lt;td&gt;10 Pods&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Autoscaling&lt;/td&gt;
&lt;td&gt;Horizontal Pod Autoscaler&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;HPA Target&lt;/td&gt;
&lt;td&gt;CPU utilization 60%&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Service Type&lt;/td&gt;
&lt;td&gt;ClusterIP&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Service Port&lt;/td&gt;
&lt;td&gt;TCP 50051&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Communication Protocol&lt;/td&gt;
&lt;td&gt;gRPC / HTTP/2&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Load Balancing Layer&lt;/td&gt;
&lt;td&gt;Layer 4 tại Kubernetes Service&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Service Proxy&lt;/td&gt;
&lt;td&gt;kube-proxy (iptables mode)&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;

&lt;p&gt;HPA được cấu hình để tăng số lượng Order Service Pods khi CPU utilization vượt mục tiêu đã thiết lập.&lt;/p&gt;

&lt;p&gt;Mục tiêu kiến trúc là cho phép Order Service mở rộng linh hoạt trong những khoảng thời gian có traffic cao, mà không yêu cầu người vận hành thao tác bằng tay.&lt;/p&gt;
&lt;h2&gt;
  
  
  2.3. gRPC Connection Behavior
&lt;/h2&gt;

&lt;p&gt;Một đặc điểm quan trọng trong kiến trúc này là cách API Gateway quản lý kết nối tới Order Service.&lt;/p&gt;

&lt;p&gt;Thay vì thiết lập TCP connection mới cho mỗi RPC, Gateway sử dụng các gRPC channels được tái sử dụng trong suốt vòng đời của ứng dụng.&lt;/p&gt;

&lt;p&gt;Trong kịch bản mô phỏng này, mỗi Gateway Pod duy trì một số lượng nhỏ HTTP/2 connections tới địa chỉ ClusterIP của Order Service.&lt;/p&gt;

&lt;p&gt;Nhờ HTTP/2 multiplexing, nhiều RPC calls có thể được truyền đồng thời trên cùng một TCP connection.&lt;/p&gt;

&lt;p&gt;Ngoài ra, để giới hạn phạm vi phân tích, chúng ta giả định:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;Gateway không có cơ chế client-side load balancing nhận diện trực tiếp danh sách Order Service Pods.&lt;/li&gt;
&lt;li&gt;Không có L7 proxy trung gian thực hiện load balancing theo từng RPC.&lt;/li&gt;
&lt;li&gt;Các TCP connections có thể tồn tại trong thời gian dài.&lt;/li&gt;
&lt;li&gt;Kubernetes Service sử dụng cơ chế chuyển tiếp Layer 4 thông thường.&lt;/li&gt;
&lt;li&gt;Các Pods có cùng resource requests, limits và cấu hình ứng dụng.&lt;/li&gt;
&lt;li&gt;Database không phải bottleneck chính trong kịch bản này.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Những điều kiện trên rất quan trọng vì chúng ảnh hưởng trực tiếp đến cách một gRPC call được định tuyến từ Gateway đến backend Pod.&lt;/p&gt;
&lt;h2&gt;
  
  
  2.4. Expected Behavior
&lt;/h2&gt;

&lt;p&gt;Trong trạng thái hoạt động bình thường, Order Service xử lý trung bình khoảng 1.200 RPC requests/giây.&lt;/p&gt;

&lt;p&gt;P99 latency duy trì quanh mức 150–180 ms và không có tình trạng timeout đáng kể.&lt;/p&gt;

&lt;p&gt;Khi traffic tăng, chúng ta mong đợi HPA sẽ bổ sung replicas để nâng tổng năng lực xử lý.&lt;/p&gt;

&lt;p&gt;Ví dụ, với 5.000 RPC requests/giây và 10 Pods, nếu traffic được phân phối lý tưởng theo từng request, mỗi Pod sẽ nhận trung bình:&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;5.000 / 10 = 500 RPS&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Tuy nhiên, đây chỉ là mức phân phối lý tưởng dùng để so sánh. Kubernetes không mặc định bảo đảm các Pods sẽ nhận số lượng RPC bằng nhau.&lt;/p&gt;

&lt;p&gt;Liệu hệ thống thực tế có hoạt động đúng với mong đợi này?&lt;/p&gt;


&lt;h1&gt;
  
  
  3. Production Incident — Dấu hiệu và Quá trình xảy ra sự cố
&lt;/h1&gt;

&lt;p&gt;&lt;em&gt;Lưu ý: Các metrics, thời điểm và thông số trong phần này là dữ liệu giả lập nhằm mô phỏng một failure scenario có cơ sở kỹ thuật, không phải số liệu từ một production incident thực tế.&lt;/em&gt;&lt;/p&gt;
&lt;h2&gt;
  
  
  3.1. Incident Overview
&lt;/h2&gt;

&lt;p&gt;Vào khoảng 10:00, hệ thống bắt đầu ghi nhận lượng traffic tăng nhanh do một chiến dịch khuyến mãi.&lt;/p&gt;

&lt;p&gt;Số lượng gRPC calls đến Order Service tăng từ khoảng 1.200 lên 5.000 RPS.&lt;/p&gt;

&lt;p&gt;Ban đầu, HPA hoạt động đúng như thiết kế: phát hiện mức CPU utilization tăng cao và bắt đầu tạo thêm Order Service Pods.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, sau khi Deployment mở rộng lên 10 replicas, các cảnh báo liên quan đến latency và request timeouts vẫn tiếp tục xuất hiện.&lt;/p&gt;

&lt;p&gt;Trong khi đó, Kubernetes Dashboard cho thấy toàn bộ Pods đều đang hoạt động bình thường.&lt;/p&gt;
&lt;h2&gt;
  
  
  3.2. Incident Timeline
&lt;/h2&gt;

&lt;div class="table-wrapper-paragraph"&gt;&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Time&lt;/th&gt;
&lt;th&gt;Event&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;09:55&lt;/td&gt;
&lt;td&gt;Hệ thống ổn định với 3 Order Service Pods&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;10:00&lt;/td&gt;
&lt;td&gt;Traffic bắt đầu tăng mạnh&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;10:02&lt;/td&gt;
&lt;td&gt;P99 latency vượt ngưỡng cảnh báo&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;10:03&lt;/td&gt;
&lt;td&gt;Xuất hiện gRPC &lt;code&gt;DEADLINE_EXCEEDED&lt;/code&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;10:04&lt;/td&gt;
&lt;td&gt;HPA bắt đầu bổ sung replicas&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;10:08&lt;/td&gt;
&lt;td&gt;Deployment đạt 10/10 Ready Pods&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;10:10&lt;/td&gt;
&lt;td&gt;P99 latency vẫn trên 2 giây&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;10:12&lt;/td&gt;
&lt;td&gt;Phát hiện traffic phân phối không đều giữa các Pods&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;
&lt;h2&gt;
  
  
  3.3. Observed Metrics
&lt;/h2&gt;

&lt;p&gt;Tại thời điểm sự cố, các chỉ số được ghi nhận như sau:&lt;/p&gt;

&lt;div class="table-wrapper-paragraph"&gt;&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Metric&lt;/th&gt;
&lt;th&gt;Normal&lt;/th&gt;
&lt;th&gt;Incident&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Incoming RPC Rate&lt;/td&gt;
&lt;td&gt;1.200 RPS&lt;/td&gt;
&lt;td&gt;5.000 RPS&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Order Service Replicas&lt;/td&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;td&gt;10&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Ready Pods&lt;/td&gt;
&lt;td&gt;3/3&lt;/td&gt;
&lt;td&gt;10/10&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;P99 Latency&lt;/td&gt;
&lt;td&gt;160 ms&lt;/td&gt;
&lt;td&gt;2.600 ms&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;RPC Deadline Exceeded Rate&lt;/td&gt;
&lt;td&gt;Gần 0%&lt;/td&gt;
&lt;td&gt;4,1%&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Highest Pod CPU&lt;/td&gt;
&lt;td&gt;55%&lt;/td&gt;
&lt;td&gt;96%&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;

&lt;p&gt;Một điều bất thường xuất hiện khi phân tích metrics theo từng Pod.&lt;/p&gt;

&lt;p&gt;Mặc dù Order Service đã có 10 replicas, phần lớn traffic vẫn tập trung vào những Pods tồn tại trước quá trình scaling.&lt;/p&gt;

&lt;p&gt;Ví dụ về phân phối 5.000 RPC/s tại một thời điểm:&lt;/p&gt;

&lt;div class="table-wrapper-paragraph"&gt;&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Pod Group&lt;/th&gt;
&lt;th&gt;Incoming RPC/s&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Pod A&lt;/td&gt;
&lt;td&gt;3.400&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Pod B&lt;/td&gt;
&lt;td&gt;1.300&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Pod C&lt;/td&gt;
&lt;td&gt;260&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;7 Pods mới (tổng cộng)&lt;/td&gt;
&lt;td&gt;40&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;Total&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;&lt;strong&gt;5.000&lt;/strong&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;

&lt;p&gt;Pod A nhận gần 68% tổng số RPC, trong khi bảy Pods mới cộng lại chỉ nhận khoảng 0,8%.&lt;/p&gt;

&lt;p&gt;Điều này dẫn đến tình trạng một số Pods phải xử lý lượng workload rất lớn, trong khi các Pods còn lại vẫn có nhiều tài nguyên chưa được sử dụng.&lt;/p&gt;
&lt;h2&gt;
  
  
  3.4. Initial Observations
&lt;/h2&gt;

&lt;p&gt;Nhóm vận hành bắt đầu kiểm tra những thành phần thường gây ra lỗi khi một Kubernetes application có latency cao.&lt;/p&gt;

&lt;p&gt;Kết quả kiểm tra ban đầu:&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Deployment Status&lt;/strong&gt;&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;NAME            READY   UP-TO-DATE   AVAILABLE
order-service   10/10   10           10
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Không có Pods bị &lt;code&gt;CrashLoopBackOff&lt;/code&gt;, &lt;code&gt;OOMKilled&lt;/code&gt; hoặc liên tục restart.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Kubernetes Service&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Service vẫn tồn tại và EndpointSlices chứa đầy đủ 10 backend endpoints đủ điều kiện phục vụ traffic.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Cluster Resources&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Các worker Nodes vẫn còn CPU và Memory còn trống. Không ghi nhận tình trạng Node resource exhaustion ở cấp cluster.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Application Logs&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Không phát hiện lỗi ứng dụng phổ biến như database connection failure, unhandled exception hoặc process crash.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, API Gateway tiếp tục ghi nhận các RPC calls kết thúc với trạng thái &lt;code&gt;DEADLINE_EXCEEDED&lt;/code&gt;.&lt;/p&gt;
&lt;h2&gt;
  
  
  3.5. The Unexpected Behavior
&lt;/h2&gt;

&lt;p&gt;Kết quả kiểm tra ban đầu cho thấy một điều bất thường:&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Kubernetes đã mở rộng thành công số lượng Pods, nhưng traffic vẫn không được phân phối tương ứng với tài nguyên mới.&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Một số câu hỏi quan trọng xuất hiện:&lt;/p&gt;

&lt;ol&gt;
&lt;li&gt;Tại sao các Pods mới đã Ready nhưng hầu như không nhận request?&lt;/li&gt;
&lt;li&gt;Tại sao HPA tăng số replicas mà P99 latency vẫn cao?&lt;/li&gt;
&lt;li&gt;Liệu có vấn đề trong Kubernetes Service, EndpointSlice hoặc kube-proxy?&lt;/li&gt;
&lt;li&gt;Có phải một số TCP connections đang tiếp tục sử dụng những backend Pods cũ?&lt;/li&gt;
&lt;li&gt;Cơ chế HTTP/2 multiplexing của gRPC có liên quan đến hiện tượng này không?&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;Tại thời điểm này, chưa có đủ bằng chứng để kết luận root cause.&lt;/p&gt;

&lt;p&gt;Để tìm ra nguyên nhân thực sự, chúng ta cần tiếp tục kiểm tra từ application metrics xuống network layer, đặc biệt là cách các gRPC channels, HTTP/2 connections và Kubernetes Service tương tác với nhau.&lt;/p&gt;
&lt;h2&gt;
  
  
  4. Investigation &amp;amp; Troubleshooting — Quá trình điều tra sự cố
&lt;/h2&gt;

&lt;p&gt;Sau khi HPA mở rộng Order Service từ 3 lên 10 Pods, hệ thống vẫn ghi nhận P99 latency cao và nhiều gRPC calls bị timeout.&lt;/p&gt;

&lt;p&gt;Điều đáng chú ý là các thành phần Kubernetes đều có vẻ hoạt động bình thường. Không có Pod nào bị crash, tài nguyên cluster vẫn còn trống và Deployment đã đạt trạng thái mong muốn.&lt;/p&gt;

&lt;p&gt;Vì vậy, thay vì tiếp tục tăng số lượng replicas, chúng ta cần kiểm tra từng thành phần để xác định chính xác traffic đang bị ảnh hưởng ở đâu.&lt;/p&gt;
&lt;h3&gt;
  
  
  4.1. Kiểm tra HPA và trạng thái Deployment
&lt;/h3&gt;

&lt;p&gt;Giả thuyết đầu tiên là HPA không scale đúng thời điểm hoặc các Pods mới chưa sẵn sàng xử lý request.&lt;/p&gt;

&lt;p&gt;Kiểm tra Deployment và HPA:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;kubectl get deployment order-service

kubectl get pods -l &lt;span class="nv"&gt;app&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;order-service -o wide

kubectl describe hpa order-service
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Kết quả mô phỏng:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;NAME            READY   UP-TO-DATE   AVAILABLE
order-service   10/10   10           10

NAME            REFERENCE                  TARGETS   MINPODS   MAXPODS   REPLICAS
order-service   Deployment/order-service   43%/60%   3         10        10
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;HPA đã tăng số lượng replicas thành công. CPU utilization trung bình tại thời điểm kiểm tra cũng đã giảm xuống dưới target 60%.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, latency vẫn cao và một số Pods vẫn gần như không nhận request.&lt;/p&gt;

&lt;p&gt;Điều này cho thấy &lt;strong&gt;việc tăng số lượng Pods đã hoàn thành, nhưng không đồng nghĩa workload được phân phối hiệu quả đến các Pods mới&lt;/strong&gt;.&lt;/p&gt;
&lt;h3&gt;
  
  
  4.2. Kiểm tra Service và EndpointSlice
&lt;/h3&gt;

&lt;p&gt;Giả thuyết tiếp theo là Kubernetes Service chưa cập nhật đầy đủ danh sách backend endpoints sau khi scaling.&lt;/p&gt;

&lt;p&gt;Kiểm tra Service:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;kubectl get svc order-service -o yaml
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Sau đó kiểm tra EndpointSlices:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;kubectl get endpointslices \
  -l kubernetes.io/service-name=order-service \
  -o yaml
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Trong kịch bản mô phỏng, kết quả cho thấy cả 10 Pod IP đều xuất hiện trong các EndpointSlices, với trạng thái &lt;code&gt;ready: true&lt;/code&gt;.&lt;/p&gt;

&lt;p&gt;Điều đó có nghĩa Kubernetes control plane đã nhận diện những Pods mới là các backend đủ điều kiện nhận traffic.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, EndpointSlice chỉ phản ánh danh sách backend và trạng thái của chúng. Nó không cho biết lượng traffic thực tế đang được chuyển đến mỗi endpoint, cũng không chứng minh toàn bộ network dataplane hoạt động chính xác.&lt;/p&gt;

&lt;p&gt;Chúng ta cần tiếp tục kiểm tra ở application layer.&lt;/p&gt;
&lt;h3&gt;
  
  
  4.3. Phân tích Resource Utilization và Request Distribution
&lt;/h3&gt;

&lt;p&gt;Từ các chỉ số ban đầu, chúng ta biết rằng Pod A đang nhận khoảng 3.400 RPS, trong khi bảy Pods mới cộng lại chỉ nhận khoảng 40 RPS.&lt;/p&gt;

&lt;p&gt;Để kiểm tra mức độ chênh lệch, có thể sử dụng:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;kubectl top pods -l &lt;span class="nv"&gt;app&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;order-service
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Kết hợp với Prometheus và Grafana, chúng ta cần theo dõi ít nhất ba nhóm metrics:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;
&lt;strong&gt;RPC Rate per Pod:&lt;/strong&gt; Số RPC thực sự được xử lý bởi từng Pod.&lt;/li&gt;
&lt;li&gt;
&lt;strong&gt;CPU Utilization per Pod:&lt;/strong&gt; Mức sử dụng CPU tương ứng với workload.&lt;/li&gt;
&lt;li&gt;
&lt;strong&gt;RPC Latency &amp;amp; Error Rate:&lt;/strong&gt; Phân phối thời gian phản hồi và tỷ lệ &lt;code&gt;DEADLINE_EXCEEDED&lt;/code&gt;.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Một ví dụ PromQL, với điều kiện ứng dụng đã instrument metric &lt;code&gt;grpc_server_started_total&lt;/code&gt; và có label &lt;code&gt;pod&lt;/code&gt;:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;sum by (pod) (
  rate(grpc_server_started_total{
    job="order-service"
  }[2m])
)
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Kết quả quan sát cho thấy những Pods có tỷ lệ RPC cao cũng có CPU utilization và latency cao hơn đáng kể.&lt;/p&gt;

&lt;p&gt;Trong khi đó, các Pods mới vẫn có mức sử dụng tài nguyên rất thấp.&lt;/p&gt;

&lt;p&gt;Điều này giúp thu hẹp phạm vi điều tra: vấn đề không chỉ nằm ở tổng tài nguyên cluster mà còn liên quan đến &lt;strong&gt;sự phân phối workload giữa các backend Pods&lt;/strong&gt;.&lt;/p&gt;
&lt;h3&gt;
  
  
  4.4. Loại trừ các nguyên nhân từ Application và Database
&lt;/h3&gt;

&lt;p&gt;Một khả năng khác là Order Service đang gặp bottleneck ở database hoặc một dependency bên ngoài.&lt;/p&gt;

&lt;p&gt;Các vấn đề như slow queries, connection pool exhaustion hoặc lock contention đều có thể khiến latency tăng dù Kubernetes vẫn hoạt động bình thường.&lt;/p&gt;

&lt;p&gt;Vì vậy, chúng ta tiếp tục kiểm tra:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;Database query latency và số lượng active connections.&lt;/li&gt;
&lt;li&gt;Application errors và thời gian xử lý RPC.&lt;/li&gt;
&lt;li&gt;CPU throttling và memory pressure.&lt;/li&gt;
&lt;li&gt;Số lượng requests đang xử lý đồng thời trên từng Pod.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Trong kịch bản này, không phát hiện database bottleneck hoặc lỗi ứng dụng chung có thể giải thích sự chênh lệch traffic giữa các Pods.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, điều đáng chú ý là các requests chậm chủ yếu xuất hiện trên những Pods đang nhận lượng traffic lớn.&lt;/p&gt;

&lt;p&gt;Điều này đặt ra một giả thuyết mới: &lt;strong&gt;có thể vấn đề không xuất phát từ khả năng mở rộng của Kubernetes, mà từ cách các request được định tuyến đến backend Pods.&lt;/strong&gt;&lt;/p&gt;
&lt;h3&gt;
  
  
  4.5. Kiểm tra gRPC Connections
&lt;/h3&gt;

&lt;p&gt;Chúng ta quay lại kiến trúc ban đầu.&lt;/p&gt;

&lt;p&gt;API Gateway giao tiếp với Order Service thông qua gRPC trên HTTP/2 và sử dụng long-lived connections để tránh phải thiết lập kết nối mới cho mỗi RPC.&lt;/p&gt;

&lt;p&gt;Ở bước này, cần kiểm tra số lượng TCP connections thực tế từ Gateway đến Order Service.&lt;/p&gt;

&lt;p&gt;Trong network namespace của Gateway Pod, có thể sử dụng công cụ như:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight shell"&gt;&lt;code&gt;ss -tn &lt;span class="o"&gt;|&lt;/span&gt; grep &lt;span class="s1"&gt;':50051'&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Lệnh này giúp quan sát các TCP connections đang tồn tại tới port 50051. Nếu container không có công cụ &lt;code&gt;ss&lt;/code&gt;, có thể sử dụng một debugging container phù hợp.&lt;/p&gt;

&lt;p&gt;Một điểm cần lưu ý: khi kết nối qua ClusterIP, thông tin destination mà ứng dụng nhìn thấy có thể chỉ là Service IP. Vì vậy, để xác định chính xác backend Pod được lựa chọn, cần đối chiếu thêm thông tin connection ở phía server hoặc NAT/conntrack trên Node.&lt;/p&gt;

&lt;p&gt;Ở bước này, giả sử chúng ta ghi nhận:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;Gateway duy trì một số ít TCP connections có thời gian tồn tại dài.&lt;/li&gt;
&lt;li&gt;Lượng RPC trên mỗi connection không đồng đều.&lt;/li&gt;
&lt;li&gt;Phần lớn RPC được xử lý bởi một vài Pods đã tồn tại trước khi scaling.&lt;/li&gt;
&lt;li&gt;Những Pods mới chỉ nhận traffic từ một số kết nối mới được thiết lập sau đó.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Các quan sát trên làm xuất hiện một hướng điều tra đáng chú ý:&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Liệu Kubernetes Service đang phân phối TCP connections, trong khi gRPC lại truyền hàng nghìn RPC calls trên chính những connections đó?&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Nếu đúng, việc bổ sung Pods có thể không tác động đến các connections đang tồn tại.&lt;/p&gt;

&lt;p&gt;Để hiểu rõ giả thuyết này, chúng ta cần phân tích cách gRPC, HTTP/2 và Kubernetes Service xử lý traffic ở những network layers khác nhau.&lt;/p&gt;


&lt;h2&gt;
  
  
  5. Technical Deep Dive — Understanding the Hidden Load Balancing Behavior
&lt;/h2&gt;

&lt;p&gt;Qua quá trình troubleshooting, chúng ta đã xác định được một điểm bất thường: Kubernetes đã scale Order Service từ 3 lên 10 Pods, tất cả endpoints đều ở trạng thái Ready, nhưng phần lớn traffic vẫn tập trung vào những Pods cũ.&lt;/p&gt;

&lt;p&gt;Nếu tài nguyên đã được bổ sung và Service cũng nhận diện đầy đủ các backend, tại sao những Pods mới gần như không được sử dụng?&lt;/p&gt;

&lt;p&gt;Để hiểu điều này, chúng ta cần nhìn lại cách một gRPC call di chuyển từ API Gateway đến Order Service, đặc biệt là mối quan hệ giữa HTTP/2 connections và cơ chế Load Balancing của Kubernetes.&lt;/p&gt;
&lt;h3&gt;
  
  
  5.1. gRPC và HTTP/2: Khi nhiều Requests chia sẻ một Connection
&lt;/h3&gt;

&lt;p&gt;Trong kiến trúc đang xét, API Gateway giao tiếp với Order Service thông qua gRPC trên HTTP/2.&lt;/p&gt;

&lt;p&gt;Một đặc điểm quan trọng của HTTP/2 là &lt;strong&gt;multiplexing&lt;/strong&gt;, cho phép nhiều requests được truyền đồng thời qua những streams riêng biệt trên cùng một TCP connection.&lt;/p&gt;

&lt;p&gt;Thay vì thiết lập connection mới cho mỗi RPC, gRPC client thường tái sử dụng các channels và những transport connections bên dưới nhằm giảm chi phí thiết lập kết nối, đồng thời cải thiện hiệu năng giao tiếp giữa các services.&lt;/p&gt;

&lt;p&gt;Ví dụ, ba lời gọi RPC độc lập có thể cùng sử dụng một TCP connection:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;                   API Gateway
                        |
                   gRPC Channel
                        |
                  TCP Connection
                        |
             +----------+----------+
             |          |          |
          HTTP/2     HTTP/2     HTTP/2
          Stream 1   Stream 2   Stream 3
             |          |          |
           RPC A      RPC B      RPC C
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Mặc dù RPC A, B và C là những lời gọi độc lập ở application layer, chúng vẫn chia sẻ cùng một kết nối TCP ở transport layer.&lt;/p&gt;

&lt;p&gt;Một gRPC channel có thể quản lý một hoặc nhiều HTTP/2 connections tùy implementation và cấu hình. Tuy nhiên, trong kịch bản này, API Gateway duy trì một số ít long-lived connections đến Order Service.&lt;/p&gt;

&lt;p&gt;Điều đó có nghĩa hàng nghìn RPC mỗi giây có thể được truyền qua một số lượng TCP connections tương đối nhỏ.&lt;/p&gt;

&lt;p&gt;Về mặt hiệu năng, connection reuse là một cơ chế hữu ích. Nhưng vấn đề bắt đầu xuất hiện khi những connections này được chuyển tiếp qua Kubernetes Service ở Layer 4.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Nếu Kubernetes lựa chọn backend dựa trên TCP connection, liệu hàng nghìn RPC nằm bên trong cùng connection có được phân phối đến những Pods khác nhau?&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Để trả lời, chúng ta cần xem Kubernetes Service thực sự xử lý traffic như thế nào.&lt;/p&gt;
&lt;h3&gt;
  
  
  5.2. Kubernetes Service: Backend được lựa chọn ở đâu?
&lt;/h3&gt;

&lt;p&gt;Trong hệ thống này, API Gateway truy cập Order Service thông qua một Kubernetes Service loại &lt;code&gt;ClusterIP&lt;/code&gt;.&lt;/p&gt;

&lt;p&gt;Service cung cấp một địa chỉ IP ổn định, trong khi các backend Pods có những địa chỉ IP riêng.&lt;/p&gt;

&lt;p&gt;Ví dụ:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;Kubernetes Service:
10.96.0.50:50051

Backend Pods:
Pod A: 10.244.1.10:50051
Pod B: 10.244.2.20:50051
Pod C: 10.244.3.30:50051
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Khi API Gateway thiết lập một TCP connection đến &lt;code&gt;10.96.0.50:50051&lt;/code&gt;, traffic được xử lý bởi networking dataplane của Kubernetes.&lt;/p&gt;

&lt;p&gt;Với kube-proxy ở chế độ &lt;code&gt;iptables&lt;/code&gt; như trong kịch bản này, kube-proxy cấu hình các quy tắc Netfilter để lựa chọn backend và chuyển đổi địa chỉ đích thông qua &lt;strong&gt;Destination Network Address Translation (DNAT)&lt;/strong&gt;.&lt;/p&gt;

&lt;p&gt;Giả sử connection đầu tiên được lựa chọn chuyển đến Pod A:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;                  API Gateway
                       |
                 TCP Connection
                       |
                       v
               10.96.0.50:50051
                 (ClusterIP)
                       |
                 Backend Selection
                       |
                      DNAT
                       |
                       v
              10.244.1.10:50051
                    (Pod A)
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Ở chế độ iptables thông thường, nếu không có chính sách đặc biệt như session affinity, backend có thể được lựa chọn ngẫu nhiên trong số những endpoints đủ điều kiện.&lt;/p&gt;

&lt;p&gt;Sau khi connection được thiết lập, Linux &lt;strong&gt;conntrack&lt;/strong&gt; duy trì thông tin NAT mapping để những packets tiếp theo thuộc cùng connection tiếp tục được chuyển đến backend đã chọn.&lt;/p&gt;

&lt;p&gt;Vấn đề nằm ở đây: Kubernetes Service không phân tích nội dung HTTP/2 để lựa chọn lại backend cho từng gRPC call.&lt;/p&gt;

&lt;p&gt;Một khi TCP connection đã được ánh xạ đến Pod A, các HTTP/2 streams truyền trên connection đó cũng tiếp tục đi đến Pod A.&lt;/p&gt;

&lt;p&gt;Chúng ta có thể phân biệt hai cơ chế:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;
&lt;strong&gt;Connection-level Load Balancing (Layer 4):&lt;/strong&gt; Backend được lựa chọn dựa trên network connection hoặc flow.&lt;/li&gt;
&lt;li&gt;
&lt;strong&gt;Request-level Load Balancing (Layer 7):&lt;/strong&gt; Một proxy có khả năng hiểu giao thức ứng dụng có thể lựa chọn backend cho từng HTTP request hoặc RPC mới.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Trong trường hợp này, Kubernetes ClusterIP Service đang thực hiện connection-level Load Balancing.&lt;/p&gt;

&lt;p&gt;Vì vậy, &lt;strong&gt;việc phân phối TCP connections không đồng nghĩa với phân phối đều gRPC calls&lt;/strong&gt;.&lt;/p&gt;

&lt;p&gt;Đây chính là điểm liên kết giữa hành vi HTTP/2 multiplexing ở phía ứng dụng và sự mất cân bằng traffic mà chúng ta quan sát được.&lt;/p&gt;
&lt;h3&gt;
  
  
  5.3. Tại sao Scaling không phân phối lại Workload?
&lt;/h3&gt;

&lt;p&gt;Quay lại sự cố ban đầu.&lt;/p&gt;

&lt;p&gt;Trước khi scaling, Order Service có 3 Pods. API Gateway đã thiết lập một số long-lived TCP connections đến Service và những connections đó được ánh xạ tới các backend hiện có.&lt;/p&gt;

&lt;p&gt;Ví dụ:&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;Before Scaling

API Gateway
     |
     +---- Connection 1 ----&amp;gt; Pod A
     |
     +---- Connection 2 ----&amp;gt; Pod A
     |
     +---- Connection 3 ----&amp;gt; Pod B
     |
     +---- Connection 4 ----&amp;gt; Pod C
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Khi traffic tăng, HPA bắt đầu mở rộng Deployment từ 3 lên 10 Pods.&lt;/p&gt;

&lt;p&gt;Các Pods mới lần lượt được khởi tạo, vượt qua readiness checks và được bổ sung vào EndpointSlices. Lúc này, Kubernetes đã nhận diện thêm 7 backend đủ điều kiện nhận traffic.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, &lt;strong&gt;việc cập nhật danh sách endpoints không làm thay đổi NAT mappings của những TCP connections đang hoạt động&lt;/strong&gt;.&lt;/p&gt;

&lt;p&gt;Nếu API Gateway tiếp tục tái sử dụng các connections cũ, phần lớn RPC vẫn được chuyển đến những backend đã được lựa chọn trước khi scaling.&lt;br&gt;
&lt;/p&gt;
&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;After Scaling

API Gateway
     |
     +---- Connection 1 ----&amp;gt; Pod A
     |
     +---- Connection 2 ----&amp;gt; Pod A
     |
     +---- Connection 3 ----&amp;gt; Pod B
     |
     +---- Connection 4 ----&amp;gt; Pod C


New Available Backends:

Pod D     Pod E     Pod F
Pod G     Pod H     Pod I
          Pod J

Ready, but not used by existing connections
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;


&lt;p&gt;Những Pods mới có thể được lựa chọn khi các TCP connections mới được thiết lập. Tuy nhiên, nếu số lượng connections mới không đáng kể so với traffic đang chạy trên các connections cũ, sự mất cân bằng có thể tiếp tục tồn tại.&lt;/p&gt;

&lt;p&gt;Để hiểu rõ hơn, chúng ta cần phân biệt &lt;strong&gt;số lượng connections&lt;/strong&gt; và &lt;strong&gt;lượng RPC được truyền trên mỗi connection&lt;/strong&gt;.&lt;/p&gt;

&lt;p&gt;Giả sử mỗi connection có một RPC rate riêng. Tổng RPC rate của Pod &lt;code&gt;i&lt;/code&gt; có thể biểu diễn bằng:&lt;/p&gt;

&lt;p&gt;

&lt;/p&gt;
&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;RP&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;S&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;i&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mop op-limits"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;c&lt;/span&gt;&lt;span class="mrel mtight"&gt;∈&lt;/span&gt;&lt;span class="mord mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;C&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size3 size1 mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;i&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="mop op-symbol large-op"&gt;∑&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;λ&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;c&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;



&lt;p&gt;Trong đó:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;
&lt;strong&gt;RPS_i:&lt;/strong&gt; Tổng số RPC/giây đến Pod &lt;code&gt;i&lt;/code&gt;.&lt;/li&gt;
&lt;li&gt;
&lt;strong&gt;C_i:&lt;/strong&gt; Tập hợp TCP connections được ánh xạ đến Pod &lt;code&gt;i&lt;/code&gt;.&lt;/li&gt;
&lt;li&gt;
&lt;strong&gt;λ_c:&lt;/strong&gt; Số RPC/giây được truyền trên connection &lt;code&gt;c&lt;/code&gt;.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Công thức này cho thấy lượng traffic mà một Pod nhận được phụ thuộc vào cả số connections và lượng RPC trên từng connection.&lt;/p&gt;

&lt;h4&gt;
  
  
  Example: RPC Distribution after Scaling
&lt;/h4&gt;

&lt;p&gt;Giả sử sau khi Deployment scale từ 3 lên 10 Pods, API Gateway đang duy trì 5 TCP connections với lượng RPC trên mỗi connection như sau:&lt;/p&gt;

&lt;div class="table-wrapper-paragraph"&gt;&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;TCP Connection&lt;/th&gt;
&lt;th&gt;Backend&lt;/th&gt;
&lt;th&gt;RPC/s&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Connection 1&lt;/td&gt;
&lt;td&gt;Pod A&lt;/td&gt;
&lt;td&gt;1.800&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Connection 2&lt;/td&gt;
&lt;td&gt;Pod A&lt;/td&gt;
&lt;td&gt;1.600&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Connection 3&lt;/td&gt;
&lt;td&gt;Pod B&lt;/td&gt;
&lt;td&gt;1.300&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Connection 4&lt;/td&gt;
&lt;td&gt;Pod C&lt;/td&gt;
&lt;td&gt;260&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Connection 5 (mới)&lt;/td&gt;
&lt;td&gt;Pod D&lt;/td&gt;
&lt;td&gt;40&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;Total&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;&lt;/td&gt;
&lt;td&gt;&lt;strong&gt;5.000&lt;/strong&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;

&lt;p&gt;Tổng RPC rate của Pod i được tính bằng:&lt;/p&gt;


&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;RP&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;S&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;i&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mop op-limits"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;c&lt;/span&gt;&lt;span class="mrel mtight"&gt;∈&lt;/span&gt;&lt;span class="mord mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;C&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size3 size1 mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;i&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="mop op-symbol large-op"&gt;∑&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;λ&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;c&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;


&lt;p&gt;Áp dụng công thức cho Pod A:&lt;/p&gt;


&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;RP&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;S&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;A&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;λ&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mtight"&gt;1&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mbin"&gt;+&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;λ&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mtight"&gt;2&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;



&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;RP&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;S&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;A&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;1800&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mbin"&gt;+&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;1600&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;3400&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;


&lt;p&gt;Trong khi đó, nếu 5.000 RPC/giây được phân phối đồng đều giữa 10 Pods, lượng traffic lý tưởng trên mỗi Pod sẽ là:&lt;/p&gt;


&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;RP&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;S&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;d&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;e&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;l&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mopen nulldelimiter"&gt;&lt;/span&gt;&lt;span class="mfrac"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord"&gt;10&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="frac-line"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord"&gt;5000&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose nulldelimiter"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;500&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;


&lt;p&gt;Mức độ chênh lệch giữa traffic thực tế của Pod A và mức phân phối lý tưởng:&lt;/p&gt;


&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mopen nulldelimiter"&gt;&lt;/span&gt;&lt;span class="mfrac"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;RP&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;S&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;d&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;e&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;l&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="frac-line"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;RP&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;S&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;A&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose nulldelimiter"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mopen nulldelimiter"&gt;&lt;/span&gt;&lt;span class="mfrac"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord"&gt;500&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="frac-line"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord"&gt;3400&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose nulldelimiter"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;6.8&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;


&lt;p&gt;Như vậy, mặc dù Deployment đã có 10 Pods, Pod A vẫn nhận lượng RPC cao gấp &lt;strong&gt;6,8 lần mức phân phối lý tưởng&lt;/strong&gt;, trong khi 7 Pods mới cộng lại chỉ nhận 0,8% tổng traffic.&lt;/p&gt;

&lt;p&gt;Điều này có thể xảy ra vì hai TCP connections đang được ánh xạ đến Pod A mang phần lớn RPC traffic của hệ thống.&lt;/p&gt;

&lt;p&gt;Các con số này phù hợp với giả thuyết rằng phần lớn RPC vẫn đang sử dụng những long-lived connections được thiết lập trước khi scaling.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Equal Connections ≠ Equal Requests ≠ Equal Workload.&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Điều quan trọng là Kubernetes không cố tình ưu tiên những Pods cũ. Các connections hiện tại đơn giản là vẫn sử dụng backend đã được lựa chọn từ trước.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Kubernetes đã tạo thêm Pods, nhưng các connections cũ vẫn tiếp tục gửi RPC đến những backend ban đầu.&lt;/strong&gt;&lt;/p&gt;

&lt;h3&gt;
  
  
  5.4. HPA đã Scale thành công, vậy tại sao vấn đề vẫn tồn tại?
&lt;/h3&gt;

&lt;p&gt;Đến đây, chúng ta đã hiểu tại sao traffic có thể tiếp tục tập trung vào một số backend. Nhưng điều gì khiến HPA không thể tự giải quyết tình trạng này?&lt;/p&gt;

&lt;p&gt;Horizontal Pod Autoscaler chịu trách nhiệm điều chỉnh số lượng replicas dựa trên những metrics được cấu hình, chẳng hạn CPU utilization.&lt;/p&gt;

&lt;p&gt;Với CPU utilization target, công thức cơ bản của HPA là:&lt;/p&gt;


&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;Des&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;re&lt;/span&gt;&lt;span class="mord mathnormal"&gt;d&lt;/span&gt;&lt;span class="mord mathnormal"&gt;R&lt;/span&gt;&lt;span class="mord mathnormal"&gt;e&lt;/span&gt;&lt;span class="mord mathnormal"&gt;pl&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;c&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;s&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="minner"&gt;&lt;span class="mopen delimcenter"&gt;&lt;span class="delimsizing size3"&gt;⌈&lt;/span&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;C&lt;/span&gt;&lt;span class="mord mathnormal"&gt;u&lt;/span&gt;&lt;span class="mord mathnormal"&gt;rre&lt;/span&gt;&lt;span class="mord mathnormal"&gt;n&lt;/span&gt;&lt;span class="mord mathnormal"&gt;tR&lt;/span&gt;&lt;span class="mord mathnormal"&gt;e&lt;/span&gt;&lt;span class="mord mathnormal"&gt;pl&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;c&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;s&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mbin"&gt;×&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mopen nulldelimiter"&gt;&lt;/span&gt;&lt;span class="mfrac"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;T&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;r&lt;/span&gt;&lt;span class="mord mathnormal"&gt;g&lt;/span&gt;&lt;span class="mord mathnormal"&gt;e&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;U&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;l&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;z&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;o&lt;/span&gt;&lt;span class="mord mathnormal"&gt;n&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="frac-line"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;C&lt;/span&gt;&lt;span class="mord mathnormal"&gt;u&lt;/span&gt;&lt;span class="mord mathnormal"&gt;rre&lt;/span&gt;&lt;span class="mord mathnormal"&gt;n&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;U&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;l&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;z&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;o&lt;/span&gt;&lt;span class="mord mathnormal"&gt;n&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose nulldelimiter"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose delimcenter"&gt;&lt;span class="delimsizing size3"&gt;⌉&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;


&lt;p&gt;Nói một cách đơn giản, HPA so sánh mức sử dụng tài nguyên hiện tại với mục tiêu, từ đó tính toán số replicas mong muốn.&lt;/p&gt;

&lt;h4&gt;
  
  
  Example: HPA Scaling Calculation
&lt;/h4&gt;

&lt;p&gt;Quay lại thời điểm trước khi Order Service được scale từ 3 lên 10 Pods.&lt;/p&gt;

&lt;p&gt;Giả sử tại thời điểm traffic tăng cao, hệ thống có các thông số sau:&lt;/p&gt;

&lt;div class="table-wrapper-paragraph"&gt;&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Parameter&lt;/th&gt;
&lt;th&gt;Value&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Current Replicas&lt;/td&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;CPU Request per Pod&lt;/td&gt;
&lt;td&gt;200m&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Average CPU Usage per Pod&lt;/td&gt;
&lt;td&gt;400m&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Target CPU Utilization&lt;/td&gt;
&lt;td&gt;60%&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Minimum Replicas&lt;/td&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Maximum Replicas&lt;/td&gt;
&lt;td&gt;10&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;

&lt;p&gt;Đầu tiên, HPA xác định CPU utilization hiện tại dựa trên tỷ lệ giữa CPU usage và CPU request:&lt;/p&gt;


&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;CP&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;U&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;u&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;l&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;z&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;o&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;n&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mopen nulldelimiter"&gt;&lt;/span&gt;&lt;span class="mfrac"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord"&gt;200&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="frac-line"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord"&gt;400&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose nulldelimiter"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mbin"&gt;×&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;100&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;200%&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;


&lt;p&gt;Lưu ý rằng CPU utilization đạt 200% không có nghĩa Pod sử dụng 200% CPU vật lý. Đây là mức sử dụng CPU tương đối so với CPU request đã được cấu hình.&lt;/p&gt;

&lt;p&gt;Sau đó, HPA sử dụng công thức cơ bản để tính số replicas mong muốn:&lt;/p&gt;


&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;Des&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;re&lt;/span&gt;&lt;span class="mord mathnormal"&gt;d&lt;/span&gt;&lt;span class="mord mathnormal"&gt;R&lt;/span&gt;&lt;span class="mord mathnormal"&gt;e&lt;/span&gt;&lt;span class="mord mathnormal"&gt;pl&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;c&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;s&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="minner"&gt;&lt;span class="mopen delimcenter"&gt;&lt;span class="delimsizing size3"&gt;⌈&lt;/span&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;C&lt;/span&gt;&lt;span class="mord mathnormal"&gt;u&lt;/span&gt;&lt;span class="mord mathnormal"&gt;rre&lt;/span&gt;&lt;span class="mord mathnormal"&gt;n&lt;/span&gt;&lt;span class="mord mathnormal"&gt;tR&lt;/span&gt;&lt;span class="mord mathnormal"&gt;e&lt;/span&gt;&lt;span class="mord mathnormal"&gt;pl&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;c&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;s&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mbin"&gt;×&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mopen nulldelimiter"&gt;&lt;/span&gt;&lt;span class="mfrac"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;T&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;r&lt;/span&gt;&lt;span class="mord mathnormal"&gt;g&lt;/span&gt;&lt;span class="mord mathnormal"&gt;e&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;U&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;l&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;z&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;o&lt;/span&gt;&lt;span class="mord mathnormal"&gt;n&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="frac-line"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;C&lt;/span&gt;&lt;span class="mord mathnormal"&gt;u&lt;/span&gt;&lt;span class="mord mathnormal"&gt;rre&lt;/span&gt;&lt;span class="mord mathnormal"&gt;n&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;U&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;l&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;z&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;t&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;o&lt;/span&gt;&lt;span class="mord mathnormal"&gt;n&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose nulldelimiter"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose delimcenter"&gt;&lt;span class="delimsizing size3"&gt;⌉&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;


&lt;p&gt;Thay các giá trị vào công thức:&lt;/p&gt;


&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;Des&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;re&lt;/span&gt;&lt;span class="mord mathnormal"&gt;d&lt;/span&gt;&lt;span class="mord mathnormal"&gt;R&lt;/span&gt;&lt;span class="mord mathnormal"&gt;e&lt;/span&gt;&lt;span class="mord mathnormal"&gt;pl&lt;/span&gt;&lt;span class="mord mathnormal"&gt;i&lt;/span&gt;&lt;span class="mord mathnormal"&gt;c&lt;/span&gt;&lt;span class="mord mathnormal"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal"&gt;s&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="minner"&gt;&lt;span class="mopen delimcenter"&gt;&lt;span class="delimsizing size3"&gt;⌈&lt;/span&gt;&lt;/span&gt;&lt;span class="mord"&gt;3&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mbin"&gt;×&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mopen nulldelimiter"&gt;&lt;/span&gt;&lt;span class="mfrac"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord"&gt;60&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="frac-line"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord"&gt;200&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose nulldelimiter"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose delimcenter"&gt;&lt;span class="delimsizing size3"&gt;⌉&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;10&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;


&lt;p&gt;Như vậy, theo công thức đơn giản hóa, HPA cần mở rộng Deployment từ 3 lên 10 Pods.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, sau khi scaling hoàn thành, giả sử mức CPU utilization của các Pods được phân bố như sau:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;2 Pods đang chịu tải cao: 95%.&lt;/li&gt;
&lt;li&gt;8 Pods còn lại: 5%.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Với giả định tất cả Pods có cùng CPU requests, CPU utilization trung bình sẽ là:&lt;/p&gt;


&lt;div class="katex-element"&gt;
  &lt;span class="katex-display"&gt;&lt;span class="katex"&gt;&lt;span class="katex-mathml"&gt;&lt;/span&gt;&lt;span class="katex-html"&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord mathnormal"&gt;CP&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord mathnormal"&gt;U&lt;/span&gt;&lt;span class="msupsub"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="sizing reset-size6 size3 mtight"&gt;&lt;span class="mord mtight"&gt;&lt;span class="mord mathnormal mtight"&gt;a&lt;/span&gt;&lt;span class="mord mathnormal mtight"&gt;vg&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mopen nulldelimiter"&gt;&lt;/span&gt;&lt;span class="mfrac"&gt;&lt;span class="vlist-t vlist-t2"&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord"&gt;10&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="frac-line"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span&gt;&lt;span class="pstrut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;&lt;span class="mord"&gt;2&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mbin"&gt;×&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mord"&gt;95&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mbin"&gt;+&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mord"&gt;8&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mbin"&gt;×&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mord"&gt;5&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-s"&gt;​&lt;/span&gt;&lt;/span&gt;&lt;span class="vlist-r"&gt;&lt;span class="vlist"&gt;&lt;span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mclose nulldelimiter"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;span class="mrel"&gt;=&lt;/span&gt;&lt;span class="mspace"&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="base"&gt;&lt;span class="strut"&gt;&lt;/span&gt;&lt;span class="mord"&gt;23%&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;
&lt;/div&gt;


&lt;p&gt;Mặc dù vẫn tồn tại những Pods có CPU utilization cao hơn target, CPU utilization trung bình của Deployment đã giảm xuống dưới ngưỡng 60%, cho thấy việc quan sát metrics trung bình có thể che giấu sự chênh lệch lớn giữa các backend.&lt;/p&gt;

&lt;p&gt;Điều này có thể khiến HPA không tiếp tục scale out, hoặc thậm chí đề xuất scale down sau khoảng thời gian ổn định, tùy cấu hình scaling policies.&lt;/p&gt;

&lt;p&gt;HPA đang hoạt động đúng theo metrics được cung cấp. Tuy nhiên, nó không trực tiếp kiểm soát cách các TCP connections và RPC calls được phân phối giữa các backend.&lt;/p&gt;

&lt;p&gt;Các giá trị CPU trên là số liệu minh họa tại hai thời điểm khác nhau. Trong thực tế, HPA còn áp dụng tolerance, stabilization windows và các quy tắc xử lý metrics khác.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;HPA increases capacity, but it does not redistribute existing connections.&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Trong khi HPA nhìn thấy thêm nhiều replicas và mức sử dụng tài nguyên trung bình giảm, những Pods đang xử lý phần lớn RPC vẫn có thể tiến gần giới hạn năng lực xử lý.&lt;/p&gt;

&lt;p&gt;Kết quả là hệ thống đã có thêm tài nguyên nhưng workload chưa thực sự được phân phối tới phần tài nguyên đó.&lt;/p&gt;

&lt;h3&gt;
  
  
  5.5. Từ Workload Imbalance đến gRPC Timeouts
&lt;/h3&gt;

&lt;p&gt;Sự mất cân bằng traffic không nhất thiết luôn gây timeout. Vấn đề xuất hiện khi workload tập trung vào một số Pods khiến chúng không còn khả năng đáp ứng requests trong thời gian mong muốn.&lt;/p&gt;

&lt;p&gt;Quay lại Pod A, backend đang nhận 3.400 RPC/giây.&lt;/p&gt;

&lt;p&gt;Khi lượng RPC đến tiến gần hoặc vượt khả năng xử lý hiệu quả của Pod, các requests có thể phải chờ lâu hơn để được xử lý. Thời gian chờ tăng khiến response time tăng, đặc biệt ở những request nằm cuối phân phối latency.&lt;/p&gt;

&lt;p&gt;Ngoài giới hạn xử lý của backend, HTTP/2 còn có một yếu tố khác cần lưu ý: mỗi connection thường có giới hạn số lượng &lt;strong&gt;concurrent streams&lt;/strong&gt;.&lt;/p&gt;

&lt;p&gt;Khi số lượng active streams đạt giới hạn, một số RPC mới có thể phải chờ ở phía gRPC client trước khi được gửi đi, tùy implementation và cách quản lý connections.&lt;/p&gt;

&lt;p&gt;Như vậy, latency có thể tăng ở cả hai phía:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;
&lt;strong&gt;Client-side:&lt;/strong&gt; RPC phải chờ do giới hạn concurrent streams hoặc connection-level queueing.&lt;/li&gt;
&lt;li&gt;
&lt;strong&gt;Server-side:&lt;/strong&gt; RPC đến một backend đang chịu tải cao và phải chờ tài nguyên xử lý.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Trong gRPC, client có thể cấu hình deadline cho mỗi RPC. Nếu request không hoàn thành trong khoảng thời gian đó, client có thể nhận trạng thái &lt;code&gt;DEADLINE_EXCEEDED&lt;/code&gt;.&lt;/p&gt;

&lt;p&gt;Điều đáng chú ý là timeout có thể xảy ra dù Pod không bị crash, readiness probe vẫn thành công và Kubernetes cluster vẫn còn tài nguyên.&lt;/p&gt;

&lt;p&gt;Đây cũng chính là điều chúng ta đã quan sát ở phần Production Incident: HPA scale thành công, 10/10 Pods Ready, nhưng P99 latency vẫn ở mức 2.600 ms và tỷ lệ RPC timeout đạt 4,1%.&lt;/p&gt;

&lt;p&gt;Sự kết hợp giữa connection reuse, connection-level Load Balancing và backend overload có thể giải thích chuỗi hiện tượng này.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, cần phân biệt rõ giữa một cơ chế có khả năng gây lỗi và một nguyên nhân đã được chứng minh.&lt;/p&gt;

&lt;p&gt;Chúng ta mới xác định được rằng:&lt;/p&gt;

&lt;ol&gt;
&lt;li&gt;gRPC có thể truyền nhiều RPC qua cùng một TCP connection.&lt;/li&gt;
&lt;li&gt;Kubernetes ClusterIP Service trong kiến trúc này lựa chọn backend ở cấp connection.&lt;/li&gt;
&lt;li&gt;HPA bổ sung Pods nhưng không tự động chuyển những connections đang tồn tại.&lt;/li&gt;
&lt;li&gt;Workload có thể tiếp tục tập trung vào các backend cũ, dẫn đến latency cao và timeout khi chúng bị quá tải.&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;&lt;strong&gt;Scaling increases capacity, but it doesn't guarantee effective workload distribution.&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Đó là giả thuyết kỹ thuật chính của sự cố này.&lt;/p&gt;

&lt;h3&gt;
  
  
  5.6. Root Cause Analysis
&lt;/h3&gt;

&lt;p&gt;Vấn đề cốt lõi trong kịch bản này nằm ở sự khác biệt giữa cách gRPC truyền requests và cách Kubernetes Service phân phối traffic.&lt;/p&gt;

&lt;p&gt;Trong khi HTTP/2 multiplexing cho phép nhiều RPC chia sẻ cùng một TCP connection, Kubernetes Service ở Layer 4 lựa chọn backend ở cấp độ connection. Khi HPA bổ sung replicas, những connections đang tồn tại không tự động được phân phối lại, khiến workload có thể tiếp tục tập trung vào các Pods cũ.&lt;/p&gt;

&lt;p&gt;Như vậy, các thành phần riêng lẻ vẫn có thể hoạt động đúng theo thiết kế, nhưng sự kết hợp giữa chúng lại tạo ra một điểm nghẽn ở cấp độ kiến trúc.&lt;/p&gt;

&lt;p&gt;Thay vì tiếp tục tăng số lượng Pods, hướng giải quyết cần tập trung vào cơ chế phân phối workload giữa các backend.&lt;/p&gt;




&lt;h2&gt;
  
  
  6. Solutions, Trade-offs &amp;amp; Lessons Learned — Giải pháp và bài học
&lt;/h2&gt;

&lt;p&gt;Sau khi xác định nguyên nhân, câu hỏi tiếp theo là làm thế nào để phân phối gRPC traffic hiệu quả hơn mà vẫn giữ được những lợi ích của HTTP/2 connection reuse.&lt;/p&gt;

&lt;p&gt;Mục tiêu không phải là loại bỏ long-lived connections, vì chúng có vai trò quan trọng đối với hiệu năng gRPC.&lt;/p&gt;

&lt;p&gt;Thay vào đó, chúng ta cần lựa chọn một cơ chế Load Balancing phù hợp hơn với cách gRPC truyền requests.&lt;/p&gt;

&lt;h3&gt;
  
  
  6.1. Solution 1 — gRPC Client-Side Load Balancing
&lt;/h3&gt;

&lt;p&gt;Một trong những hướng xử lý là chuyển việc lựa chọn backend từ Kubernetes Service sang gRPC client.&lt;/p&gt;

&lt;p&gt;Thay vì chỉ biết một ClusterIP, client có thể nhận danh sách nhiều backend endpoints thông qua service discovery.&lt;/p&gt;

&lt;p&gt;gRPC hỗ trợ các Load Balancing policies như &lt;code&gt;pick_first&lt;/code&gt; và &lt;code&gt;round_robin&lt;/code&gt;.&lt;/p&gt;

&lt;p&gt;Với &lt;code&gt;round_robin&lt;/code&gt;, client có thể luân phiên lựa chọn các backend đã kết nối khi gửi những RPC mới.&lt;/p&gt;

&lt;p&gt;Kiến trúc khi đó có thể được thay đổi như sau:&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;                 API Gateway
                  gRPC Client
                      |
              Service Discovery
                      |
             Backend Pod Addresses
                      |
              gRPC Round Robin
                      |
          +-----------+-----------+
          |           |           |
          v           v           v
        Pod A       Pod B       Pod C
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;Một cách triển khai trong Kubernetes là sử dụng Headless Service.&lt;/p&gt;

&lt;p&gt;Ví dụ:&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight yaml"&gt;&lt;code&gt;&lt;span class="na"&gt;apiVersion&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s"&gt;v1&lt;/span&gt;
&lt;span class="na"&gt;kind&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s"&gt;Service&lt;/span&gt;
&lt;span class="na"&gt;metadata&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
  &lt;span class="na"&gt;name&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s"&gt;order-service-headless&lt;/span&gt;
&lt;span class="na"&gt;spec&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
  &lt;span class="na"&gt;clusterIP&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s"&gt;None&lt;/span&gt;
  &lt;span class="na"&gt;selector&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
    &lt;span class="na"&gt;app&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s"&gt;order-service&lt;/span&gt;
  &lt;span class="na"&gt;ports&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
    &lt;span class="p"&gt;-&lt;/span&gt; &lt;span class="na"&gt;name&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s"&gt;grpc&lt;/span&gt;
      &lt;span class="na"&gt;port&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="mi"&gt;50051&lt;/span&gt;
      &lt;span class="na"&gt;targetPort&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="mi"&gt;50051&lt;/span&gt;
      &lt;span class="na"&gt;protocol&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s"&gt;TCP&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;Khác với ClusterIP Service thông thường, Headless Service có thể trả về danh sách địa chỉ IP của các Pods thông qua Kubernetes DNS.&lt;/p&gt;

&lt;p&gt;Từ đó, gRPC client có thể kết hợp name resolution với Load Balancing policy phù hợp.&lt;/p&gt;

&lt;p&gt;Ví dụ cấu hình gRPC service config:&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight json"&gt;&lt;code&gt;&lt;span class="p"&gt;{&lt;/span&gt;
  &lt;span class="nl"&gt;"loadBalancingConfig"&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="p"&gt;[&lt;/span&gt;
    &lt;span class="p"&gt;{&lt;/span&gt;
      &lt;span class="nl"&gt;"round_robin"&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;
    &lt;span class="p"&gt;}&lt;/span&gt;
  &lt;span class="p"&gt;]&lt;/span&gt;
&lt;span class="p"&gt;}&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;Cấu hình này phải được áp dụng trong gRPC client tương ứng. Việc sử dụng Headless Service một mình không tự động kích hoạt round-robin ở application layer.&lt;/p&gt;

&lt;p&gt;Cũng cần kiểm tra khả năng cập nhật endpoints, DNS refresh, TLS identity và hành vi reconnect của thư viện gRPC được sử dụng.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Advantages&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;Phân phối các RPC mới giữa nhiều backend.&lt;/li&gt;
&lt;li&gt;Giảm phụ thuộc vào connection-level routing của Kubernetes Service.&lt;/li&gt;
&lt;li&gt;Không cần thêm một L7 proxy vào đường đi của request.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;Trade-offs&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;Client cần hỗ trợ service discovery và load balancing.&lt;/li&gt;
&lt;li&gt;Cấu hình thay đổi tùy theo ngôn ngữ và gRPC implementation.&lt;/li&gt;
&lt;li&gt;Cần xử lý cập nhật endpoints khi Pods được tạo hoặc terminate.&lt;/li&gt;
&lt;li&gt;Round Robin không bảo đảm workload cân bằng nếu các RPC có chi phí xử lý khác nhau.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Giải pháp này phù hợp với những hệ thống microservices có khả năng kiểm soát và cấu hình gRPC clients.&lt;/p&gt;

&lt;h3&gt;
  
  
  6.2. Solution 2 — Layer 7 gRPC-Aware Load Balancing
&lt;/h3&gt;

&lt;p&gt;Một hướng tiếp cận khác là triển khai một Layer 7 proxy có khả năng hiểu HTTP/2 và gRPC.&lt;/p&gt;

&lt;p&gt;Ví dụ, Envoy có thể thực hiện routing và load balancing ở application layer thay vì chỉ lựa chọn backend dựa trên TCP connections.&lt;/p&gt;

&lt;p&gt;Kiến trúc có thể được tổ chức như sau:&lt;br&gt;
&lt;/p&gt;

&lt;div class="highlight js-code-highlight"&gt;
&lt;pre class="highlight plaintext"&gt;&lt;code&gt;                API Gateway
                     |
               gRPC / HTTP/2
                     |
                     v
                 Envoy Proxy
               (Layer 7 LB)
                     |
           Per-RPC Load Balancing
                     |
          +----------+----------+
          |          |          |
          v          v          v
        Pod A      Pod B      Pod C
&lt;/code&gt;&lt;/pre&gt;

&lt;/div&gt;



&lt;p&gt;Điểm khác biệt nằm ở việc proxy có thể xử lý các HTTP/2 requests và lựa chọn upstream backend cho những RPC mới.&lt;/p&gt;

&lt;p&gt;Do đó, nhiều gRPC calls đến qua cùng một client-side TCP connection vẫn có thể được phân phối tới những backend khác nhau.&lt;/p&gt;

&lt;p&gt;Cách tiếp cận này giải quyết trực tiếp hạn chế của connection-level Load Balancing trong kịch bản đang phân tích.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, một streaming RPC đã được thiết lập vẫn cần tiếp tục gắn với backend đang xử lý stream đó.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Advantages&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;Hỗ trợ phân phối traffic ở cấp độ RPC.&lt;/li&gt;
&lt;li&gt;Có thể triển khai các chính sách load balancing nâng cao.&lt;/li&gt;
&lt;li&gt;Tập trung hóa routing, observability và traffic management.&lt;/li&gt;
&lt;li&gt;Ít phụ thuộc hơn vào logic load balancing của từng application client.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;Trade-offs&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;Bổ sung một thành phần vào request path.&lt;/li&gt;
&lt;li&gt;Tăng độ phức tạp của hệ thống.&lt;/li&gt;
&lt;li&gt;Phát sinh CPU, Memory và network overhead.&lt;/li&gt;
&lt;li&gt;Cần giám sát và đảm bảo tính sẵn sàng của proxy.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Giải pháp này phù hợp khi hệ thống có nhiều microservices và cần quản lý traffic một cách nhất quán.&lt;/p&gt;

&lt;h3&gt;
  
  
  6.3. Solution 3 — Connection Management &amp;amp; Controlled Rebalancing
&lt;/h3&gt;

&lt;p&gt;Trong một số trường hợp, thay đổi toàn bộ cơ chế Load Balancing có thể chưa khả thi.&lt;/p&gt;

&lt;p&gt;Khi đó, chúng ta có thể cải thiện cách quản lý gRPC connections.&lt;/p&gt;

&lt;p&gt;Các hướng tiếp cận gồm:&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;Sử dụng một số lượng connections phù hợp với traffic thay vì quá phụ thuộc vào một connection.&lt;/li&gt;
&lt;li&gt;Đánh giá channel pooling nếu gRPC implementation và workload thực sự cần.&lt;/li&gt;
&lt;li&gt;Thiết lập connection lifetime và graceful draining hợp lý.&lt;/li&gt;
&lt;li&gt;Tránh giữ những connections không cần thiết trong thời gian quá dài.&lt;/li&gt;
&lt;li&gt;Kiểm tra khả năng cập nhật và tái phân phối backend connections sau scaling.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Tuy nhiên, cần kiểm tra kỹ trước khi áp dụng cách này. .&lt;/p&gt;

&lt;p&gt;Việc tạo thêm TCP connections không bảo đảm traffic được phân phối hoàn toàn đồng đều, đặc biệt khi số connections vẫn ít so với số Pods hoặc workload giữa các connections rất khác nhau.&lt;/p&gt;

&lt;p&gt;Ngoài ra, liên tục đóng và tạo lại connections có thể làm tăng TLS handshakes, connection overhead và gây ra những đợt reconnect đồng thời.&lt;/p&gt;

&lt;p&gt;Cách này có thể giúp giảm tình trạng lệch tải, nhưng chưa giải quyết triệt để vấn đề Load Balancing ở Layer 4.&lt;/p&gt;

&lt;h3&gt;
  
  
  6.4. Comparing the Solutions
&lt;/h3&gt;

&lt;div class="table-wrapper-paragraph"&gt;&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Criteria&lt;/th&gt;
&lt;th&gt;Client-Side LB&lt;/th&gt;
&lt;th&gt;L7 Proxy&lt;/th&gt;
&lt;th&gt;Connection Management&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Đơn vị phân phối&lt;/td&gt;
&lt;td&gt;RPC mới&lt;/td&gt;
&lt;td&gt;RPC mới&lt;/td&gt;
&lt;td&gt;TCP connection&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Cần sửa client&lt;/td&gt;
&lt;td&gt;Thường có&lt;/td&gt;
&lt;td&gt;Không nhất thiết&lt;/td&gt;
&lt;td&gt;Có thể&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Thêm network hop&lt;/td&gt;
&lt;td&gt;Không&lt;/td&gt;
&lt;td&gt;Có&lt;/td&gt;
&lt;td&gt;Không&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Service Discovery&lt;/td&gt;
&lt;td&gt;Client xử lý&lt;/td&gt;
&lt;td&gt;Proxy xử lý&lt;/td&gt;
&lt;td&gt;Tùy kiến trúc&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Độ phức tạp&lt;/td&gt;
&lt;td&gt;Trung bình&lt;/td&gt;
&lt;td&gt;Cao&lt;/td&gt;
&lt;td&gt;Thấp đến trung bình&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Khắc phục connection hotspot&lt;/td&gt;
&lt;td&gt;Tốt&lt;/td&gt;
&lt;td&gt;Tốt&lt;/td&gt;
&lt;td&gt;Có giới hạn&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;

&lt;p&gt;Với hệ thống trong case study này, hai hướng đáng ưu tiên là:&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;gRPC Client-Side Load Balancing&lt;/strong&gt;, nếu chúng ta có thể kiểm soát các gRPC clients và muốn hạn chế việc bổ sung infrastructure.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;L7 gRPC-Aware Proxy&lt;/strong&gt;, nếu hệ thống cần quản lý traffic tập trung và có nhiều microservices sử dụng gRPC.&lt;/p&gt;

&lt;p&gt;Việc lựa chọn cuối cùng cần dựa trên kiến trúc hiện tại, yêu cầu latency, khả năng vận hành và chi phí triển khai.&lt;/p&gt;

&lt;h3&gt;
  
  
  6.5. Measuring the Effectiveness of the Solution
&lt;/h3&gt;

&lt;p&gt;Một giải pháp chỉ nên được xem là hiệu quả khi được kiểm chứng bằng metrics.&lt;/p&gt;

&lt;p&gt;Sau khi triển khai thay đổi trong staging, chúng ta cần chạy lại cùng workload và so sánh kết quả trước và sau.&lt;/p&gt;

&lt;p&gt;Các metrics quan trọng gồm:&lt;/p&gt;

&lt;div class="table-wrapper-paragraph"&gt;&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Metric&lt;/th&gt;
&lt;th&gt;Mục tiêu đánh giá&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;RPC Rate per Pod&lt;/td&gt;
&lt;td&gt;Giảm mức độ tập trung traffic&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;CPU Utilization per Pod&lt;/td&gt;
&lt;td&gt;Phân phối workload hợp lý hơn&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;P95/P99 Latency&lt;/td&gt;
&lt;td&gt;Giảm latency khi tải cao&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;gRPC Deadline Exceeded Rate&lt;/td&gt;
&lt;td&gt;Giảm tỷ lệ timeout&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Active Connections per Pod&lt;/td&gt;
&lt;td&gt;Hiểu phân bố transport connections&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;HPA Scaling Behavior&lt;/td&gt;
&lt;td&gt;Đánh giá hiệu quả sử dụng replicas&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;

&lt;p&gt;Đặc biệt, cần giữ các điều kiện thử nghiệm tương đương: cùng arrival rate, loại RPC, payload, replica count và resource limits.&lt;/p&gt;

&lt;p&gt;Nếu chuyển từ connection-level sang request-level load balancing, chúng ta mong đợi số RPC mới được phân phối rộng hơn đến các backend đủ điều kiện.&lt;/p&gt;

&lt;p&gt;Tuy nhiên, việc phân phối RPC đồng đều không đồng nghĩa CPU hoặc latency chắc chắn đồng đều. Những RPC khác nhau có thể yêu cầu lượng tài nguyên hoặc thời gian xử lý khác nhau.&lt;/p&gt;

&lt;p&gt;Do đó, cần đánh giá cả &lt;strong&gt;traffic distribution&lt;/strong&gt; và &lt;strong&gt;actual backend utilization&lt;/strong&gt;, thay vì chỉ nhìn vào số lượng requests.&lt;/p&gt;

&lt;h3&gt;
  
  
  6.6. Lessons Learned
&lt;/h3&gt;

&lt;p&gt;Qua tình huống này, có một số bài học quan trọng khi thiết kế và vận hành microservices trên Kubernetes.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;1. Scaling không đồng nghĩa với Load Balancing&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;HPA bổ sung replicas để tăng năng lực xử lý, nhưng không trực tiếp quyết định traffic được chuyển đến backend nào.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;2. Connection Distribution không đồng nghĩa với Request Distribution&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;HTTP/2 multiplexing cho phép nhiều RPC calls chia sẻ một TCP connection. Vì vậy, số lượng connections không phản ánh đầy đủ lượng workload thực tế.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;3. Kubernetes Healthy không có nghĩa Application Healthy&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Một Deployment có đầy đủ Ready Pods không bảo đảm ứng dụng đang phân phối workload hiệu quả hoặc đáp ứng được yêu cầu latency.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;4. Average Metrics có thể che giấu Bottlenecks&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;CPU utilization trung bình của Deployment có thể thấp, trong khi một số Pods đang hoạt động gần giới hạn xử lý.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;5. Hiểu rõ Network Layer trước khi lựa chọn Load Balancing Strategy&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;Một cơ chế Load Balancing phù hợp với HTTP/1.1 không nhất thiết đem lại hiệu quả tương tự với long-lived HTTP/2 connections hoặc gRPC streaming.&lt;/p&gt;

&lt;h3&gt;
  
  
  Final Thoughts
&lt;/h3&gt;

&lt;p&gt;Trong các hệ thống phân tán, việc bổ sung tài nguyên không phải lúc nào cũng giải quyết được vấn đề hiệu năng.&lt;/p&gt;

&lt;p&gt;Trường hợp Kubernetes HPA scale thành công nhưng gRPC timeouts vẫn tiếp tục xuất hiện cho thấy một hạn chế quan trọng: năng lực xử lý chỉ thực sự có giá trị khi workload có thể tiếp cận và sử dụng được năng lực đó.&lt;/p&gt;

&lt;p&gt;Hiểu rõ cách HTTP/2, gRPC connections và Kubernetes networking tương tác với nhau giúp chúng ta tránh những giả định sai khi thiết kế hệ thống, đồng thời tiếp cận việc troubleshooting một cách có hệ thống hơn.&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Scaling increases capacity, but effective load balancing determines how well that capacity is utilized.&lt;/strong&gt;&lt;/p&gt;




&lt;h3&gt;
  
  
  References
&lt;/h3&gt;

&lt;ul&gt;
&lt;li&gt;&lt;a href="https://kubernetes.io/docs/reference/networking/virtual-ips/" rel="noopener noreferrer"&gt;Kubernetes — Virtual IPs and Service Proxies&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="https://kubernetes.io/docs/concepts/services-networking/service/" rel="noopener noreferrer"&gt;Kubernetes — Service&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="https://grpc.io/docs/guides/performance/" rel="noopener noreferrer"&gt;gRPC — Performance Best Practices&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="https://grpc.io/docs/guides/custom-load-balancing/" rel="noopener noreferrer"&gt;gRPC — Custom Load Balancing Policies&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="https://learn.microsoft.com/en-us/aspnet/core/grpc/performance?view=aspnetcore-10.0" rel="noopener noreferrer"&gt;Microsoft — Performance Best Practices with gRPC&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

</description>
      <category>kubernetes</category>
      <category>devops</category>
    </item>
  </channel>
</rss>
