免費的 Colab CLI A100/H100 真香 :)

前幾天同事在 Slack 丟了 AIPostHub 那篇 Google AI Pro 加入 Colab 算力：A100 80GB 能讓 Gemma 實驗走多遠？，大家都在討論手上訂閱的 Google AI Pro 到底能不能拿來當臨時運算節點。畢竟在Lab平常腳邊只有 24 GB VRAM，平常測 26B 或 31B 模型 VRAM 塞到 20.7 GB 就快見底，稍微放長一點的 Prompt 就容易 OOM。

剛好手上有訂閱，決定直接拿本地主機連上去，從認證、實例開立到模型載入，把整個真實工作流徹底測過一遍。

---

拆解 CLI 雙胞胎

在本地終端機想要自動化調度 Colab，第一個最常踩的巨雷就是套件名稱。

PyPI 上有一個老套件叫 colab-cli（版本 2.2.5），如果你下了 pip install colab-cli，它會把環境裡的 click 降級到 7.1.2，當場套件依賴衝突直接翻車。翻一下它的原始碼就知道，它只是幾年前包了 pydrive 的上傳小工具，只能把本地 .ipynb 同步到 Google Drive 再幫你開瀏覽器分頁，根本沒有遠端調用 GPU 的能力。

真正的官方工具是 Google 在 2026 年推出的 google-colab-cli（最新版本 0.7.4，執行檔名稱為 colab，要求 Python 3.12+）：

# 用 uv 安裝官方 CLI
uv tool install --python 3.12 google-colab-cli

安裝完成後敲 colab --help，你會看到包括 colab new、colab exec、colab ssh、colab usage、colab log、colab run 在內的整套現代管理指令。

---

接軌官方工具：google-colab-cli 搞定 OAuth 與 A100 實例

第一次使用時，執行 colab usage 會觸發 Google OAuth 授權流程。終端機會印出一串 Google 帳號授權 URL，用瀏覽器打開、登入訂閱了 Google AI Pro 的帳號並核准權限後，把網頁上的授權碼貼回終端機：

Enter the authorization code: 4/0AXlqoi4...
Current balance: 200.00 compute units
Usage rate: 0.00/hr
Active assignments: 0

Google AI Pro 帳號直接帶入 200.00 點運算單元（Compute Units）。

接著直接下一行指令，在背景向 Google 要求一台 A100 執行個體：

colab new --session gemma-test --gpu A100

只花了大約 5 秒鐘，終端機就回傳 [colab] Session READY.。

---

實測 Gemma 4 推論：100% GPU 卸載飆出 179 tok/s

A100 是 NVIDIA 專為高負載計算設計的加速卡，特點是具備極高的記憶體頻寬與張量核心算力，能讓大規模語言模型維持全 GPU 卸載執行。

我們透過 colab exec 直接在遠端實例部署 Ollama，並拉取參數量達 25.8B 的 gemma4:26b（GGUF Q4_K_M，檔案 17.9 GB）進行臨床變異推論測試。

在 Colab A100 上的實際執行數據如下：

# 查詢遠端實例 VRAM 分佈
nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv
# 輸出：NVIDIA A100-SXM4-40GB, 40960 MiB, 20072 MiB

模型順利吃下 20,072 MiB VRAM，達到 100% GPU 卸載，主機還有 83.5 GB RAM 與超過 20 GB 的 VRAM 緩衝空間。

我們輸入經典的乳癌基因臨床考題：

"What is the role of BRCA1 in breast cancer? Give a 2-sentence clinical summary."

模型先觸發內建的思考鏈（Thinking Process）完成約 270 個 tokens 的自我推導，隨後產出結構完整的兩句話臨床結論：

BRCA1 is a critical tumor suppressor gene responsible for maintaining genomic stability through the repair of double-strand DNA breaks via homologous recombination. Pathogenic mutations in this gene impair DNA repair mechanisms, significantly increasing the lifetime risk of developing hereditary breast, ovarian, and other related malignancies.

效能表現相當驚人：

• 生成時間：2.16 秒（共產出 369 tokens）
• 生成速度：⚡ 179.42 tok/s
• 上下文視窗：Ollama 預設分配 32,768 tokens（32K context）

---

盤點即時監控維度：從點數流速到一鍵導出 ipynb

當你的任務正在 Colab 遠端執行時，你還可以透過 CLI 監控健康度與資源消耗：

1. 算力與點數計費狀態（colab usage）

這條指令會回傳帳號層級的點數流速：

Current balance: 197.28 compute units
Usage rate: 5.30/hr
Active assignments: 1

我們從一開始的 200.00 點跑完環境建置、下載 18GB 模型與推論，大約過了 30 分鐘，點數扣至 197.28 點，實際驗證扣款速率確實鎖定在 5.30 點/小時。

2. 實例運作狀態（colab status -s gemma-test）

查詢實例生命週期與最近一次命令執行：

[gemma-test] gpu-a100-s-kkb-usc1f1-ryarjq9kw3qd | Hardware: A100 | Shape: Standard | Variant: GPU | Status: IDLE
  Last Execution: stdin at 2026-10-12 08:26:15

當任務正在跑時狀態會轉為 RUNNING，空閒時為 IDLE。

3. 硬體級別監控（colab exec -s gemma-test "nvidia-smi"）

可以直接撈出 GPU 實體指標：

• 溫度與功耗：32°C，待機 47.19W（推論瞬間衝上 180W+，硬體上限 400W）
• VRAM 分配：20,072 MiB / 40,960 MiB（空載時僅佔 6 MiB）
• 主機組態：12 個 CPU 邏輯核心、83.47 GB 主機記憶體、235.68 GB NVMe 磁碟空間

4. 服務層監控（colab exec -s gemma-test "ollama ps"）

確認模型是否真正常駐 VRAM：

NAME          ID              SIZE      PROCESSOR    CONTEXT    RUNNER
gemma4:26b    001e5dafc3c7    1.2 GB    100% GPU     32768      llamacpp

Ollama 預設在閒置 5 分鐘後會自動釋放 VRAM，避免背景長駐佔用資源。

5. 執行歷史與一鍵導出 Notebook（colab log）

這是我認為官方 CLI 最強大的功能之一。它在本地紀錄了每次透過 stdin 或檔案丟上去的 microsecond 級別執行日誌。下這行指令：

colab log -s gemma-test -o colab_a100_gemma4_replay.ipynb

它會直接把這半小時內所有的輸入、輸出、測試日誌自動打平成一份 728 KB 的標準 .ipynb 檔案。其他人打開就能看見所有 cell 的輸出結果，完全重現實驗。

---

解讀點數與定價機制：Pay As You Go 隨選加購怎麼算

在 Colab 介面點選資源分頁的「深入瞭解」，或者在終端機敲 colab pay，系統會直接引導你打開官方的 Colab 付費方案與定價說明頁面（Colab Paid Services Pricing）。

這個頁面說明了 Google 對 Colab 算力的計費哲學：

1. Google AI Pro / Colab Pro 訂閱制：

   • 每月固定配發算力點數（如 Google AI Pro 配發 200 點）。
   • 解鎖高階硬體配額（A100、TPU v5e 等），並擁有比免費版更高的排隊優先權。

2. Pay As You Go（隨選運算單元）加購制：

   • 當你的 200 點在某個月高強度微調用光時，不需要被綁定更貴的企業合約，可以單次隨選加購點數（100 點約 9.99 美元）。
   • 加購的運算單元只要帳號有效就不會過期，會自動接在每月的免費額度後面扣除。

3. 真實消耗時間折算：
   依我們這次實測的真實扣點速率（標準 A100 實例每小時扣除 5.30 點）：
   

   200 點 ÷ 5.30 點/小時 ≈ 37.7 小時

連續跑能撐 37.7 小時。如果每一次 Prompt 評測只佔用 20 分鐘，這 200 點足夠支撐超過 100 次完整的推論工作階段。

最省錢的操作是利用 CLI 提供的 Ephemeral Job Runner：

colab run -s gemma-eval --gpu A100 my_benchmark.py

這個指令會在雲端開機、跑完腳本、抓回輸出、立刻自動關機釋放，連手動下 colab stop 都不用，點數一秒鐘都不會多漏。

---

結語與日常建議

「免費的 Colab CLI + A100/H100」是個漂亮的社群包裝，本質上是 Google AI Pro 每月 200 點運算額度的精準變現。

換算下來每個月能拿來跑約 37.7 小時的 A100 高算力。只要搭配 google-colab-cli 的自動化指令，配合 colab run 或跑完隨手 colab stop，把它當作地端 3090 吃緊時的臨時雲端外掛，就是目前性價比最高的用法。