DEV Community

Cover image for 免費的 Colab CLI A100/H100 真香 :)
JH5
JH5

Posted on

免費的 Colab CLI A100/H100 真香 :)

#gemma #googlecolab #machinelearning #llmops

前幾天 Google 官方宣布 Google AI Pro 方案納入 Colab 進階算力，讓訂閱者能直接在雲端使用 A100/H100 GPU。平常無聊跑些小模型時，我都會透過 AGY Cli 呼叫 google-colab-cli 來使用以前的 T4。既然這次 Google 這麼佛心給了 A100，我馬上決定直接從本機連上去。從認證、開立實例到載入模型，把這免費資源好好測過一遍。

釐清兩款 CLI 工具

PyPI 上有一個舊套件叫 colab-cli（版本 2.2.5），如果你跑 pip install colab-cli，它會把環境裡的 click 降級到 7.1.2、typer 降級到 0.1.1，接著就會發生一堆套件依賴衝突。看它的原始碼就知道，這只是幾年前包裝 pydrive 的上傳小工具，只能把本機的 .ipynb 同步到 Google Drive 再幫你開瀏覽器分頁，根本沒有遠端調用 GPU 的能力。

真正的官方工具是 Google 在 2026 年推出的 google-colab-cli（最新版本 0.7.4，要求 Python 3.12+）：

# 用 uv 安裝官方 CLI
uv tool install --python 3.12 google-colab-cli
Enter fullscreen mode Exit fullscreen mode

安裝完成後輸入 colab --help，就會看到包含 colab new、colab exec、colab ssh、colab usage、colab log 等完整的現代化管理指令。

搞定 OAuth 與 A100 實例
第一次使用時，執行 colab usage 會觸發 Google OAuth 授權。跟其他 Google 終端機工具的流程一樣，會印出一串授權網址。用瀏覽器打開、登入訂閱了 Google AI Pro 的帳號並核准權限後，把網頁上的授權碼貼回終端機：

Enter the authorization code: 4/0AXlqoi4...
Current balance: 200.00 compute units
Usage rate: 0.00/hr
Active assignments: 0
Enter fullscreen mode Exit fullscreen mode

接著直接下一行指令，在背景向 Google 申請一台 A100 實例：

colab new --session gemma-test --gpu A100
Enter fullscreen mode Exit fullscreen mode

只花了大約 5 秒鐘，終端機就回傳 [colab] Session READY.。

實測 Gemma4 推論：100% GPU 滿載飆出 179 tok/s
雖然 A100 算是老卡了，但透過 colab exec 可以直接在遠端實例部署 Ollama，並拉取 gemma4:26b（GGUF Q4_K_M）進行臨床變異推論測試。

在 Colab A100 上的實際執行數據如下：

# 查詢遠端實例顯存分佈
nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv 
# 輸出：NVIDIA A100-SXM4-40GB, 40960 MiB, 20072 MiB
Enter fullscreen mode Exit fullscreen mode

模型順利吃下 20,072 MiB VRAM，達到 100% GPU 負載，主機還有 83.5 GB RAM 與 20 GB 顯存緩衝。

簡單輸入乳癌基因臨床考題：

"What is the role of BRCA1 in breast cancer? Give a 2-sentence clinical summary."

可以看到模型觸發內建的思考鏈（Thinking Process）完成約 270 個 tokens 的推導後，隨後產出結構完整的兩句話臨床結論：

BRCA1 is a critical tumor suppressor gene responsible for maintaining genomic stability through the repair of double-strand DNA breaks via homologous recombination. Pathogenic mutations in this gene impair DNA repair mechanisms, significantly increasing the lifetime risk of developing hereditary breast, ovarian, and other related malignancies.
Enter fullscreen mode Exit fullscreen mode

效能表現相當不錯：

生成時間：2.16 秒（共產出 369 tokens）

生成速度：179.42 tok/s

上下文視窗：Ollama 預設分配 32,768 tokens（32K context）

即時監控點數使用量
當任務正在 Colab 遠端執行時，可以透過 Colab CLI 隨時監控實例的健康狀況與資源消耗：

  1. 算力與點數計費狀態（colab usage） 這條指令會回傳帳號目前的點數消耗速度： 
Current balance: 197.28 compute units
Usage rate: 5.30/hr
Active assignments: 1
Enter fullscreen mode Exit fullscreen mode

我們從一開始的 200.00 點跑完環境建置、下載 18GB 模型與推論，大約過了 30 分鐘，點數扣至 197.28 點，實際驗證扣款速率確實鎖定在 5.30 點/小時。

  1. 實例運作狀態（colab status -s gemma-test） 查詢實例生命週期與最近一次命令執行狀態： 
[gemma-test] gpu-a100-s-kkb-usc1f1-ryarjq9kw3qd | Hardware: A100 | Shape: Standard | Variant: GPU | Status: IDLE
  Last Execution: stdin at 2026-10-12 08:26:15
Enter fullscreen mode Exit fullscreen mode

當任務正在跑時狀態會轉為 RUNNING，閒置時為 IDLE。

  1. 硬體級別監控（colab exec -s gemma-test "nvidia-smi"） 可以直接看 GPU 實體監控數據：
  • 溫度與功耗：32°C，待機 47.19W（推論瞬間衝上 180W+，硬體上限 400W）
  • 顯存分配：20,072 MiB / 40,960 MiB（待機時僅佔 6 MiB）
  • 主機配置：12 個 CPU 邏輯核心、83.47 GB 主機記憶體、235.68 GB NVMe 磁碟空間
  1. 服務層監控（colab exec -s gemma-test "ollama ps"） 確認模型是否真正常駐顯存： 
NAME          ID              SIZE      PROCESSOR    CONTEXT    RUNNER
gemma4:26b    001e5dafc3c7    1.2 GB    100% GPU     32768      llamacpp
Enter fullscreen mode Exit fullscreen mode

Ollama 預設在閒置 5 分鐘後會自動釋放顯存，避免背景常駐佔用資源。

  1. 執行歷史與一鍵匯出 這是我認為官方 CLI 最強大的功能之一，它紀錄了每次透過 stdin 或檔案丟上去的 microsecond 級別執行日誌。只需要下這行指令： 
colab log -s gemma-test -o colab_a100_gemma4_replay.ipynb
Enter fullscreen mode Exit fullscreen mode

它會直接把這半小時內所有的輸入、輸出、測試日誌自動打包成一份 728 KB 的標準 .ipynb 檔案。其他人打開就能看見所有 cell 的輸出結果，完全重現實驗。

  1. 網頁端即時圖形儀表板 透過 colab url -s gemma-test 可以拿到專屬的筆記本網址。用瀏覽器打開後，右上角會顯示整合的硬體資源長條圖（包含系統 RAM、磁碟與 GPU RAM），可直接在圖形介面看到顯存被切走 20 GB 的即時動態。

解讀點數與定價機制：Pay As You Go 隨選加購怎麼算

在 Colab 介面點選資源分頁的「深入瞭解」，或者在終端機輸入 colab pay，系統會直接引導你打開官方的 Colab 付費方案與定價說明頁面（Colab Paid Services Pricing）。

這個頁面說明了 Google 對 Colab 算力的計費方式：

  1. Google AI Pro / Colab Pro 訂閱制：

    • 每月固定配發算力點數（如 Google AI Pro 配發 200 點）。
    • 解鎖高階硬體配額（A100、TPU v5e 等），並擁有比免費版更高的排隊優先權。

  2. Pay As You Go（隨選運算單元）加購制：

    • 當你的 200 點在某個月高強度微調用光時，不需要被綁定更貴的企業合約，可以單次隨選加購點數（100 點約 9.99 美元）。
    • 加購的運算單元只要帳號有效就不會過期，會自動接在每月的免費額度後面扣除。

  3. 真實消耗時間折算：
    依我們這次實測的真實扣點速率（標準 A100 實例每小時扣除 5.30 點）：

   200 點 ÷ 5.30 點/小時 ≈ 37.7 小時
Enter fullscreen mode Exit fullscreen mode


shell
連續跑能撐 37.7 小時，如果每一次 Prompt 測試只佔用 20 分鐘，這 200 點足夠支撐超過 100 次完整的推論工作階段。

最省錢的操作是利用 CLI 提供的 Ephemeral Job Runner：

colab run -s gemma-eval --gpu A100 my_benchmark.py
Enter fullscreen mode Exit fullscreen mode

這個指令會在雲端開機、跑完腳本、抓回輸出後立刻自動關機釋放資源，連手動下 colab stop 都不用，點數一秒鐘都不會浪費。

結語

如果你對 Colab 的印象還停留在「只能在網頁裡點滑鼠」，那我強烈建議你裝一下 Google 官方的 google-colab-cli 試試。它可以讓你在本機終端機就像管理遠端叢集一樣自如地調度 A100 GPU。

再搭配上 Google AI Pro 給的 200 點算力，讓它成為 CP 值超高的臨時火力支援點。結合 colab log 匯出可重現的 notebook，以及任務結束後隨手 colab stop，雖然 Gemini Pro 訂閱常被吐槽，但我還是覺得這樣搭配 AGY、Jules 使用真的滿划算。

Top comments (0)