要約
Claude CodeがMacを操作できるようになりました。ターミナルセッション内でアプリケーションの起動、UIのクリック、テスト実行、結果のスクリーンショットまで一貫して自動化できます。macOS用のProまたはMaxプラン加入者向け調査プレビューです。利用開始には/mcpを実行し、computer-useサーバーを有効・macOSのアクセシビリティ/画面収録許可を付与します。
Claudeがあなたのコンピューターを使用できるようになりました
2026年3月23日、AnthropicはClaude Codeのコンピューター使用機能を発表しました。Claudeがコードを書くだけでなく、実際にビルド・実行・動作確認まで自動化します。
従来は、メニューバーアプリを作成しても手動でコンパイル・起動・UI確認が必要でしたが、これからはClaudeが全工程を自動化。ターミナルから一歩も出ずに、ビルド・起動・コントロールの操作・エラー時のスクショ・パッチ適用まで可能です。
今後は「このアプリを書いて」から「ビルドして動作確認までして」に作業範囲が拡大します。
💡 APIベースで構築している場合、ClaudeはGUIツール経由でもリクエストフローをテスト可能です。Apidogと組み合わせれば、Claudeでアプリの動作検証→ApidogでAPI自動テストスイート構築→フローのプログラム的検証と、より堅牢な自動化が実現できます。
できること
ネイティブアプリをエンドツーエンドでビルド・検証
主なユースケースは以下のような自動化です。
Build the MenuBarStats target, launch it, open the preferences window,
and verify the interval slider updates the label. Screenshot the
preferences window when done.
Claudeがxcodebuildでビルド・バイナリ起動・UI操作・結果の確認・スクリーンショット・修正まで実施します。エラー時はコード修正＆再テストも自動化。検証済みビルドを即座に得られます。
テストフレームワークなしでUIテスト
PlaywrightやSelenium/XCTestをセットアップせず、テキストでフロー定義するだけ。
Open the app, click through the onboarding screens, and tell me if any
screen takes more than a second to load.
Claudeがアプリを起動し、UIを操作、各画面のロード時間を測定・報告し、必要に応じてスクリーンショットを撮影。Electron/macOS/iOS Simulatorアプリに対応。セレクターの管理は不要です。
視覚的バグとレイアウトバグのデバッグ
特定サイズでのみ発生するCSSバグも自動で再現・修正可能です。
The settings modal clips its footer on narrow windows. Resize the app
window until you can reproduce it, screenshot the clipped state, then
check the CSS for the modal container.
Claudeがウィンドウリサイズ→バグ状態キャプチャ→CSS調査→修正→再テストまで自動化します。
GUI専用ツールの操作
CLI/APIがないツール（デザインソフト、ハードウェア制御、iOS Simulator等）も、ターミナルから操作指示するだけでClaudeがGUI自動操作します。
有効にする方法
デフォルトでオフ。/mcpコマンドでプロジェクトごとに有効化できます。
必要なもの:
- macOS
- Claude Code v2.1.85以降 (
claude --versionで確認) - ProまたはMaxプラン
-
claude.ai認証 - インタラクティブセッションでの利用
ステップ1: MCPメニューを開く
アクティブなClaude Codeセッションで
/mcp
と入力。サーバーリストからcomputer-useを探し、有効化します。
ステップ2: サーバーを有効にする
computer-useを選択し有効にするをクリック。プロジェクトごとに一度だけ必要です。
ステップ3: macOSのアクセス許可を付与
最初の操作時に以下の許可ダイアログが表示されます。
- アクセシビリティ（クリック/入力/スクロール用）
- 画面収録（画面キャプチャ用）
両方許可しましょう。画面収録許可後はClaude Codeの再起動が必要な場合もあります。
セットアップ後は、下記のようなコマンドで動作確認できます。
Build the app target, launch it, and click through each tab to confirm
nothing crashes. Screenshot any error states you find.
Claudeがあなたの画面でどのように動作するか
一度に1つのセッションのみ
コンピューター使用機能はマシン単位でロックを持ちます。別セッションで利用中の場合はロック解除（セッション終了）が必要です。
Claudeの作業中はアプリが非表示
Claudeが制御を取得すると、対象アプリ以外は一時的に非表示化されます。ターミナルはスクリーンショットから除外されます。
いつでも停止できる
EscキーまたはターミナルでCtrl+Cを押せば即時停止・ロック解除されます。macOS通知からも状況を確認可能です。
アプリごとの承認
computer-use有効化後も、各アプリ初回利用時に承認ダイアログが必ず表示されます。
- 対象アプリ名
- 要求される追加権限（クリップボード等）
- 非表示対象アプリ数
このセッションのみ許可または拒否を選択。承認はセッション単位です。
特定アプリ利用時の追加警告
| 警告 | アプリ |
|---|---|
| シェルアクセス同等 | Terminal, iTerm2, VSCode, Warp, その他ターミナル/IDE |
| 任意ファイル操作 | Finder |
| システム設定変更 | システム設定 |
警告は安全シグナルであり、ブロックではありません。
アプリ制御の階層
| 制御レベル | アプリの種類 |
|---|---|
| 表示のみ | ブラウザ、取引プラットフォーム |
| クリックのみ | ターミナル、IDE |
| フル制御 | その他すべて |
ブラウザの自動化が必要な場合は Chrome内Claude を使ってください。
Claudeがコンピューター使用機能をいつ使うか
Claudeは「最終手段」としてコンピューター使用機能を選択します。優先順位は以下の通りです。
- MCPサーバー（設定済みの場合）
- Bash（シェルコマンド）
- Chrome内Claude（ブラウザタスク）
- コンピューター使用機能（上記以外）
UIボタンクリックが必要な場合のみ画面制御を利用し、APIやCLIで可能なものはそちらを優先します。
安全モデル
- アプリごとの承認: セッションごとに明示許可したアプリのみ制御可能
- Sentinel警告: 危険性の高い操作は明確な警告表示
- ターミナルは除外: Claudeはターミナルウィンドウを見ません
-
グローバルエスケープ:
Escで即時停止 - ロックファイルで排他制御
- プロンプトインジェクション検出
推奨: 機密情報は慣れるまで扱わないこと。最初はテスト環境や非本番アプリで試しましょう。
ワークフローの例
エンドツーエンドのSwiftアプリ検証
Build the MenuBarStats target, launch it, open the preferences window,
and verify the interval slider updates the label. Screenshot the
preferences window when done.
Claudeの動作工程例:
-
xcodebuildでビルド - バイナリ起動
- 環境設定ウィンドウをクリックで開く
- スライダー操作＆ラベル確認
- スクリーンショット
- エラー発生時は該当ソースを報告
レイアウトバグの再現
The settings modal clips its footer on narrow windows. Resize the app
window down until you can reproduce it, screenshot the clipped state,
then check the CSS for the modal container.
ウィンドウサイズ変更→壊れた状態キャプチャ→modal.css調査→修正適用→再検証まで自動。
XCTestなしでiOS Simulatorテスト
Open the iOS Simulator, launch the app, tap through the onboarding
screens, and tell me if any screen takes more than a second to load.
Simulatorをマウス/キーボード操作で自動制御。XCTestやInstruments不要。
Electronアプリのオンボーディングフロー
Launch the desktop app in dev mode, complete the signup flow using
test@example.com, and screenshot each step. Flag any step where the
button is not clickable or the UI shows an error.
起動→フォーム入力→各画面クリック→スクリーンショット＆エラー検出まで自動化。
APIテストでのコンピューター使用機能の活用
Claude Codeのコンピューター使用機能は、Apidogと組み合わせることでAPI検証の自動化が加速します。
一般的なワークフロー:
- Claudeでローカルサーバー作成・ビルド
- Claudeがアプリを開きUIの応答確認（コンピューター使用機能）
- ApidogでAPIコールをキャプチャ・テスト組立
- 将来のリグレッションはApidogの自動テストで検出
この連携で、E2E検証（ClaudeによるUI操作）とCI向けAPI自動テスト（Apidog）が両立します。
CLIとデスクトップアプリの違い
CLIもデスクトップも同じエンジンですが、設定に違いあり。
| 機能 | デスクトップ | CLI |
|---|---|---|
| 有効化 | 設定 > デスクトップアプリ > 一般 |
/mcp > computer-useを有効化 |
| 拒否アプリリスト | 設定で構成可能 | 未実装 |
| 自動再表示 | オプション | 常時オン |
| ディスパッチ統合 | あり | 該当なし |
通常の開発用途はCLIで十分です。
トラブルシューティング
「コンピューター使用機能は別のClaudeセッションで使用中です」
他のセッションがロック保持中です。セッション終了後に再試行してください。クラッシュ時はプロセス終了で自動解除されます。
macOSのアクセス許可プロンプトが繰り返し表示される
画面収録許可後はClaude Codeのプロセス再起動が必要です。システム設定 > プライバシーとセキュリティ > 画面収録 でターミナルエミュレータが許可状態か確認してください。
/mcpにcomputer-useが表示されない
- macOSを使用しているか確認
-
claude --versionがv2.1.85以上であること - Pro/Maxプランであること（
/statusで確認） -
claude.aiアカウントで認証していること - インタラクティブセッションで利用していること
承認後にClaudeがアプリを認識できない
このセッションのみ許可を必ず選択。誤って拒否した場合はセッションを再起動してください。
よくある質問 (FAQ)
どのClaude Codeバージョンが必要？
v2.1.85以上。claude --versionで確認し、npm install -g @anthropic-ai/claude-codeで更新可能。
WindowsまたはLinuxで動作する？
動作しません。現時点ではmacOS専用です。
Amazon Bedrock/Google Vertex AI経由でも利用可能？
不可。claude.ai経由のProまたはMax認証が必要です。
Team/Enterpriseプランで利用可能？
不可。調査プレビュー時点ではPro/Maxのみ。
画面収録許可なしで利用できる？
一部操作（クリック・入力）は可能ですが、画面結果の検証は不可。実用的には両方の許可が必要です。
Claudeは未承認アプリにアクセスできる？
できません。セッションごとに明示的な承認が必要です。
完全に無効にするには？
/mcpからcomputer-useを無効化し、システム設定 > プライバシーとセキュリティでアクセシビリティ/画面収録許可を削除してください。
機密データ作業に使っても安全？
推奨されません。まずはテスト環境や個人情報を含まないアプリで動作を確認しましょう。安全ガイドも参照してください。
複数セッションで同時利用可能？
不可。1セッションのみマシンロックを保持します。
Playwright/Seleniumとの違いは？
Playwright/Seleniumは決定的なスクリプトUIテスト。コンピューター使用機能は自然言語で任意アプリ自動操作できますが、Claudeの判断に依存し、テスト信頼性はやや下がります。E2Eの探索的テストやプロトタイピング、コード自動化不可なアプリの素早い検証に最適です。本番リグレッションはPlaywright推奨。
Top comments (0)