Claude Computer Use 教學:讓 AI 直接操作你的電腦,搭配 Dispatch 手機遠端指揮

Anthropic 最新功能完整介紹——從運作原理、安全機制、設定步驟到設計師實用場景
設計師 Riven

設計師 Riven

2026年3月24日 下午 10:11

AI 設計

AI 聊天機器人已經陪我們好幾年了,但說到底,它們做的事情就是「回答問題」——你問,它答。不管回答品質再好,最後那個打開 app、填表格、整理檔案的人,還是你自己。

Anthropic 丟出了一顆震撼彈:Claude 現在可以直接操作你的電腦了。不是模擬、不是建議你怎麼操作——是真的幫你點滑鼠、打鍵盤、開 app、填試算表、瀏覽網頁。搭配同時推出的 Dispatch 功能,你甚至可以用手機傳訊息給 Claude,出門辦事,回來就看到工作完成了。

這不是一次普通的功能更新,而是 AI 從「對話工具」跨入「真正幫你做事的助手」的分水嶺。這篇文章帶你完整了解這個功能到底是什麼、怎麼運作、安不安全,以及設計師和創作者可以怎麼用。

用手機遠端指揮 Claude 操作電腦

▲ 用手機下指令,Claude 在你的電腦上自動完成工作——這就是 Dispatch 的核心概念

▲ Claude 官方展示影片:Put Claude to work on your computer, from anywhere

Claude Computer Use 是什麼?

Claude Computer Use 是 Anthropic 在 Claude Cowork 和 Claude Code 中推出的全新能力。啟用後,Claude 可以像真人一樣操作你的 Mac 電腦:移動滑鼠、點擊按鈕、打字、切換 app、瀏覽網頁、填寫表單。

想像一下這個場景:你跟 Claude 說「幫我打開 Excel,把這個月的銷售數據整理成報表」,Claude 就會自己打開 Excel、找到檔案、建立表格、填入數據,然後把做好的報表呈現給你。不需要你動一根手指。

💡 關鍵概念

Claude Computer Use 不是「告訴你怎麼做」,而是「直接幫你做」。從對話式 AI 升級為行動式 AI Agent,這是本質上的轉變。

這個功能目前是 Research Preview(研究預覽版),代表 Anthropic 仍在持續改進中。它不會每次都完美運作,複雜任務有時需要重試,但核心能力已經相當實用。

運作原理:三層工具優先級

Claude 操作電腦時不是直接衝去點螢幕——它有一套聰明的分層策略,會自動選擇最快、最精確的方式來完成任務:

Claude Cowork 任務指派流程

▲ Claude Cowork 的工作流程:從指派任務到交付成果

1

Connector(連接器)— 最快

如果你已經連接了 Gmail、Google Drive、Slack、Google Calendar 等服務,Claude 會直接透過 API 操作。速度最快、最可靠,只需幾秒鐘。

2

瀏覽器操作 — 中速

如果沒有對應的 Connector,Claude 會透過 Claude in Chrome 瀏覽器外掛來操作網頁,像是開啟特定網站、搜尋資料、填寫表單等。

3

螢幕操作(Computer Use)— 最靈活

當以上兩種方式都不適用,Claude 會直接操作你的螢幕——截圖判讀畫面、移動滑鼠、點擊按鈕、輸入文字。這是最靈活但也最慢的方式。

這個優先級策略的好處是:Claude 不會笨笨地每次都用最慢的螢幕操作,而是像聰明的助手一樣,能走捷徑就走捷徑。

Dispatch:用手機遠端指揮 Claude

Computer Use 真正厲害的地方,是搭配 Dispatch 一起用。Dispatch 讓你用手機跟 Claude 保持同一段對話,即使你不在電腦前,也能指派任務。

Claude Dispatch 手機遠端操作畫面

▲ Dispatch 讓你從手機傳送任務,Claude 在桌面電腦上執行(圖片來源:Anthropic)

Dispatch 的運作邏輯很直覺:

📱 你用手機打開 Claude App → 進入 Dispatch

⬇️ 傳送任務指令(例如:「幫我整理下載資料夾,把 PDF 歸類到對應的專案資料夾」)

🖥️ Claude 在你的桌面電腦上開始工作

✅ 完成後在手機上通知你結果

舉個實際例子:你在通勤的捷運上,突然想到明天早上要用的簡報還沒準備好。你拿出手機,傳訊息給 Claude 說「幫我把桌面上那個 Q1 報告資料夾裡的數據,整理成一份簡報大綱」,然後繼續滑你的手機。等你到公司打開電腦,大綱已經做好了。

⚠️ 重要前提

Dispatch 的前提是你的 Mac 必須保持開機且 Claude Desktop App 要在運行中。它本質上是「遠端遙控」你的桌面電腦,不是雲端運算。電腦關機或休眠,Dispatch 就會停止。

安全性與權限機制

讓 AI 操作電腦聽起來很可怕,但 Anthropic 在安全設計上做了很多功夫:

Claude Computer Use 權限請求畫面

▲ Claude 操作新 App 時會先請求你的許可(圖片來源:Anthropic)

🔒 逐 App 權限控制

Claude 存取每個新的 App 前,都會先詢問你的許可。你可以隨時拒絕或停止操作。

🚫 敏感 App 黑名單

投資交易平台、加密貨幣錢包等敏感應用程式預設被封鎖,Claude 不會碰觸。你也可以自訂封鎖清單。

🛡️ 防注入掃描

Anthropic 內建了自動掃描機制,偵測 Prompt Injection(惡意注入指令)攻擊,降低被網頁或文件中隱藏指令誤導的風險。

🏠 沙盒隔離

一般的 Cowork 任務在虛擬機(VM)沙盒中執行,與你的主系統隔離。但 Computer Use(螢幕操作)是在沙盒外執行的,所以操作螢幕時要更謹慎。

Anthropic 自己也坦言,Computer Use 目前還是比純文字或程式碼操作更容易出錯,建議從你信任的 App 開始嘗試,避免處理敏感資料。

設定步驟教學

設定 Claude Computer Use + Dispatch 非常簡單,大約兩分鐘搞定:

1

更新 Claude Desktop App

前往 claude.com/download 下載或更新至最新版本。

2

啟用 Computer Use

開啟 Desktop App → 前往 Settings → General → 啟用 Computer Use 功能。

3

開啟 Cowork 或 Claude Code

在 Desktop App 頂部的三個標籤(Chat / Cowork / Code)中切換到 Cowork,選擇你要讓 Claude 存取的資料夾。

4

設定 Dispatch(選配)

在 Cowork 中點擊 Dispatch → 產生 QR Code → 用手機掃描配對。完成後,你就能從手機遠端指派任務了。

Claude Cowork 工作中自動回報進度

▲ Claude 工作時會即時回報進度,你可以隨時介入或調整方向

設計師與創作者的應用場景

Claude Computer Use 對設計師和創作者來說,有幾個特別實用的情境:

📁 檔案整理與重新命名

你的下載資料夾裡堆了 200 個設計素材?叫 Claude 按照客戶、專案、檔案類型自動分類歸檔,順便統一命名規則。

📊 數據報告生成

讓 Claude 打開你的 Google Analytics 或社群後台,擷取數據,自動生成 Excel 報表或 PPT 簡報。每週例行報告不用自己做了。

📝 內容排程與發布

設定排程任務,讓 Claude 每天早上自動幫你檢查 Email、整理待辦事項,或者定時到 CMS 後台執行發布作業。

🔍 競品研究

讓 Claude 用瀏覽器幫你研究競品的網站、定價、新功能,自動整理成比較表格。配合 Dispatch,在外面用手機下指令就好。

最有價值的用法是搭配 Scheduled Tasks(排程任務):設定一次,Claude 每天或每週自動執行。例如「每週五下午幫我把這週的設計專案進度整理成報告」——這類重複性工作不再需要你手動操作了。

價格方案與限制

項目Pro 方案Max 方案
月費$20 USD$100-200 USD
Computer Use
Dispatch
Cowork
平台支援macOSmacOS
用量限制較低較高

目前的主要限制:

僅限 macOS:Computer Use 目前只支援 Mac,Windows 支援尚未推出

電腦要保持開機:你的 Mac 必須醒著且 Claude Desktop App 要在運行中

Research Preview:功能仍在早期階段,複雜任務可能需要重試

消耗更多額度:Cowork 和 Computer Use 會比普通對話消耗更多的訂閱額度

跟其他 AI Agent 比較

如今 AI Agent 賽道已經非常擁擠。Claude Computer Use 怎麼跟其他玩家比?

功能Claude CoworkManusOpenClaw
操作方式Connector 優先 + 螢幕操作雲端 VM + 瀏覽器本地螢幕操作
是否需要電腦開機否(雲端)
設定難度極低偏高
安全性沙盒 + 逐 App 權限雲端隔離風險較高
手機遠端操控Dispatch網頁介面需自行設定
費用$20-200/月免費 / 付費開源免費

Claude Cowork 最大的優勢是 三層工具優先級 的設計——能走 API 就走 API,比純螢幕操作快得多也準得多。加上 Anthropic 在安全性上的投入,以及不需要任何技術設定,對一般使用者來說門檻最低。

但如果你需要雲端運算(不用開電腦)或是跨平台支援,Manus 可能更適合你目前的需求。

重點整理

📝 重點整理

Claude Computer Use 讓 AI 從「回答問題」進化到「直接操作你的電腦完成工作」

三層優先級策略:Connector → 瀏覽器 → 螢幕操作,自動選擇最快路徑

Dispatch 讓你用手機遠端指派任務,出門在外也能讓 Claude 繼續工作

逐 App 權限 + 沙盒隔離 + 防注入掃描,安全機制多層保護

目前僅限 macOS,需 Claude Pro($20/月)或 Max($100-200/月)訂閱

仍是 Research Preview,適合先體驗再觀望,從簡單任務開始嘗試

延伸資源

Figma 線上課程推薦

線上課程

🎨 UI/UX 設計

Figma 設計課程|RAR 設計攻略

從介面設計到原型製作,用 Figma 打造完整的設計工作流。搭配 AI 工具,讓設計效率翻倍。

AI 設計覺醒

訂閱制

✨ AI × 設計趨勢

AI 設計覺醒|RAR 設計攻略訂閱方案

AI 工具每週都在更新,我幫你過濾雜訊,只整理對設計師真正有用的 AI 應用

AI 工具實測與工作流分享

設計師角度的 Prompt 技巧

每週精選 AI × 設計新知

文章標籤

# Claude