從這裡體驗 AI Pointer
先從兩個官方 demo 開始。Create 適合用來改變畫面中的內容;Find 適合指向畫面資訊,讓 AI 幫你辨識或尋找。
它是什麼
AI Pointer 是 Google DeepMind 的一個實驗,探索當滑鼠游標變成 AI 介面的一部分時,使用方式會怎麼改變。
你不需要把所有背景都打進聊天框,而是先指向你要處理的東西,再說你想讓 AI 做什麼。
為什麼它重要
現在很多 AI 工作,其實都像是在把螢幕上的東西翻譯成文字。你要複製內容、開新分頁、貼到 chatbot、補一大段背景,最後再把結果搬回原本的工作流程。
這樣可以用,但它會在你正在思考時製造很多摩擦。AI 本身很強,可是介面一直要求你離開真正工作的地方。
AI Pointer 把「指向」本身當成脈絡。游標可以先替你說出「就是這個、這裡」,你再補上想做的事。這會讓 AI 更靠近螢幕上的工作,而不是把每個任務都丟進另一個聊天視窗。
體驗 Create demo
當你想讓 AI 根據你指向的區域修改或生成內容時,可以先試 Create。
這個 demo 裡已經有畫面指引,所以最簡單的方式就是直接打開、照著內建步驟操作,感受它比一般 chatbot 少掉多少前置說明。
體驗 Find demo
當你想讓 AI 理解或找出畫面中的某個視覺資訊時,可以先試 Find。
這一部分比較像搜尋,但差別是查詢條件不再只是你打出來的文字,而是螢幕本身也成為 query 的一部分。
Googlebook 小補充
Google 也在 Googlebook 介紹中提到相關的 Magic Pointer 概念,Gemini 可以根據你指向的內容提供情境建議。
這代表 AI Pointer 不只是單一 demo,而是跟 Google 更大的產品方向有關:如果游標能帶著脈絡,AI 不一定每次都需要獨立的聊天視窗。
需要注意什麼
目前這些仍然是實驗 demo,不是已經完成的日常產品。
你可能需要 Google 帳號,而且 demo 內容可能會隨著 AI Studio 更新而改變。
如果這種介面之後變得普遍,真正需要注意的是隱私、螢幕權限、支援哪些 app,以及 AI 是否清楚顯示它正在把畫面哪一部分當成脈絡。