谷歌發佈 Android 任務自動化框架，Gemini 可直接操作第三方應用

在Gemini自動化功能發佈之際，Google詳細披露了Android系統底層的技術實現機制。該公司正"引入早期階段的開發者功能，旨在彌合您的應用與代理應用及個性化助手（如Google Gemini）之間的鴻溝"。

儘管這一探索仍處於早期測試階段，Google強調這些功能的設計"以隱私和安全爲核心"，這是應用生態系統探索這一範式轉變的第一步。

Android系統提供兩種技術路徑。首先是AppFunctions，該功能雖於去年悄然發佈，但直到現在才完全公開細節。作爲Android 16平臺功能及配套的Jetpack庫，AppFunctions允許應用向調用者（如代理應用）暴露特定功能，使其能夠在設備本地訪問和執行這些功能。

開發者需將其應用能力詳細描述爲工具和代理及AI助手（如Gemini）可調用的工具。Google將AppFunctions比作目前在代理和服務器端工具中流行的模型上下文協議（MCP），但強調這些功能在Android設備本地運行。具體應用案例包括：

任務管理與生產力場景：當用戶提出"提醒我今天下午5點在辦公室取包裹"的請求時，調用者識別相關任務管理應用，並調用創建任務的功能，根據用戶提示自動填充標題、時間和地點字段。

媒體與娛樂場景：用戶請求"創建一個包含今年頂級爵士樂專輯的新播放列表"時，調用者在音樂應用內執行播放列表創建功能，將"2026年頂級爵士樂專輯"等上下文作爲查詢參數傳遞，立即生成並啓動內容。

跨應用工作流場景：針對"從Lisa的郵件中找到麪條食譜，並將食材添加到我的購物清單"的請求，該過程調用多個應用的功能。首先，調用者使用電子郵件應用的搜索功能檢索內容，然後提取相關食材，再調用購物清單應用的功能填充用戶的清單。

日曆與日程安排場景：當用戶說"把媽媽的生日派對添加到下週一下午6點的日曆"時，經授權的代理應用調用日曆應用的"創建事件"功能，解析"下週一下午6點"等相關上下文創建條目，無需用戶手動打開日曆應用。

Google展示了AppFunctions在Galaxy S26上利用Samsung Gallery應用的示例。

用戶無需手動滾動瀏覽相冊，只需簡單要求Gemini"從Samsung Gallery中顯示我的貓的照片"。Gemini接收用戶查詢，智能識別並觸發正確功能，直接將Samsung Gallery返回的照片呈現在Gemini應用內，用戶無需離開當前界面。該體驗支持多模態交互，可通過語音或文字完成。用戶甚至可以在後續對話中使用返回的照片，例如通過短信發送給朋友。

與此同時，Google表示Gemini應用已開始使用AppFunctions爲其在Google應用及OEM默認應用中的日曆、筆記和任務集成提供支持。

Android系統還在開發第二種方法，即今天上午針對Galaxy S26和Pixel 10系列宣佈的Gemini自動化功能。Google解釋："雖然AppFunctions爲應用與AI代理及助手通信提供了結構化框架和更強的控制，但我們知道並非每種交互都已具備專門的集成。"

爲此，Google正在"開發UI自動化框架，使AI代理和助手能夠在用戶已安裝的應用上智能執行通用任務"。該平臺承擔繁重工作，開發者無需編寫代碼即可獲得代理功能，這是無需重大工程投入即可擴展覆蓋範圍的低門檻方式。

Google透露，Android 17將"擴大這些功能，覆蓋更多用戶、開發者和設備製造商"。公司目前"正與少數應用開發者合作構建體驗，專注於在生態系統演進過程中提供高質量用戶體驗"。Google計劃"今年晚些時候分享更多細節，說明如何利用AppFunctions和UI自動化爲您的應用啓用代理集成"。