ChatGPT 能分析 iPhone(iOS 18.2)屏幕,原理解析

蘋果已經發布了首個iOS 18.2 開發者測試版,其中涵蓋了這一出色的新 ChatGPT 功能。

當蘋果在WWDC首次宣佈其人工智能功能時,關於蘋果智能衆說紛紜,包括 ChatGPT 與 Siri 的集成。遺憾的是,和許多其他功能一樣,它被推遲到兼容設備的後續更新版本里了。

蘋果此後發佈了 iOS 18.2 的首個測試版,其中涵蓋了升級後的 Siri。其中一個新功能是 Siri 如今能夠掃描屏幕截圖,並藉助 OpenAI 的程序來查找它所看到內容的相關信息。

有了 ChatGPT,Siri 可以把某些問題和 OpenAI 的聊天機器人聯繫起來,但它也可以讀取 iPhone、iPad 或 iMac 屏幕上的內容。它的工作方式跟谷歌鏡頭類似,用戶能夠向 Siri 詢問屏幕上的內容。然後 Siri 會截取屏幕截圖並將其上傳到 ChatGPT,ChatGPT 能夠利用它的數據庫查找相關信息然後反饋給用戶。

對於尚未升級到 iPhone 16 的任何人來說,這個功能可能會更有用處,因爲只有更新的型號才具備 視覺智能 功能。雖然視覺智能執行類似的操作,但它能夠通過相機實時完成,而不是依靠屏幕截圖。

蘋果已經闡述了在與 ChatGPT 集成時 數據是如何處理的,以幫助消除任何對數據安全有擔憂的人的顧慮。在與 OpenAI 交流時,只有圖像和位置數據會被髮送給 ChatGPT;不會共享其他信息,例如您的 蘋果賬戶。OpenAI 不能使用這些數據來訓練其模型;然而,如果您在 OpenAI 有付費賬戶,數據和請求可能會被予以記錄。

iOS 18.2 測試版會帶來更多的新功能,包括圖像遊樂場和 Genmoji。後者能讓用戶基於多種因素創建新的自定義表情符號,比如您聯繫人中的人員。與此同時,圖像遊樂場利用人工智能依據文本提示來生成圖像,或者能夠使用內置的建議和概念。iOS 18.2 包含了一個重新設計的郵件應用程序,其具有升級後的視覺設計以及有人工智能支持的組織功能。

目前,這些功能僅在開發者測試版,但是公開測試版可能很快就會到來。所有這些變化將讓 iPhone 一直是市場上最好的手機之一。