會自己逛淘寶發紅包,這個語音助手有點越界。。。

前兩天,世超玩到了一個很有意思的手機助手。

雖然還很不成熟,甚至可以說簡陋。但是,世超隨手錄了幾段發到了羣裡,直接收穫一堆來自數碼編輯們的驚歎。

“ 它是怎麼做到的? ”

現在,我就把這幾段素材分享出來,給差友們也看看。

在世超的素材裡,這個助手做到了像人一樣理解指令,並且完美操作了手機。

這個操作完美到什麼程度呢。現在我正吃着的這碗香氣撲鼻的大面條,就是這個助手給我點的,全程我幾乎沒有插手。

我只和它說, “ 我想吃次塢阿生手打面的紅燒小排面了。 ”

接着,它就開始在我手機上操作了。熟練地退出對話界面,在一堆花花綠綠的應用中,調出點飯的那個黃色袋鼠頭。

而且,我的指令裡沒說要吃哪家。它找到好幾家後,知道向我二次確認店家信息。

在得到第一家的答覆後,進店、搜索、加購,就這麼絲滑地幫我點上了。

當然了,出於安全考慮,付錢的這步還得我們自己來。但其他部分,基本不需要我們插手。

後面還有更神奇的。

最近編輯部的一位好朋友拿了塊 B 站的百萬粉絲小牌牌,半個辦公室的同事都排着隊跟他合照,整個朋友圈都被刷屏了。

我實在嫌一個一個點贊留言實在太麻煩了,就試着讓它幫我一步到位。

“ 幫我給小發最新朋友圈點贊,並且寫一串彩虹屁。 ”

它不僅精準地找到了小發,甚至還知道偷懶用縮寫的 xf 搜。

點進朋友圈,找到了最上面一條,然後輕輕送上一個贊。並且,在評論區留了一串,我這輩子也憋不出來的彩虹屁。

看到這,可能很多差友們開始好奇,世超到底用的啥手機。

怎麼感覺聰明程度,和自己手機上的助手不是一個級別的?

其實它不是 Siri 這種手機自帶的手機助手,而是世超前兩天從智譜那裡薅來的 AI AutoGLM,一個手機上的 AI 助手。

感興趣的可以申請內測試試,不過目前還只支持安卓,果子用戶們還得等等了。

它這種操控手機的設定,這和前幾天刷屏的 Claude 3.5 的新能力不謀而合了。Claude 3.5 也可以做到控制電腦,甚至能自己在電腦上玩數獨 ( 玩 得 很爛 )。

而智譜的 AutoGLM 則是可以控制手機。不需要我們設定什麼工作流,什麼都不需要設置,只需要說話。

讀到這,是不是覺得有點賈維斯那意思了?

不過,作爲一個外來應用,智譜助手要想達到上面這些操作,方法還比較粗暴, 只能通過獲取我們的無障礙權限 。這個權限可以讓應用模擬我們的操作,來控制我們的手機。

面向老年人的平安通,用的也是類似的權限。

有了暢通無阻的權限,再加上 AI 的理解和對話能力的加持。 使得智譜的助手,可以完美復刻我們很多的操作。

在微信上,它能發消息、轉賬、發紅包、朋友圈點贊,關注賬號,閱讀賬號內容並且總結等等等等。

像給你的老婆發個情人節精美小作文,或者給你的老闆發段彩虹屁。你指令給的不準,它也能懂。

說句 “ 讓火鍋趕緊下樓, ” 它就知道要發下樓。

再比如賞火鍋個 5 塊錢紅包,也是大手一揮,大氣至極。 ( 素材演示,實際並未轉賬 )

還好付錢得手動結賬,不然真怕啥時候口誤,就不知道便宜誰了。

像導航軟件,打車、搜攻略,導航這些最簡單的,都是指哪打哪。它也能理解各種應用裡的內容,像讓它去小紅書上找個什麼攻略,並且總結一下。

很多以前壓根不會讓手機助手做的事,現在我都敢張嘴,試着讓它給我辦辦看。

就比如世超現在歲數小漲,就經常容易忘事。

家裡的牙膏沒了,餐巾紙要買了,或者是某個東西壞了。我前腳剛說: 哎,這東西得記得買了。

結果一轉頭,馬上把這茬忘了。就算點開了淘寶,要是中途一個消息彈出來,就再不可能點回來。

所以我家水壺,現在已經壞了半個月了。。。

這回我路過看到那個蓋子壞了的水壺,只用打開手機說: “ 給我買一個上次買過的澆水壺。 ” 然後再點擊付款就完成了。

你還能把大模型的能力也用起來,它不僅能寫朋友圈的彩虹屁,也能給你寫出幾十、上百字的商品好評。

不過,試用中,世超也發現了這種模擬點擊的操作方法存在的問題: 如果遇到彈窗,智譜這個助手就傻眼了。

要麼直接點進廣告裡去了;要麼聰明點,等到彈窗消失;如果遇到必須手動×掉的廣告,它就只能求助於我們。

你以爲它完全自動化了,結果卻突然要你手動操作一下,這就讓人格外難受了。

幾天試下來,類似這樣的小毛病,大大小小也遇到不少。

世超一直常用的外賣軟件其實是餓了麼,導致我一開始讓它幫我點飯,它直接就罷工了,說 我沒磨硬拉,連點飯 APP 都沒有就讓它幹。

這是由於還在內測,所以 支持的軟件數量還比較少。操作起來也不穩定,現在能用的功能,主要還是集中在下面這幾塊。

很多系統級別的任務,像換個壁紙,目前它還做不到。讓它去支付寶裡,給你偷能量、喂小雞,它也會無奈地說自己不會 ( 這個建議趕緊上架,很需要 )。

並且反問你:【 你確定要我幹嗎? 】。

比如你如果非它試試,要麼就是卡住不動,要麼就是給你打開其他軟件,來一場抽象瞎點。

當然了,雖然有不少瑕疵,但這些和世超自己薅到的還是內測版有關。

應用少、不穩定這些問題,以後都是可以慢慢解決的。我估計按照 AI 應用們卷的速度來看,到下個月這個工具就會大變樣。

而且,讓 AI 能操作工具,這事其實並不好做。尤其大模型的各種能力在實際落地執行的時候,很容易發生衝突,互相打架。

這也是爲什麼大模型發展成這樣了,能真正在手機上取代操作的 phone use 應用還是很少。

不過,相信看到這裡,不少差友心裡一定有擔心。

作爲一個第三方應用,獲取這麼高的系統權限,是不是會有風險?

如果真的就這麼光桿子把應用推到大家面前,也一定會因爲風險和隱私問題受到質疑。

解法之一可能是和主機廠商的深度合作。而智譜在這一週,也已經官宣了和高通基於驍龍芯片的端側大模型優化,還有和三星的戰略合作。

有種一切正按照計劃走的即視感。

總而言之世超覺得,如果說賈維斯,現在這個初始版的 AutoGLM 還是擔不起。

但給我們的手機助手來個超級加倍,確實是綽綽有餘。

撰文:四大

編輯:江江 & 面線

美編:煥妍

圖片、資料來源:

智譜 AutoGLM