最強 AR 眼鏡 + 最受歡迎開源 AI，Meta 大會小扎贏麻了
作者 | 張勇毅編輯| 靖宇
「扎克伯格人去哪了？」
這是在預計時間開始後十分鐘、Meta Connect 2024 主題演講仍然遲遲沒有開始後，各大直播平臺評論裡觀衆提問最多的問題。
原本預定將於太平洋時間早上十點（北京時間 9 月 26 日凌晨一點）開始的主題演講，實際在計劃時間開始 15 分鐘後才隨着 Meta 創始人扎克伯格跑步入場開幕：給人一種小扎也是踩點早高峰上班、不小心遲到的打工人的感覺。
好在本次發佈的新品足夠重磅，還算彌補了全球網友損失的這十幾分鍾壽命：除了更便宜的 Quest 3S 系列，還有 MetaAI與 Llama 3.2，以及讓我們得以一窺未來AR眼鏡形態的 Orion 原型機。
最受歡迎的「AI 眼鏡」、最強功能的 AR 眼鏡，以及最多人使用的開源 AI，難怪最近扎克伯格的採訪總給人一種「我強的可怕」的感覺——苦熬多年的元宇宙最終結出了 Orion 這樣的 AR 之花、Llama 3.2 大模型依然在繼續開源，他確實有底氣說：
Meta，是一家用技術實現願景的公司。
01. Quest 3S：下一臺銷量千萬的 Quest
可能是意識到因爲自己遲到，讓全世界多等十五分鐘犯了衆怒的原因，扎克伯格上臺後甚至沒怎麼寒暄，迅速單刀直入，在演講開始的三分鐘內就公佈了 Meta Quest 3S 的價格，堪稱近幾年的硬件產品發佈會中的一股清流。
圖片來源： Meta
作爲 Meta 寄予厚望、支撐起 Quest 系列全球出貨量超千萬臺的新品。Meta Quest 3S 起售價 128GB 版本爲 299 美元，256GB 版本售價 399 美元，十月 15 日開售。
相比 Quest 3 系列，定位入門級的 3S 在芯片等主要硬件規格上與 Quest 3 保持一致，但在機身材質與顯示畫質從 4K 降低至 2K（Quest 3S 單眼分辨率爲 1832*1920）兩個方面做了取捨，換來更低廉的售價。
Meta Quest 3S 外觀 | 圖片來源： Meta
當然，作爲 Meta 每年發佈 Quest 新品吸引用戶的慣例，這次也少不了一大批新遊戲、新軟件的登陸與適配：現在 Quest 3 系列不僅原生支持 Windows 11 設備拓展多顯示器功能，此前備受期待的蝙蝠俠 IP MR 遊戲《阿卡姆之影》屬於附贈內容，從現在開始每一位在 2025 年四月之前購買 Quest 3S/3 的用戶都能免費將其收入庫中，算是硬件大廠中相當有誠意的軟件促銷內容了。
在 Quest 3S 發佈之後，Quest 3 將僅保留 512GB 版本售賣，售價從原本的 649 美元降至 499 美元。
02. Meta Rayban：新設計、新功能
在真正的大招放出來之前，扎克伯格還是賣了個關子，帶大家回顧了一下 Meta Rayban 過去一年所取得的成績。
作爲很可能是迄今爲止是業界唯一一款真正意義上取得現象級成功、出貨量超百萬的 AR 眼鏡產品，Meta Rayban 系列對於 Meta 的重要性不言而喻。
因此本次發佈會中，Meta 也給 Rayban 系列帶來了一系列新功能：包括一款名爲「Be my eyes」的互助類 App，用來讓眼鏡給低視力患者充當義眼，將眼鏡所拍攝到的眼前數據實時上傳，並由其他視力正常的志願者幫助 Meta Rayban 的使用者來感知日常世界。
圖片來源： Be my eyes
Meta Rayban 眼鏡所搭載的 MetaAI現在也加入了更多多模態功能——比如自動識別車牌號，幫你記錄停車位置，以及通過語音指令要求 Meta AI 在航班着陸後三個小時內自動給家人報平安；或者是藉助 Meta Rayban 的多模態能力，使用 Meta AI 來感知顯示世界中的地標建築，幫你快速適應一個新街區或城市——比如生成一份旅遊計劃。
另外 Meta Rayban 現在也能通過 MetaAI，實現實時語言翻譯了——這是如今一些 TWS 耳機已經支持的功能，目前 Meta Rayban 的版本支持英語、西班牙語、法語與意大利語，未來還將有更多語言陸續加入。
最後，Meta 還發布了一款限量特別版 Meta Rayban，機身採用透明設計，整體在維持飛行員系列的時尚外觀的同時看起來更有科技感。
特別款 Meta Rayban | 圖片來源： Meta
能夠根據外部光源切換眼鏡/墨鏡形態、並且具有超高響應速度的 UltraTransitions® GEN S™ 系列鏡片現在也加入了針對 Meta Rayban 的定製版，時尚的同時出街搭配更方便了。
UltraTransitions® GEN S™ 系列鏡片 Meta Rayban 定製版 | 圖片來源： Meta
03. Orion：「下一代 AR 交互體驗」
但我們都知道，Meta Rayban 其實並非典型意義上的「AR 眼鏡」：由於 Meta Rayban 完全不具備內容顯示能力，因此業內一直有不少人認爲 Meta Rayban 所取得的成功，對於推動 AR 技術（尤其是顯示技術）繼續向前發展並無太大幫助，甚至是在摧毀 AR 初創企業生長的土壤，理由也很簡單：
「連行業老大做的智能眼鏡都沒有顯示功能，會讓很多人會好奇AR眼鏡真的還有未來嗎？」
但今天發佈的新品，或許會讓持有這種觀點的質疑者完全收回這句話，因爲 Meta 發佈的 Orion AR 眼鏡，當之無愧讓我們看到了「下一代 AR 交互體驗」的雛形。
在硬件上，Orion 採用了 ULED + 微型投影儀方案，不僅支持全綵內容顯示，還能通過空間定位，將接近 Vision Pro 或 Quest 那樣的窗口空間定位能力，整合在 AR 眼鏡這樣要輕盈的多的形態中，也可以說是 Meta 在 AR 領域研究的集大成之作。
爲了支持接近 VR 頭顯的空間計算效果，Orion 在眼鏡上塞進了七顆攝像頭來感知周圍環境。
爲了搭建起能夠處理這些數據的算力環境，Orion 又單獨設計了一款體積不小的橢圓形計算單元，採用無線數據傳輸的方式來完成眼鏡計算空間數據所需的算力，但因爲是無線傳輸，所以計算單元與眼鏡之間的距離不能超過 12 英尺。
Orion 的計算單元、腕帶與眼鏡本體 | 圖片來源： Meta
除了手勢識別，Orion 還支持眼球視線交互，甚至通過搭配腕帶，還能在你的手不刻意擡起來，自然低垂在腰間的狀態下，識別到諸如「搓大拇指」這樣微小的交互手勢——這些甚至已經與 Vision Pro 的交互操作能力無異，但這些都被集成在了一臺重量僅爲 100 克，外觀接近 Meta Rayban 的產品形態中。
僅僅以上目前 Orion 所展示出的能力，就已經堪稱對 AR 眼鏡領域的又一次「降維打擊」：現場還播放了一條片，包括黃仁勳老黃在內的各界大拿在體驗到 Orion 的實際表現後，衆人紛紛露驚呼難以置信以及露出震驚表情的畫面。
老黃體驗過 Orion 之後的表情 | 圖片來源： Meta
相比 Meta Rayban 通過產品的精準定義取得成功，Orion 這次是 Meta 從更高的技術維度上，再一次顛覆行業。
「這就是我們一直以來致力於達成的目標」，對於 Orion 對於 AR 眼鏡現有能力帶來的顛覆，扎克伯格這樣表示了 Meta 的計劃。
Orion 是目前唯一一款展示了接近全功能 MR 頭顯空間交互能力的 AR 眼鏡 | 圖片來源： Meta
但扎克伯格也承認，現階段的 Orion 還只是一個原型機，「在（AR 眼鏡）正式量產面向用戶之前，還有很多問題需要解決」。
比如，此前包括老黃在內的嘉賓，他們體驗到的 Orion 的實際分辨率爲 13 像素/度（Quest 3 爲 25 像素/度），在顯示效果上相比目前業內存在的 AR 眼鏡，其實並無太大優勢，但 Meta 也小小展示了一下藏着的底牌——另一臺並未對外界過多展示的 Orion 原型機，已經能在相同體積下，做到 26 像素/度的清晰度。
只是在目前 AR 眼鏡的產品形態下，更高的分辨率勢必要犧牲更多的電池壽命——這對於強調全天佩戴的 AR 眼鏡來講很大程度上是一個致命的問題。
另外，成本也是一個重要的量產考量因素：Meta 在會後向媒體透露：目前 Orion 這套解決方案的硬件成本超過 1000 美元。這個價格相比 Vision Pro 的定價堪稱低廉，但放在AR眼鏡品類中已經是一個令人驚悚的天文數字。
因此，在價格與功能之間取得平衡也會是一個重要的考量。
無論如何，Orion 已經讓我們得以「管中窺豹」地瞭解到，過去數年 Meta 在 AR 領域的技術積累，或許到明年 Meta Connect 25 上，我們就能看到更接近普通用戶的 Meta AR 眼鏡產品了。
04. Meta AI ：月活 5 億，小扎稱「全球最多」
聊完硬件，扎克伯格還有 AI。
據扎克伯格透露，整合到 Facebook 和 Instagram 裡的 Meta AI 聊天機器人現在月活用戶是 5 億，他還稱，Meta AI 有望在年底前成爲全球使用最多的 AI 助手。
緊跟各個行業對手，在 Connect 大會上，Meta AI 朝着多模態進一步邁進。
就像 OpenAI 那樣，Meta 現在也有 AI 語音對話了。與 OpenAI 這一功能的入口是 ChatGPT，Meta 的入口則是 Messenger、Facebook、WhatsApp 和 Instagram D 等衆多產品，用戶可以在這些產品裡用語音與 MetaAI 對話。
扎克伯格說：「我認爲，與文本相比，語音將成爲與AI交互的更自然方式。」
隨着該功能開始推出，據扎克伯格介紹，用戶可以選擇不同的語音選項，包括一些美國名人的熟悉聲音。在舞臺上，一個以奧卡菲娜爲模型的 AI 語音回答了扎克伯格的一個問題。
Meta 顯然吸取了教訓，已經與這些名人達成合作，沒像 OpenAI 那樣未經同意用了斯嘉麗·約翰遜的聲音後惹來控訴。
Meta 推出 AI 語音對話 ｜圖片來源： Meta
除了語音對話，Meta AI 還有一些大廠 AI 機器人必備的「常規操作」，比如圖像編輯功能，用戶直接用自然語言就能給自己的照片簡單 P 圖，包括給人物換衣服，給照片換背景等。
Meta AI 的 P 圖功能 ｜圖片來源： Meta
用戶可以將 AI 生成的圖像直接分享到 Facebook 和 Instagram 上，Meta AI 還可以爲社交帖子建議標題。
另外，用戶還在與 Meta AI 的聊天中分享照片，就照片進行提問。比如分享在徒步時看到的一朵花的照片，詢問這是什麼花，或者分享一道新菜的照片，並詢問如何製作它等。
MetaAI 功能： 就圖片進行詢問 ｜圖片來源： Meta
語音、圖片之外，Meta 的 AI 功能還將應用在視頻上。Meta 正在測試自動視頻配音和口型同步功能，它將自動翻譯 Instagram 上的 Reels 短視頻，即使短視頻創作者講不同的語言，也可以讓不同的觀衆聽到自己的「母語」。
Meta 的這款 AI 翻譯功能目前還在 Instagram 和 Facebook 上小規模測試，翻譯一些來自拉丁美洲和美國的創作者的視頻，語言爲英語和西班牙語，扎克伯格計劃未來將其擴展到更多的創作者和語言。
Meta 短視頻直接轉換成觀衆母語 ｜圖片來源： Meta
在 AI 與硬件的融合方面，Meta 的與 Ray-Ban 合作的智能眼鏡也加入了包括翻譯在內的 AI 功能，扎克伯格將其稱爲新的「以 AI 爲中心的設備」。
根據介紹，這款眼鏡無需每次都說「Hey Meta」就能向 Meta AI 提出後續問題。
這款眼鏡還能夠進行實時 AI 翻譯，在現場演示中，扎克伯格講英語，另一個人講西班牙語，雙方進行了一場對話，智能眼鏡充當了翻譯。不過，從效果來看，翻譯還是像傳統的隨身翻譯那樣有一定「時差」。
05. AI 新模型：Llama 3.2，繼續開源
在 Connect 大會上，扎克伯格還介紹了 Meta 最新的 Llama 3.2 系列模型，其中包括小型和中型視覺 LLM（11B 和 90B），以及適合邊緣和移動設備的輕量級純文本模型（1B 和 3B）。
扎克伯格繼續高舉「開源」的大旗，不想讓 OpenAI 等一家獨大，提供 Llama 3.2 的開放下載，社區開發者可以在 Llama 官網和 AI 社區 Hugging Face 上直接獲取這些模型。
Meta Connect 舞臺上的扎克伯格 ｜圖片來源： Meta
Llama 3.2 系列中最大的兩個模型，11B 和 90B，支持圖像推理用例，如包括圖表和圖形在內的文檔級理解、圖像的字幕生成，以及基於自然語言描述在圖像中定向定位對象等視覺定位任務。
例如，一個人可以就上一年他們小型企業在哪個月份銷售最好提出問題，Llama 3.2 可以基於可用的圖表進行推理並快速提供答案。在另一個例子中，該模型可以使用地圖進行推理，幫助回答諸如徒步何時變得更陡峭等問題。
11B 和 90B 模型還可以彌合視覺和語言之間的差距，從圖像中提取細節，理解場景，然後撰寫一兩句話，可用作圖像字幕來幫助講述故事。
輕量級的 1B 和 3B 模型則有多語言文本生成和工具調用能力，它們使用了兩種方法——「剪枝」和「蒸餾」，是首批能夠適應設備的小型 Llama 模型。
據介紹，開發者能夠用這些模型使構建設備端的自主應用。例如，此類應用可以幫助總結最近收到的 10 條消息，提取行動項，並利用工具調用直接發送後續會議的日曆邀請。
在數據隱私問題上常年備受各界詬病的 Meta，此處的旗號是要「實現數據永不離開設備的強大隱私保護」。
在本地運行這些模型有兩個主要優勢。首先，由於處理在本地完成，提示和響應會感覺更即時。其次，本地運行模型可保持隱私，不會將諸如消息和日曆信息等數據發送到雲端，使整體應用更加私密。由於處理在本地完成，應用可以清楚地控制哪些查詢保留在設備上，哪些可能需要由雲端的更大模型處理。
據 Meta 聲稱，Llama 3.2 視覺模型在圖像識別和一系列視覺理解任務上，可與 Claude 3 Haiku 和 GPT4o-mini 競爭。3B 模型在諸如遵循指令、摘要、提示重寫和工具使用等任務上優於 Gemma 2 2.6B 和 Phi 3.5-mini 模型，而 1B 模型在與 Gemma 競爭時表現出色。
Meta 推出 Llama 3.2 系列模型 ｜圖片來源： Meta
之所以堅持開源，目前 Meta 的官方說法是，「確保世界各地的更多人能夠獲得 AI 提供的機會，防止權力集中在少數人手中。」
當然，值得指出的是，Meta 的模型屬於「開放權重」，而非完全「開放源代碼」。這一度引起業界對於 Meta 的模型是否是真正意義開源的爭議，但對於全球一些開發者來說，有總歸比沒有強。
另外一方面，構建 LLM 總是昂貴的，Meta 也有自己的商業利益要考慮，在何種程度上不損害公司利益，扎克伯克有自己的考量。
其中的關鍵一點，他此前已經在公開信中明確提到：「Meta 與封閉模型提供商之間的一個關鍵區別是，出售 AI 模型訪問權限不是我們的商業模式。這意味着公開發布 Llama 不會像封閉提供商那樣削弱我們的收入、可持續性或投資研究的能力。（這是一些封閉模型提供商不斷遊說政府反對開源的原因之一。」
扎克伯格宣揚開源 AI ｜圖片來源： Meta
此次 Meta Connect 大會，在 Orion 上，能看到 AR 眼鏡這一形態，未來進一步模糊 AR/VR 邊界的潛力，可以說 Meta 憑藉 Orion 的發佈，一戰重新穩固了自己在 AR 眼鏡技術領域的龍頭地位。
至於 AI，從 Meta 的發佈會來看，多模態 AI 已經成爲大廠和巨頭的標配。而在 AI 模型上，關於開放和閉源哪種更好的爭論還在繼續，扎克伯格的選擇，可以視作對 OpenAI 等閉源模型巨頭髮起的挑戰。
但依然要面對的現實是，無論 AR 還是 AI，在產品形態和技術選型上依然處於無盡的變化之中，而 Meta 顯然讓全世界知道，自己，纔是那個最有資格來定義這些重要技術產品的公司。
*頭圖 來源：Meta
本文爲極客公園原創文章，轉載請聯繫極客君微信 geekparkGO