开啓“空間計算”時代的蘋果頭顯，暗藏“腦機接口”？ 新智元關注 本文來自微信公衆號：新智元 （ID：AI_era），作者：新智元，原文標題：《蘋果封神頭顯Vision Pro竟暗藏“腦機接口”！蘋果前員工瘋狂揭祕讀心操控》，頭圖來自：視覺中國 蘋果Vision Pro的橫空出世，一夜之間在全球引起軒然大波。 正如庫克所稱，這將开啓“空間計算”時代，足見Vision Pro對所有人來說意義非凡。 戴上Vision Pro，只需眨眨眼，捏合手指，甚至動動嘴，“頭號玩家”的科幻便成爲可能。 圖片來自：蘋果發布會 但，蘋果Vision Pro的科幻感，不僅於此。 頭顯發布後，蘋果前研究員Sterling Crispin在推特回顧自己工作中，透露了不少關於Vision Pro的“黑科技”。 最讓人驚豔的是，Vision Pro其實還暗藏着一種“腦機接口”技術。 不需要芯片植入，它就能預測你的大腦行爲，妥妥的“讀心術”。 灰色框可能是蘋果在搞祕密的項目 此外，蘋果頭顯還能根據個人身體和大腦的數據，來檢測心理狀態。 看似篇幅不長的推文，給許多人對蘋果Vision Pro帶來了無限的暢想。 Vision Pro暗藏“腦機接口”？ 2018年，Sterling Crispin加入蘋果技術开發小組，擔任“神經技術原型”的研究員。 3年前，他开始參與Vision Pro的研發工作。 正如他在推特上所稱，自己花費人生10%的時間爲Vision Pro的开發作出貢獻，這是他做過的最長的一次努力。 Crispin在蘋果的大部分工作都受到保密協議的約束，涉及廣泛的主題和方法。 但其實，這些工作，有些蘋果已經申請了專利，可以拿出來講。 Crispin稱，“要使特定預測成爲可能，涉及很多技巧，我提到的少數專利對此進行了詳細說明。” 最酷的能力就是能夠預測用戶，會在他們實際點擊之前，點擊某些東西。 而這項技術背後的主要原理是，每個人在做每件事之前，瞳孔會做出反應，其中部分原因是你預計在你點擊之後會發生一些事情。 因此，蘋果可以通過算法來監視你的眼睛行爲。 並實時重新設計UI，以創建更多這種預期的瞳孔反應，從而創建個人大腦的生物反饋。 這其實就是通過眼睛實現的初級“腦機接口”。 Crispin表示，“這是一項艱巨的工作，也是我引以爲豪的事情。隨時都會接受侵入性腦部手術。” 從中可見，蘋果頭顯利用大量神經科學技術來开發其中的一些關鍵功能，憑借不同技巧來確定一個人將要做的事。 此外，Crispin稱自己工作很大一部分，涉及通過用戶在沉浸式體驗中的身體和腦部數據，來檢測用戶的心理狀態。 畢竟沉浸在虛擬世界中的人們，真的很需要有個健康檢測的功能。 當你處在混合現實，或者虛擬現實體驗中，AI模型嘗試預測你是否感到好奇、思維漫遊、害怕、注意力集中、記起過去的經歷或其他認知狀態。 而這些都可以通過眼動追蹤、腦部電活動、心髒跳動和節奏、肌肉活動、大腦中的血液密度、血壓、皮膚電導等測量數據來推斷。 除了以上提到的技術，推測認知狀態還包括你可能察覺不到的方式。 比如，向你快速閃爍視覺效果，或者聲音，然後測量你對此的反應。 還有一項專利介紹了，如何使用機器學習，以及來自身體和大腦的信號來預測你的注意力、放松程度或學習情況。 然後，頭顯會自動更新虛擬環境，以增強這些狀態。 因此，你可以想象一個自適應沉浸式環境，它可以通過改變你在背景中看到和聽到的內容，來幫助每個人學習、工作或放松。 Sterling Crispin介紹的這些科技，或許我們能夠在VisionPro未來迭代升級中看到。 背後部分專利一覽 支撐發布會上魔幻演示效果的，是蘋果在默默开發VR設備這么多年中自己的技術積累。 5000多項VR專利，是發布會上驚豔衆人的產品的基石和護城河。 圖片來自：蘋果發布會 現在就來看看演示中涉及到的專利技術。 雙手 意念控制一切 市面上幾乎所有的VR設備都配備了手柄。 但是蘋果卻大膽地在自己的第一款VR產品中就完全依賴手勢追蹤和眼球追蹤實現了絲滑的控制效果。 背後的技術在2023年獲得了專利。 根據專利圖示，FIG.1是3D操作環境的框架圖，展示了用戶UI實現的整體框架。 FIG.4是捕捉用戶的手勢輸入的頭顯計算機系統的手部跟蹤單元的框架圖。 FIG.5是用戶的眼球追蹤數據輸入的頭顯計算機系統的眼睛跟蹤單元的框架圖。 這個專利圖例展示了眼球反光輔助眼球追蹤的流程圖。 除了提供手部和眼球追蹤技術的基礎之外，該專利還描述了用戶如何在3D環境中更有效的進行交互的設計和流程。 強大的手勢追蹤體驗，還源於今年5月，蘋果又獲得了一項專利。 這項專利描述了頭顯中的攝像頭如何使用深度映射來區分不同的手勢。 圖注：FIG.7E/F/H/I 說明了相對於三維環境，基於用戶在一系列用戶輸入期間保持的手握力從而有選擇地移動虛擬對象或相對於三維環境（以及三維環境中的所有虛擬對象）移動視點維度環境。 一鍵生成3D形象 還記得之前被全網嘲諷的小扎在Horizon World裏的3D形象嗎？ 蘋果給出的方案也許部分解釋了爲什么同樣是做VR設備，蘋果能引爆全網，Meta卻讓自己的股票“跌跌不休”。 背後的技術專利也在上周被公布出來。 這個專利描述了未來的 Apple Watch 和 XR 頭顯將允許用戶使用設備上的相機設置自己的 3D 頭像的技術。 在專利的示意圖中，蘋果展示了未來的 Apple Watch允許用戶使用 Apple Watch 背面的傳感器拍攝自己的 Face ID 圖像。 該傳感器技術同樣可用於XR環境。 無限畫布 蘋果發布會上演示的Vision Pro可以將周圍空間作爲無限畫布。 用戶不僅可以隨意使用任何APP，而且可以把它們調成喜歡的任意尺寸。 蘋果在 2018 年就申請了和這個功能相關的專利，這項技術讓未來的XR頭顯提供用戶在 3D 環境中編輯文檔的功能。 如下圖 Apple 的專利圖所示。 另一個相關專利是2021年獲得的，讓佩戴XR頭顯設備（HMD）的用戶可以查看顯示器（Mac、MacBook 或電視）並根據需要進行虛擬擴展的技術。 收購AR初創公司Mira 其實，從申請多項專利可見，蘋果在AR/VR領域的探索，蓄謀已久。 最早可以回溯到2010年，蘋果就收購了來自瑞典的面部識別技術公司Polar Rose。 在Vision Pro推出的後一天，就傳出了蘋果近來收購了Mira。這是一家構建輕量級AR頭顯的初創公司，還爲美國軍方提供服務。 根據Mira首席執行官Ben Taft在Ins上的帖子顯示，作爲收購的一部分，蘋果已經聘請了至少11名Mira的員工。爲Mira在蘋果的下一篇章感到興奮。從宿舍到收購的7年旅程。 目前，具體收購金額未知，也不清楚Mira在蘋果的增強現實路线圖中扮演怎樣的角色。 據2名前員工透露，蘋果前設計主管Jony Ive曾一度擔任這家初創公司的顧問。 Mira於2016年由Ben Taft創立，總部位於洛杉磯，一直在爲全球客戶生產AR頭顯，包括任天堂在日本環球影城中的主題公園。 這家初創公司迄今已籌集了約1700萬美元的資金，包括藍熊資本、幸福投資和紅杉資本在內的投資者。 而蘋果在Vision Pro中展示出來的很多技術，也是源於一次次成功的收購。 比如一些手勢和空間定位的專利技術，就是通過收購了總部位於蒙特利爾的 VRvana獲得的。 頭顯“iPhone時刻”到來，還需5年 蘋果推出的Vision Pro，預示着它的下一個時代即將到來。 這款頭顯標志着蘋果首次創建了一個新的計算平台，可以取代現有的大部分主要產品。 盡管iPhone蠶食了iPod，iPad威脅到了Mac。但是，還沒有哪一個蘋果產品類別能夠同時擊敗當前3個主要細分市場。 彭博報道稱，想讓Vision Pro成爲iPhone的替代品，至少需要5年的時間。若要成爲殺手級產品，可能需要付出更多的時間。 如今，Vision Pro售價3499美元，價格高且不說，不能與手機互聯互通，甚至也不能打電話。 而且設計還是太過笨重，而且必須隨身裝一個外置電池組，僅有2小時電量，無法長時間使用。 圖片來自：蘋果發布會 但在接下來的幾年裏，蘋果能夠解決這些問題，並推出一款“無所不能”的設備。 表面來看，Vision Pro看起來就像是一個爲有錢人，或者那些對科技新品有無限需求的人而定制的“高價玩具”。 但是，蘋果在WWDC上也竭力表明，這是每個人的設備，從辦公、到娛樂、視頻、出行等等方面。 不過，這並非不可能。 蘋果在iPhone、MacBook等產品的迭代更新向世人展示了自身的潛力。 進而，Vision Pro及其更先進的後續產品的發展價值，也將變得更加清晰。 其實還有一點是，Vision Pro並不像iPad或iPhone一樣容易上手。而且每個人戴上頭顯還可能會有沉浸體驗的不舒適感。 不過，隨着時間的推移，人們便會習慣這種全新的“空間計算機”，就像戴一副眼鏡一樣。 通過Vision Pro，蘋果展示了自己正朝着將計算設備體積縮到最小、最輕便的未來努力。 但這可能是一條漫長，而崎嶇的道路。 不過，至少在周一的2個小時裏，對於數百萬果粉來說，這款頭顯讓他們終於見證了Vision Pro的到來。 或許有一天，我們可能會戴着Vision Pro，觀看WWDC 2030。