一項出現在2020年的影像應用技術，可能會成爲智能手機和XR的影像傳感器技術迭代和體驗改善的新武器。

這項技術，目前已明確被高通和索尼，甚至是梅賽德斯-奔馳等，在不同應用領域的超級巨頭採用。

這家叫做Prophesee（普諾飛思）的法國公司，是這項被稱爲“基於事件的視覺傳感器技術”的原創公司。最近，Prophesee來到中國，專門對此項技術做了深入解釋。

就核心技術應用價值來說，這個拗口的技術名稱，在手機領域，起的作用，簡單一句話——大幅改善手機攝影照片質量。此外，在智能座艙、XR（擴展現實）、醫學和工業（高速機器視覺）方面，有超越想象的技術應用。

那么，基於事件，是什么意思？索尼已推出相應的工業傳感器，高通將於年內推出應用這項技術的驍龍芯片开發套件，屆時對手機/XR影像帶來哪些新體驗？

什么是基於事件？

在2020年的ISSCC（國際固態電路年度會議：IEEE International Solid-State Circuits Conference）會議上，Prophesee和索尼聯合推出了兩款“基於事件的”視覺傳感器（IMX636/637）。據稱，這兩款傳感器在應用於工業設備、機器人和自動駕駛汽車等領域時，能“更好地‘看見’和‘感知’環境”。

Prophesee在技術介紹中談到，基於事件的傳感器“自帶的視覺技術系統產生的數據量，比傳統圖像傳感器減少近千倍，同時能實現大於10000fps的更高幀速率”。

這是怎么做到的？

常規圖像或視覺傳感器，以幀爲單位記錄動態影像畫面。比如，電影每秒記錄24幀畫面（24fps）；很多智能手機視頻規格爲30fps/60fps，以此構成視覺上連續的影像畫面。

這種影像，實際上存在兩個問題，或者說缺陷：首先，幀與幀之間可能存在重要的未記錄信息；第二，每幀靜態畫面，非常多的信息都會被重復記錄。這些信息冗余，對後端畫面計算、數據傳輸和存儲，會構成極大負擔。

避免重復記錄重復信息，以及完整記錄幀與幀之間的全部的重要信息，這是“基於事件的視覺傳感器”有別於普通傳感器的技術特徵。

事實上，這相當於借鑑了人眼看到物理場景時，感光細胞與大腦信息的當量和速度反饋鏈條的生理性。

觀察生理學原理，人類能從1000次/s變化率的場景中捕獲有價值的信息；人類眼睛的感光細胞，在檢測到視覺場景中某些特性——如對比度或亮度——變化時，感光細胞才會將這種變化反饋給大腦。

Prophesee正是模擬應用了人眼和大腦反饋形成的信息規模和速度原理，做的其實是模擬人眼視覺的“神經形態視覺技術（Neuralmorphic Vision Technology）”。

在此技術基礎上，Prophesee开發的視覺傳感器被稱爲“硅視網膜（Silicon Retinas）”，並配以“模擬人類大腦的計算機視覺AI算法”，以及對應的包括SDK、代碼示例和即用型應用等軟件工具在內的視覺工具包智能套件。

Prophesee重新設計了像素，這就像視網膜的感光細胞。各像素之間，各自獨立故而異步，就像人體的神經元（Neuron）細胞。

因此，和人眼視覺原理類似，Prohesee开發的傳感器，只有在像素感知到場景變化時才會做信息記錄，而不會捕捉場景中保持靜態的部分。

每個像素都能根據各自感應到的光子數量，異步且智能地激活自身。在這裏，像素的每次激活稱爲一個“事件（event）”，整個過程是s級別的速度。從傳感器上讀出對應像素的數據，等效於實現10000fps的幀率。

“基於事件”，即緣於此。

同時，基於事件視覺傳感器捕獲的圖像信息，並非逐幀發送，而是通過連續的信息流捕獲事件信息，故幀與幀之間不會遺漏任何重要信息。另外，事件由場景動態驅動，採集速度始終與實際場景動態相匹配。

這就很明顯，基於事件的視覺感知設計，對應形成了三個優勢：數據產生量更少、反應速度更快、能實現更高的動態範圍（1B）。

在應用場景中，比如手機影像，這種基於事件的傳感器，在拍攝動態畫面時，不會捕捉整個畫面，而是把注意力放在正在移動的部分信息層。因此，這種傳感器能做到更高效、更快速地捕捉畫面。

高通爲何看得上？

目前，尚未有融合了基於事件的視覺技術的智能手機傳感器。2020年索尼和Prohesee聯合推出的兩款“事件傳感器”應用於工業領域，如用於外觀或異物檢測、機械異常檢測、3D測量、震動檢測和追蹤太空碎片等。

在今年的MWC2023，高通宣稱，其將Prophesee的事件視覺傳感器和軟件整合到驍龍移動平台上，相關开發套件將於今年上市。但這也不是智能手機影像傳感器。

但是，畢竟這是一個很好的开始。應用此項技術的驍龍平台，在處理最常用的拍照功能時，能輕易實現將原本用普通傳感器拍出的模糊照片變得極爲清晰，同時還不消耗AI算力。

據Prophesee聯合創始人兼執行總裁Luca Verre透露，Prophesee和高通在今年推出的开發套件是雙方合作的一部分，更重要的在於後續合作，而這項合作將給普通用戶帶來影像方面更爲優異的體驗。

“我們和高通合作，主要是兩個方面：一是技術層面，一是商業發展。”Luca Verre說，“技術方面，高通會將事件視覺傳感器和軟件整合到驍龍移動平台上；在業務發展上，高通將和我們共同推進這個產品和技術的發展和落地，向手機OEM推廣相應的解決方案。”

鑑於“事件傳感器”在醫學領域的傑出表現（比如超越想象的盲人復明），高通決定和Prophesee達成長期战略性的合作夥伴關系。這種合作是因爲對智能手機而言，“事件傳感器”蕴含的神經擬態技術，對計算影像或其他傳感應用，都能帶來極高的附加值。

高通產品管理副總裁Judd Heape表示，“神經擬態視覺技術突破了行業現有的遊戲規則，能有效突破傳統相機的局限，並提升整體用戶體驗。Prophesee 無疑是這一領域的領導者，我們對雙方的合作很有信心，這將進一步推動領先的OEM部署神經擬態視覺技術，從而开啓移動影像技術的全新時代。”

除手機外，IoT領域的監控安防，對“事件傳感器”來說，也是極好的應用場景。Prophesee的技術不但能保護隱私，而且還能節省數據流量和資源，讓整個方案變得更便捷、更輕和更安全。今年Prophesee在該領域就會有相應的量產產品落地。

除了智能手機和IoT的影像應用，“事件傳感器”對XR（擴展現實）的意義或許更大。

Prophesee在可穿戴設備和XR領域也做了探索和突破，包括像位姿跟蹤、手勢追蹤和目光跟蹤等等，這些都是增速極快且會有全新空間的新市場。

目前，XR設備的延遲較爲嚴重，使用者會產生暈眩感。但Prophesee的事件視覺技術能精准檢測目標對象的輪廓，並做高速追蹤，因而延遲較低。

另外以眼球追蹤爲例，若使用傳統攝像頭，通常需要超過500fps的速度，對算力要求極高。與傳統解決方案相比，事件視覺技術只關注畫面中動態變化的信息，可大大降低數據量，實現超高速追蹤。

2022年，Meta公司也發布了基於與Prophesee合作取得的成果和數據，在有限的功耗內實現了高性能的眼球追蹤。

值得一提的是，高通的驍龍芯片，不僅僅只限於智能手機領域，在XR領域，驍龍也有“驍龍R2”芯片，爲VR（XR的一種）提供技術支撐。

風險提示：投資有風險，選擇需謹慎。本文僅作爲知識分享，不夠成任何投資建議，對內容的准確與完整不做承諾與保障。任何人據此入市做出投資決策，風險自擔。

來源：華爾街見萬

本文作者可以追加內容哦 !