如今在手機領域，手機攝影功能稱爲各大OEM廠商非常關注和重視的一項指標，也是許多消費者在購买手機時會重點考慮的一個因素。近日，高通在驍龍峰會上介紹了一項“基於事件的視覺傳感器技術”，用來提高手機攝影照片的質量。什么是基於事件？它是否會取代現在主流的幀傳感器？高通爲何會關注這項技術？它將爲智能手機帶來哪些革新？

基於事件的視覺技術是來自一家法國公司Prophesee，近日，Prophesee聯合創始人兼執行總裁Luca Verre親自來到中國，由淺入深的爲這項技術揭开了神祕的面紗。

什么是基於事件的視覺傳感技術？

我們人眼視覺的工作原理是，當面前事物發生變化的時候才向大腦發送圖像信號。Prophesee事件視覺傳感器受人眼視覺原理啓發，基於事件的視覺傳感也僅關注場景中的動態變化，其能夠迅速響應並連續追蹤像素變化，從而打破了傳統的成像範式。

這一技術的好處有哪些？在此之前，讓我們先來看看現在的以幀爲基礎的圖像傳感存在哪些問題：首先是攝像對周遭光线條件的要求很高，其次，當我們在運動中拍照的過程中圖像會出現模糊，而在拍攝視頻的時候，幀與幀之間的一些動作會被丟失。再加上現在隨着越來越多的攝像頭开始用於智能邊緣的處理，就會暴露出一些瓶頸問題，如數據的處理量、處理速度等等。

相比傳統的基於幀的傳感器，基於事件的傳感器在拍攝一些移動物體的時候，並不會試圖捕捉整個畫面，而是會把注意力放在正在移動的部分。這就讓傳感器更加高效、更加快速地捕捉畫面，並且幾乎不受到光线條件的影響。

Prophesee的傳感器通過獨立且異步的像素設計實現了這個原理。Prophesee的Metavision 傳感器中的每個像素都有一個內嵌的邏輯核（logic core），使其能夠作爲神經元來工作。每個像素都能根據各自感應到的光子數量，異步且智能地激活自身。像素的每次激活稱爲一個“事件（event）”，所以在本質上，事件是由場景動態驅動的，其採集速度也始終與實際場景動態相匹配。

Prophesee Metavision傳感器的技術原理

與傳統的圖像傳感器，是互補，不是競爭關系

可能會有人發問，這種基於事件的圖像傳感器會不會取代現在基於幀的圖像傳感器，答案是不會，而且兩者將是有利的互補。

在傳統的以幀爲基礎的圖像傳感器領域，索尼是全球第一大玩家，佔據了全球超過40%的市場份額。Prophesee的傳感器正是與索尼合作，並由索尼來幫助完成生產供應。2021年9月，索尼和Prophesee已經合作發布了兩款基於事件的視覺傳感器，他們實現了業界最小的4.86m像素尺寸。

Prophesee的傳感器產品本身有哪些特點呢？首先是像素方面，據Prophesee聯合創始人兼執行總裁Luca Verre的介紹，對於我們的大部分目標應用而言，並不需要很高的像素分辨率，但像素尺寸是非常關鍵的，因爲它決定了我們能夠捕捉到的光线的情況，像素的尺寸越大，能夠捕捉到的光越多。

其次是生產制造工藝方面，基於事件視覺傳感器跟傳統的以幀爲基礎的傳感器都是遵循一樣的技術趨勢，譬如像BSI（背照式）3D堆棧技術。通過這個技術我們可以實現兩層甚至三層晶圓片的疊加，一層用於光的收集，然後第二層和第三層用於進行一些處理。因爲我們的像素內嵌了智能設計，所以這種3D堆棧技術對我們很重要。

最後在成本上，基於事件的傳感器跟傳統的以幀爲基礎的傳感器成本也沒有太大的差距，因爲無論是尺寸還是產能都採用相同的生產工藝。目前Prophesee和索尼的合作使用了36nm的工藝。

獲高通青睞，神經擬態視覺技術助力手機影像質量突破新高

如果說這項技術過去不溫不火，那么高通的加入，無疑爲這項技術插上了騰飛的翅膀。目前手機佔據了圖像傳感器市場60%以上的市場份額，而在手機端，目前全球60%以上的旗艦機和高端手機都是使用由高通提供的處理器。在此之前，Prophesee基於事件的傳感器實現了幫助盲人重見光明、觸摸細胞、追蹤太空碎片等我們普通人極少能接觸到的應用。

Prophesee和高通合作的一個重點就是提高手機影像的成像質量，首推的一個功能是照片的去模糊（deblur）。相信我們都體驗過在拍照時候，如果你的拍照對象移動速度很快的話，很容易產生模糊的情況，因此，圖像去模糊是很多手機OEM廠商一個主要的訴求。

下面的視頻展示了兩種不同技術拍攝視頻的表現：視頻中左側用常規的攝像機拍攝的照片，在實際拍攝過程中非常停頓，而且出現了模糊的狀態。右側是使用Prophesee基於事件技術的相機拍攝的，不僅非常連貫而且能夠很好地捕捉到運動的部分。所以在捕捉動態物體方面，Prophesee的技術和解決方案要比傳統的攝像機表現更優越。

因此，通過將Prophesee的事件傳感器與傳統的以幀爲單位的圖像傳感器進行結合，下圖右側是事件相機，左側是以幀爲基礎的相機。兩者的結合，可以借助事件相機捕捉到的運動對象的信息，來校准發生模糊的照片。

幀 事件雙攝像頭的模組

Luca Verre介紹到：“我們和高通的合作主要是在兩個方面，一個是在技術層面，一個是在商業發展層面。在技術層面，高通幫助我們把事件視覺傳感器和軟件整合到驍龍移動平台上；在業務發展層面，高通將和我們共同推進這個產品和技術的發展和落地，向手機OEM推廣這個解決方案。”

高通產品管理副總裁 Judd Heape 表示：“神經擬態視覺技術突破了行業現有的遊戲規則，能夠解決傳統相機的局限並提升整體用戶體驗，Prophesee 無疑是這一領域的領導者，我們有信心雙方的合作將進一步推動領先的 OEM 部署神經擬態視覺技術，從而开啓移動影像技術的全新時代。”

神經擬態技術將會爲未來智能手機帶來非常多的附加價值，不論是在計算攝影還是在其他一些傳感應用方面，這也是爲什么高通決定和Prophesee達成長期战略性的合作夥伴關系。

手機只是一個起點，事件視覺還有更多應用領域

照片去模糊只是事件視覺技術衆多應用可能中的一個方面，但它絕對不是Prophesee唯一關注的應用市場。目前Prophesee也在可穿戴設備以及AR/VR領域進行一些探索和突破，包括像位姿跟蹤、手勢追蹤、目光跟蹤等等，這些都是增長非常快速的市場領域。

Prophesee副總裁兼大中華區總經理楊雪飛表示，除了手機之外，在IoT這個領域的監控安防也是非常好的一個應用場景。Prophesee的技術不但能夠保護隱私，而且能夠節省數據流量和資源，讓整個方案變得更便捷、安全。今年Prophesee在該領域就會有相應的量產產品落地，目前正在穩步推進。

值得一提的是，中國是Prophesee非常關注的市場。到目前爲止，Prophesee在中國、美國、日本和歐洲等全球布局的團隊中，中國團隊目前規模最大。

到2022年爲止，我們很多的工作都是鋪墊性的，2023年將是我們收獲衆多合作开發果實的一年。在2022年底之前，Prophesee已經與中國區合作夥伴進行了大量的合作，包括與清華大學在內的超過30所大學院校以及研究所單位，與小米這樣的ToB企業進行合作，去年Prophesee在中國也找到了相機合作廠商，在中國區落地了事件技術相機和本地化的生產。接下來，Prophesee正在全面與中國各家知名的手機OEM廠商展开合作。

Prophesee的全球开發者社區已有8000 的會員，今年中國區主頁將正式發布，在大量積累的合作夥伴基礎上，建立以中文交流爲主的开發者社區，加速EVS技術的共同开發與普及。

結語

總的來說，跟傳統的解決方案相比，基於事件視覺技術只關注畫面中動態變化的信息，可以大大降低數據量，並且實現非常高速的追蹤。能夠與索尼和高通兩大巨頭合作，是對Prophesee技術和產品最好的驗證，也能夠幫助Prophesee去進一步擴大市場。基於事件視覺技術的生態系統發展迅速，賦能多個行業的關鍵性突破，甚至改變日常生活。

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅爲了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

本文作者可以追加內容哦 !