蘋果、索尼押注的技術賽道，國內公司如何拔得頭籌？

3D 傳感技術是人類進入虛擬世界的第一步。

文 | Founder Park

虛擬世界註定要成為現實，只是何時到來，如何到來尚未可知。

擺在大家面前的首個難題，是如何將現實世界在數字世界進行數字孿生，以及，如何讓大家更好地感受到虛擬世界，3D 傳感技術在其中起到決定作用。

2020 年，蘋果在新發布的 iPad Pro 上配備了激光雷達掃描儀（dToF 技術），dToF 技術作為 3D 傳感的新趨勢為行業所關注，而在今年，作為技術元件供應商的索尼宣佈量產車載 dToF 傳感器。一時間，dToF 技術以及背后的 3D 傳感行業成為新焦點，預計將有超萬億美元的市場規模和新的行業巨頭的誕生。

而在國內，專注 dToF 技術和 3D 傳感的創業公司靈明光子，先后被小米、OPPO 和美團投資，並且擁有國內唯一、全球稀缺的成熟 3D 堆疊 dToF 芯片設計和工藝能力。而他們創業的緣由，居然是因為諾貝爾化學獎的一篇論文。

3D 傳感技術的發展歷程是怎麼樣的？為何蘋果和索尼都押注在 dToF 技術？在未來的數字虛擬社會，3D 傳感技術又能發揮怎麼樣的作用？這個超萬億的賽道，誰又能成為行業頂流？

7 月 25 日，在極客公園的 Rebuild 2022，極客公園創始人 & 總裁張鵬和靈明光子的聯合創始人，董事長兼 CEO 臧凱，一起探討了 3D 傳感技術的發展及未來。

01

3D 傳感是

未來數字社會的基礎技術

Founder Park：如何理解 3D 傳感和 dToF 技術？

臧凱：我們主要做的是 dToF 技術和 3D 傳感解決方案，主打的是以手機和眼鏡為代表的消費類市場和以汽車激光雷達為代表的工業視覺類市場。目前主要的 3D 傳感技術有汽車上熟知的超聲波雷達、毫米波雷達、雙目攝像頭、蘋果手機使用的結構光等，還有大家所熟知的 ToF（Time of Fight，飛行時間法），這個又分為 dToF*（direct）和 iToF（indirect）兩種。

dToF：飛行時間法，其基本原理是通過連續發射光脈衝（一般為不可見光）到被觀測物體上，然后用傳感器接收從物體返回的光，通過探測光脈衝的飛行（往返）時間來得到目標物距離。iToF 則是發射連續光，通過探測相位差，來間接推算測量距離。

當前的 3D 傳感技術主要包含三大功能：測距、定位和建模。超聲波雷達因為波長較長，很難對精細的物體進行建模，也很難在一個巨大的場景里做出整個場景的成像；而雙目攝像頭作用原理跟人眼類似，是被動光的方案，因此測距準確度有待提高；而結構光則主要應用在手機的人臉解鎖、智能支付上和各種工業類環境。而靈明光子採用的 dToF 技術，能夠比較完美地契合這個功能的要求。

蘋果在最新手機上採用的激光雷達使用的也是 dToF 技術，使用脈衝光發射和單光子探測器接收的方式來測距，從這個角度講，dToF 在成像的精準度、功耗以及更遠距離探測上有一定優勢。

Founder Park：3D 傳感技術的發展歷程是怎麼樣的？

臧凱：通過 3D 傳感技術的發展時間線，我們可以發現是需求驅使的變化所致。

最開始是 2D 攝像頭，也就是我們平常所説的照相機的芯片，其使用 CIS 技術（CMOS Image Sensor，CMOS 圖像傳感器），能夠生成 2D 的影像。而最早的 3D 方案是雙目視覺方案，類似「人眼」一般的運作原理，不過由於這個方案源於被動光的技術原理，所以當場景比較暗的時候，可能就看不太清楚。

於是在未來的解決方案上，3D 傳感產品開始引入光源來照亮場景，這時候大家發現如果光源能夠按照一定的結構（如條紋、點陣等）照在實際場景上，場景中有物體的時候，可以根據光信號的畸變獲得場景的景深信息。因此，結構光應運而生。

既然有了結構光，那麼如果主動光源打出的是連續的光波，我們根據接收到的連續光波的相位差，能夠間接識別物體的距離。這也就是大家所説的 iToF 技術，其實跟過去的 CIS 技術是一脈相承的。

隨着 iToF 技術的演進，功耗過大、室外測距距離不夠遠、以及場景複雜的時候測量結果誤差較大等問題就出現了，這個時候又引入了 dToF 技術，相比較 iToF 技術，dToF 技術採用單個脈衝，對於時間的精準度卡得比較嚴，接收端也需要單光子探測器，但是我們在 CMOS 兼容的情況下做到了單光子探測器的低成本和高性能。

Founder Park：除了汽車和手機之外，未來還有哪些領域會對 3D 傳感技術有需求？

臧凱：在未來數字化的社會，不管是室內還是室外的場景都對於高性能的 3D 傳感技術有着很強的性能需求。

室內的話，可以用手機或者戴上眼鏡掃描，這樣就能知道室內所有場景的佈置。比如在無人的情況下，智能設備對房間進行巡遊、在房間遊玩各類虛擬遊戲或者直接開始虛擬會議。

室外的話，目前汽車上使用的激光雷達只是定位的功能，真正的室外建模需求是像谷歌今年發佈的數字化地圖。今天的地圖都是 2D 的，未來的地圖很可能是 3D 的，當我們坐在車里的時候，與世界的感知是通過 dToF 激光雷達收集到的外部真實世界的數字孿生的影像，那個時候我們所生活的數字世界其實不只是現實的物理世界的映像，也不只是虛擬在雲端的純虛擬世界，而是一個介於現實和虛擬之間，通過眼鏡、通過手機、通過未來的智能化汽車與外界感知實現的一個現實與虛擬的融合狀態。

在當前的時間點我們可以看到，對於蘋果公開的產品信息來説，未來肯定會使用 dToF 技術進行室內和室外場景建模等，只是現在生態系統和軟件都早期階段。因此優先基於當前的已經成熟的需求，為拍照實現更多功能，比如多點對焦、劇場模式等。根據當前實際的用户需求出發，為未來的數據化和虛擬化世界邁出關鍵的一步。

今天還有一個趨勢，就是大家都在為未來的數字化世界搭建內容，所以我們認為基於內容所引出的需求一定會讓 dToF 技術邁出第一步，也就是在 VR、AR 領域 dToF 會有更大的應用。

02

創業緣起是

諾貝爾化學獎

Founder Park：當時創業的動機是什麼？背后的分析和決策的過程是怎麼樣的？

臧凱：最初的靈感啓發是 2014 年的諾貝爾化學獎，斯坦福大學的威廉·莫納教授和另外兩名教授因為研製出「超高分辨率熒光顯微鏡」而獲得這一獎項。這個技術能夠幫助我們觀察到以納米級別來觀察細胞和大分子。但是這項技術使用的探測器價格非常昂貴，當時我們認為這項技術的本質與單光子探測器是一樣的，如果能把這個方案用 CMOS 兼容方案像生產 CPU 一樣生產出來，成本肯定會大幅下降。

在 2014 年的時候就跟實驗室的導師還有學長討論了這個想法，當時覺得這是一個可以推進的方向。我們把探測器做出來之后，發表在 Nature Communications 上，之后我們跟斯坦福的老師一起按照諾貝爾化學獎文章的類似算法，在《Nature》上發了一篇講述採用單光子探測器+dToF 方案的論文。

文章發表之后收到了很多廠商和投資人的認可，當時大家討論比較多的是激光雷達，我們當時看好 dToF+單光子單光子探測器會成為激光雷達接收端，這也是我們團隊創業的初衷，因為相當於完成了小的閉環，於是就開始朝着更大的需求進度進行。我們本來想的是生物領域，但是團隊不太好搭建，正好有其他幾位合夥人的加入，就開始了 dToF 的創業之旅。

今天其實可以看到一個新的趨勢，就是已經以極低成本生產的這些單光子探測器反過來又反哺了生物和醫藥的開發。在技術維度上，我們看到技術的提升是橫跨各個領域的，是一個螺旋上升的形態。從生物領域出發的，逐漸到了工業類，后來又到了消費類，但當消費類價格足夠便宜的時候，又回來反哺了生物領域。

Founder Park：是如何下定決心進入這樣一個高技術壁壘的行業創業的？

臧凱：我們本來都是一羣有技術信仰的人，相信 dToF 技術可以在消費端和工業端使用，並且持續朝這個方向努力。

另外就是，我們在做這些事情的時候，一切都是以需求為導向的，由需求來反向推動合作方。我們會跟所有的客户去談，如果説真有這樣一款產品，大家是不是感興趣。如果感興趣，那麼這款產品就是有價值的，而在近端，我們也能看到這個需求被一步步驗證，比如説在蘋果手機上攝影輔助的應用。以及下一步我們看到的可能在 3D 直播、3D 營銷、數字虛擬人等等的應用。這些都是在一步步實現產品的落地，也能實現一定的營收，然后在這個過程中實現迭代和循環。

Founder Park：靈明光子現在有哪些產品線？

臧凱：主要有三條產品線。

首先是 3D 堆疊大面陣芯片（單光子成像陣列模組），可以説就是一個 3D 攝像的核心芯片，包括應用在手機、眼鏡等消費級場景的低功耗系列，以及汽車等工業場景的高性能、精準成像系列，這是靈明光子最為知名的系列。我們也是國內首個推出 3D 堆疊 SPAD 面陣的公司。這個目前偏向工業類的應用，比如物流等，也在努力推廣消費類的應用，比如手機和眼鏡等，可以提高影像成像質量。

第二個是硅光子倍增管，我們把單光子探測器本身做成了產品，早年這個技術主要用在醫學的紫外光 PETS 檢測等，在進行了紅外增強的技術改良后，現在是作為車載激光雷達的接收端，也得到了很多客户的認可。主要的客户是激光雷達公司。

第三個產品是單點和有限點 dToF 芯片模組，蘋果在 iPhone 7 plus 上就開始使用了 dToF 技術，可以説這個技術現在已經很成熟了。我們的量產 dToF 模組目前應用在了 AIRFLY 吹風機上，可以實現在離頭發比較近的時候，自動降温的功能。還應用在掃地機、筆記本等領域，筆記本主要是自動喚醒功能。

Founder Park：靈明光子的技術壁壘是？

臧凱：目前的話，3D 堆疊所代表的背后工藝和我們設計的體系架構是靈明在技術維度上安身立命的核心。在這個基礎上，直接集成在芯片中針對應用的算法，實打實地能夠將產品做量產是核心的壁壘。

從做 demo 的角度來説，百里挑一肯定能挑出一個比較好的探測器。但為車載所準備的探測器如何能做到在量產的情況下保證質量、可靠性和穩定性，這其實是對工藝更高的考慮，也是我們持續在解決的問題，在我們看來是真正核心的技術壁壘。

而接下來，隨着越來越多的 dToF 公司的加入，如果以產品為引導，真正拿出符合客户需求的產品，才能保證今天的技術壁壘轉化為產品上的壁壘。

我們認為，大概到 2026、2027 年，整個手機、眼鏡和汽車行業會進入技術拐點開始高速增長的時候，商務和生態推廣能力和市場佔有率是我們具有商業護城河的關鍵。

Founder Park：在你們看來，未來行業是會存在很殘酷的同質競爭，還是大家會有不同的技術方向？

臧凱：有更多的 dToF 技術公司加入，說明了需求本身是存在的，大家能從需求中得到商業化的回報。我認為今天的行業情況和過去的手機或者現在的電動汽車是類似的，都存在成長期和淘汰期的階段，以電動車為例，大家會説在電動車達到 50% 滲透率之前都是成長期，之后就是淘汰賽的階段，其實對 dToF 也是一樣的。未來在手機、眼鏡和汽車等領域一定會有一套通識的技術方案，誰能掌握這套方案，誰就可能成為行業內 top 級別的存在。

但是如同今天的攝像頭一樣，不管是在安防還是在一些科研領域，或者説在一些相對小眾的應用領域，也會有各自的技術公司存在。

Founder Park：作為技術型創業公司，如何看待最近的創業環境？

臧凱：第一，我們肯定是對這個領域抱有足夠的樂觀，這也是我們之所堅持做這件事的原因。

其次，半導體是典型的長周期，而且是有大幅度明顯周期的行業，對於這個行業來説，潮起潮落很正常。對於靈明光子來説，想在行業長期活下去，必須要適應，在巔峰時期努力拋棄泡沫、低谷時期保證能活下去。過去幾年我們也感受到了消費類的庫存短缺或者庫存積壓帶來的影響，對於業界的低迷我們是有心理準備的。

第三點，我們能找到合適的方式，保證讓公司生產可盈利的產品。比如説我們在推廣客户的時候，不再拘泥於是不是我們直接的合作方，而是真正找到我們的客户的客户，乃至最后的客户到底要什麼，因為只有這樣才能真正地保證公司在行業里能夠生存下去。今天業界不管是對未來數字化、元宇宙、直播包括一系列的虛擬偶像都有實際的需求。那麼對於靈明光子來説，我們會在今天的行業背景下，深挖牆廣積糧，同時做好相應的真正服務客户和社會的準備，這纔是真正能夠讓公司在寒冬之下存活下去的核心。

03

5 年內

VR 行業會進入新的拐點

Founder Park：在你看來，dToF 技術會取代 iToF 技術嗎？

臧凱：短期來看，我們認為 dToF 和 iToF 會共存，因為 iToF 技術更成熟，dToF 作為一個新生事物，會存在雞生蛋蛋生雞的問題，應用的客户需要拿原始數據做一些機器學習，但是現在除了 iPhone 和 iPad 之外，其他終端很難真正收集到 dToF 的數據，特別是原始數據，這對於行業的推進有一定的阻礙作用。

其次，從未來的發展來看，當 dToF 的像素和 iToF 處在同一個量級的時候，我們相信 dToF 能夠在非常多的領域取代 iToF，但是 iToF 在成本上更佔優勢，在一些要求不高的場景下，依然具有一定的使用量。iToF 今天已經成熟了，未來也會穩定地在業界存在。

第三，未來多傳感器是會融合的，也有可能會出現 dToF 和 iToF 融合的方案，不過目前業界巨頭都在主推 dToF 的方案和算法，融合方案在我們看來是更長期的一個可能性。

Founder Park：dToF 技術要大規模量產的核心突破點是什麼？

臧凱：從技術角度來説，dToF 本身對於量產的要求和算法的要求是技術維度上實現量產的一個壁壘。

另外是從產品維度上，dToF 所藴含的數據量和場景是更大的，一旦有公司做成了量產，並且做出了生態和行業上的標準，對於其他家來説所面臨的的壁壘就變成了產品迭代和生態上的競爭。就像如今的 CIS 的格局一樣，坦白説技術已經很成熟了，但是真正能做 3D 堆疊 CIS 的公司也就幾家。我們認為這就是由於背后從技術到產品，最后再到商業壁壘上一系列原因導致的。

Founder Park：dToF 技術和哪些技術有可能在未來產生交叉，帶來新的可能性？

臧凱：主要是和光學成像相關的技術，我們認為未來多傳感器一定會融合的。比如對於汽車來説，最佳的方案是 RGB-D 的攝像頭，既有 RGB 的信息，同時又有深度信息的融合芯片，但這個產品可能會出現在幾年之后。因為在今天的邏輯下，汽車行業做迭代一定是基於今天成熟的 CIS 再加上 3D 傳感器，這樣才符合業界迭代的思路。

Founder Park：3D 傳感以及 dToF 技術的未來發展趨勢是怎麼樣的？

臧凱：我們認為未來數字化是不可阻擋的，肯定要做虛擬世界和現實世界的數字化。在這個邏輯下，對於雲端、管道、終端三大部分是非常關鍵的。我們會把所有的 3D 信息存儲在雲端，可能是私有云，也可能是公用雲。管道的話，包括今天的 5G 技術，藍牙新一代的傳輸方案等。終端是來把虛擬世界和現實世界聯繫在一起的工具，對應的就是手機、眼鏡和汽車，也包括耳機、觸感配件等。

而從現實角度來看，5G 所對應的雲端和管道的要求更多體驗在於物聯網、車聯網，打造室外的 3D 地圖，車與車之間的互聯，這才能幫助實現下一代的信息社會格局。也是基於此，我們認為將來汽車公司可能會造手機、造眼鏡，手機公司也會造眼鏡，手機、汽車、眼鏡會是三位一體，但是不只是簡單的三位一體，它們所代表的是實體和虛擬進行交互的窗口，所有的交互一定是 3D 的。那麼 dToF 在眼鏡、汽車和手機上的使用是行業發展的必然。

只是現在對於 dToF 來説，汽車激光雷達只是定位的作用，未來可能也要做建模的作用，未來 2D 地圖的爭奪會轉向 3D 地圖，任何一個廠商如果能先掌握 3D 的技術，不管是對於直播還是廣告帶貨，還是説遊戲娛樂都會有更深入的觸達，這是行業發展的大方向。這個大方向下，各種 3D 成像方案都有機會，只是靈明光子判斷之后，覺得最大的機會是 dToF，這也是為什麼靈明光子持續在 dToF 上做迭代的原因。

Founder Park：從你們的技術路線來看，VR、AR 行業在未來五年會不會有技術突破的可能性？

臧凱：哪怕今天消費業界的需求非常疲軟，我們依然非常堅定地認為 5 年之后，大概在 2026、2027 年，起碼對 AR、VR 來説，整個生態系統會看到拐點，這可能是一個相對來説比較激進或者樂觀的一個預判，主要原因是這樣的。

我們所説的 AR、VR 指的是人通過 VR 眼鏡、MR 眼鏡或者 AR 眼鏡與外界的世界進行感知。對外界事物進行感知，就一定需要兩樣事情。第一個是需要知道外面的世界是什麼樣子，這個時候需要對場景進行建模，戴着眼鏡的時候我們還要對場景進行定位。很自然地，dToF 是一個天然非常合適的解決方案。

雖然今天也有很多替代的方案，比如説雙目、結構光某種程度上也可以滿足非常多的要求。但是隨着行業的迭代，dToF 自身的獨有特性會顯示出來，因為它所加載的是對場景的建模和定位深度的判斷。當我們在做 AR 的時候，肯定也希望感知到虛擬的 3D 物體，這個時候就涉及到對物體的建模和定位的邏輯，也是 dToF 能夠實現的一個邏輯。我們基於對於未來行業的判斷，dToF、結構光、雙目甚至超聲波方案有可能會出現融合。

同樣的道理，對於 AR、VR 的世界來説，最直觀的世界就是現實的世界。如果大家用工具來進行 3D 的創作，需要很多時間。數字孿生，背后所依賴的是對於現實世界的建模，這些都是目前 dToF 未來可以大有應用的地方，因為它所具備的是低功耗以及在室外的遠距離，並且最關鍵是不受周圍的複雜環境影響。

比如説今天的直播都是 2D 攝像頭，以后有可能大家戴上眼鏡看直播的時候，從不同角度去看，你可以會看到一個更加真實的 3D 主播，直播的整個影像就是 3D 的狀態，這是我們對於未來世界一個很大的暢想。這個角度下，不管是數字的社交、虛擬的社交、 VR 元宇宙的社交，還是 AR 里現實與虛擬結合的社交，都會更加高效，同時會有更多的應用和需求的出現。

*以上嘉賓觀點不代表 Founder Park 立場，也不構成任何投資建議。

極客一問

在未來的數字虛擬社會，

3D傳感技術又能發揮怎麼樣的作用？