0
2018年，3D視覺成為計算機視覺領域的一大風口。
2017年，蘋果率先推出了具備3D視覺功能的iPhone X，其“劉海屏”成為眾多廠商的仿效對象。而在今年9月，蘋果將一口氣發(fā)布三款帶有“劉海屏”的手機。同時，據機構預測，2020年全球智能手機端3D視覺硬件市場規(guī)模將到達99.25億美元，其中蘋果手機為31.48億美元，安卓手機為67.77億美元。
iPhone有自己搭建起來的軟硬件生態(tài)系統(tǒng)，以此來支持其3D視覺，那么，安卓手機怎么辦呢？3D視覺的機遇和挑戰(zhàn)還有哪些？
8月8日，曠視科技聯(lián)合3D產業(yè)中4家企業(yè)舉辦了以“實感世界——真3D就現(xiàn)在”為主題的研討會，對以上問題進行了深入的探討。
3D視覺智能手機的風，無疑是iPhone刮起來的。
2017年9月，蘋果發(fā)布iPhone X,最大的亮點在于Face ID，被吐槽最多的“劉海屏”（原深度攝像頭系統(tǒng)）正是用來實現(xiàn)這一功能。在“劉?！眳^(qū)域，蘋果塞進了 8 顆傳感器，除了麥克風、揚聲器、前置攝像頭、環(huán)境光傳感器、距離感應器等我們熟知的部分，還集成了紅外鏡頭、泛光感應元件（Flood illuminator）、點陣投影器。感應器會投射人眼看不見的光，并讀取用戶的臉部 3D 幾何結構圖。蘋果甚至為此開發(fā)了一個神經引擎（Neural Engine），用神經網絡處理圖像和點陣模式，來建立人臉數學模型。
原深度攝像頭除了可以做Face ID,還可以實現(xiàn)臉部動態(tài)AR貼紙，以及動態(tài)追蹤人臉表情的Animoji等。
這個原深度攝像頭包含了從基層芯片、算法到應用的全部革新。蘋果為了做這個原深度攝像頭曾經花了十幾億美金買了十幾家公司，包括人臉識別、傳感器、算法等公司。在生產過程中也遇到了很多的難題，雷鋒網了解到，2016年時蘋果就做了四萬臺iPhone X，但是實際落地的時候發(fā)生了很大的問題，所以硬生生拖到了2017年才發(fā)布。
蘋果在前置的原深度攝像頭領跑了所有手機廠商，ARKit也完全解鎖了后置攝像頭的潛力，甚至超過了早幾年就開始布局手機AR的谷歌。蘋果能做成ARKit的最大的優(yōu)勢自然是：自己做硬件也自己做軟件，能夠快速地進行軟硬件的適配。
國內廠商做3D視覺則更沒法依賴谷歌，需要自己探索。2018年6月19，OPPO發(fā)布OPPO Find X機型，搭載了由曠視提供的3D結構光技術；2018年6月27日，vivo在MDC發(fā)布TOF 3D超感應技術，由曠視科技提供的3D人臉建模算法支持。目前，曠視和更多廠商達成了合作。
吳文昊回想到為vivo提供解決方案的經歷：我們最早接觸的是vivo ToF這個項目，當時面臨了很多挑戰(zhàn)，首先，這其中的生態(tài)鏈和供應鏈確實太復雜了，項目開會的時候有來自歐洲、資本、美國10多家廠商，涵蓋傳感器、模組、光電、芯片，做軟件的不懂硬件，做硬件的不懂軟件，如何把整個產業(yè)鏈串起來是最大的問題。
在這個過程中我們越來越深刻認識到，最后真正的落地一定是應用去驅動。拿刷臉支付舉例，應用場景決定了識別的精度、活體攻擊的能力防范等。所以算法和軟件商其實是這個價值鏈的最上端，他們可以從上往下去驅動很多細節(jié)。
吳文昊介紹到，“手機3D視覺領域雖然已有多種類型的應用案例出來，但該領域包含算法和模組的軟硬一體整體解決方案仍是缺位的，曠視科技正在嘗試一種從上往下的整合方案。”
由此，曠視發(fā)布了“軟硬一體移動端智能3D產品解決方案”。包括從3D應用到AI算法、解決方案、傳感器、芯片等。
3D應用層：人臉識別解鎖、3D人像光效、3D美顏、3D整形、AR游戲、虛擬試穿等；
3D算法：MegBrain深度學習引擎、3D識別/重建算法、人臉識別、活體檢測、注意力檢測追蹤等、人像3D建模、人體3D建模。在這個領域與Bellus 3D、Altizure等企業(yè)聯(lián)合研發(fā)；
解決方案：根據不同應用場景中對深度計算、深度修復、深度優(yōu)化、標定、畸變校正等能力的需求，設計基于雙攝、三攝、深攝的解決方案；
硬件模組：攝像頭、傳感器、芯片等硬件模組的研發(fā)，曠視聯(lián)合艾邁斯半導體等3D硬件模組廠商展開合作，此外，還將聯(lián)合主要芯片廠商合作研發(fā)算法適配性更強的芯片。
此前，在印象中，曠視更多是一家計算機視覺的算法公司，而要做軟硬件一體的整合商，曠視如何能形成自己的壁壘呢？
吳文昊告訴雷鋒網，首先是公司的定位問題，你想不想從一家算法/軟件廠商成為一個軟硬一體的解決方案提供商，愿不愿意去做這個改變，其次才是有沒有決心找到合適的合作伙伴，把這四層真正垂直整合起來。
曠視要做軟硬一體的整合方案，為安卓陣營提供iPhone的3D視覺能力。但是，我們是否就只是為了造出一個iPhone X？這個領域的風口剛剛成型，有哪些機遇和挑戰(zhàn)呢？
現(xiàn)場參加討論的有四家3D視覺企業(yè)：Bellus3D、艾邁斯、珠科創(chuàng)新、疊境數字。Bellus3D是一家來自于美國硅谷的移動端3D面部掃描企業(yè)，專注于為手機等移動設備提供高解析度的3D人臉掃描、建模技術和產品；艾邁斯半導體是全球領先的先進傳感器解決方案設計和制造商，有影像、光學、環(huán)境、音頻類四大傳感器，核心技術之一是VCSEL；Altizure由香港科技大學教授權龍創(chuàng)辦，致力于將二維圖片還原為三維模型的實景三維全自動重建服務；疊境數字科技由麻省理工大學博士虞晶怡創(chuàng)立，建立了一套以光場采集、處理、顯示為核心解決方案。
這四家公司正涵蓋了曠視想要構建的軟硬一體解決方案的四個層面，從硬件到軟件到應用。
蘋果發(fā)布了iPhone X,耗資巨大，但是現(xiàn)在除了Face ID以外，還沒有別的殺手級產品。而吳文昊也一直強調，內容和應用會驅動3D視覺的產業(yè)鏈條發(fā)展。
Bellus3D執(zhí)行總裁Eric Chen介紹了未來3D視覺可能的殺手級應用，包括：
VR里的人臉建模，可以把真實的人臉放進VR游戲里，提升沉浸感。
3D視覺幫助用戶選配眼鏡，根據人臉的情況做完全的定制化，以后用手機就能配眼鏡。
AR試妝、試穿。
吳文昊認為新的殺手級應用有三個層面：
新的硬件形態(tài)，手機已經陪伴我們10多年，將來會有新的消費電子產品出現(xiàn)，我認為一定是以3D、AR為主要賣點的產品，這個離我們并不遙遠。
3D一定要跟智能化結合起來，AI+3D一定是非常大的殺手級應用場景?，F(xiàn)在已經在做這樣的事情，像AI Camera拍張照片，我們識別理解這是藍天，這是草地。加上我們3D的物理信息，一定會做出非常好非?？岬呐恼招Ч?。
隨時隨地的產品，移動互聯(lián)網展現(xiàn)了隨時隨地鏈接上網的魅力，激發(fā)了電商、O2O、共享單車，當3D變得無處不在，我們可以隨時隨地對真實世界進行建模，這是非?？岬囊患虑?。
在討論iPhone X時，大家提到的更多是前置攝像頭，因為其發(fā)展要快一些，但是我們看到后置攝像頭也是未來的趨勢。疊境科技聯(lián)合創(chuàng)始人洪煦透露，目前有不少做后置攝像頭模組的廠商也找到疊境，我們現(xiàn)在跟曠視有合作，現(xiàn)在是秘密階段，但是很快會有應用出來。
在后置攝像頭這塊，先驅自然是谷歌Tango，谷歌Tango配置了能繪制完整3D的硬件和軟件，可以精確描繪關于周圍環(huán)境的3D地圖，能讓移動設備擁有和人類一樣的空間和運動感知能力。Tango開創(chuàng)了基于視覺的3D運動跟蹤和場景建模，谷歌為3D跟蹤和場景建模設計了傳感器和移動計算平臺。
然而，想要搭載谷歌Tango這一套解決方案，每家OEM都需要進行特定的傳感器校準過程，會增加OEM廠商的成本，當時的應用也不成熟，使得不少廠商都拒絕了谷歌。（延伸閱讀：深度 | 手機AR，谷歌為何起了個大早，趕了個晚集）
目前，ARKit和ARCore已經搭載于上億的智能手機上，AR應用也越來越豐富，現(xiàn)在傳感器技術也更加成熟，大家都期待著搭載深度攝像頭的后置攝像頭出現(xiàn)，能夠更好的理解和感知環(huán)境，提供更逼真的AR效果。此前，雷鋒網曾獲悉華為不僅在做前置的深度攝像頭，也在致力于后置深度攝像頭。
不過，我們現(xiàn)在依然不明晰的是：什么樣的AR應用，能夠促使大家認為后置深度攝像頭是必不可缺的？谷歌Tango的主要應用是解決室內導航的問題，在室內無法使用GPS的時候，不依靠任何外部設備，就能提供設備的定位。這，似乎不是剛需。
這一波的智能手機3D視覺風口，受到了手機AR的影響，但是或許更深層次的是AI的發(fā)展。
權龍在雷鋒網舉辦的CCF-GAIR 2018大會上曾分享：計算機視覺下一步將走向三維重建。他談到：“當下因為深度學習技術的發(fā)展，人工智能變得非?；馃幔嬎銠C視覺作為人工智能的一個領域，也變得異?；馃?。不過目前計算機視覺的研究和應用主要集中在‘識別’，‘識別’只是計算機視覺的一部分，如果要去做一些交互和感知，必須先恢復三維，所以在識別的基礎上，下一個層次必須走向‘三維重建’”
當然，在3D視覺這個方面，深度學習會遭遇全新的挑戰(zhàn)，等待行業(yè)先行者迎擊。
相關文章：
蘋果iPhone X 發(fā)布，第一部人工智能意義上的手機
曠視科技首席科學家孫劍：如何打造云、端、芯上的視覺計算（含30張 PPT） | CCF-GAIR 2018
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
