在泛機(jī)器人、無(wú)人機(jī)、元宇宙和多種新興應(yīng)用的推動(dòng)下，3D視覺(jué)正在成為全球追逐的熱點(diǎn)技術(shù)。
從技術(shù)方案上看，目前常見(jiàn)的3D視覺(jué)方案主要包括雙目、結(jié)構(gòu)光和TOF 三個(gè)技術(shù)方向。這三種技術(shù)方向各有所長(zhǎng)，國(guó)內(nèi)外也有不少?gòu)S商圍繞著這三個(gè)方向打造其解決方案。在銀牛微電子（下稱“銀牛”）首席產(chǎn)品官白逸看來(lái)，以雙目立體視覺(jué)為核心的多傳感器融合方案，是未來(lái)3D視覺(jué)應(yīng)用的重要發(fā)展趨勢(shì)。
全球唯一量產(chǎn)，單芯片集成
和基于TOF、結(jié)構(gòu)光原理的深度相機(jī)不同，雙目立體視覺(jué)技術(shù)完全依靠同時(shí)拍攝的兩張圖片所產(chǎn)生的視差信息（彩色RGB或者灰度圖）來(lái)計(jì)算目標(biāo)物體的深度信息。為此在實(shí)際的方案打造中，除了對(duì)雙目立體視覺(jué)算法的芯片化要求更高以外，為了整個(gè)設(shè)計(jì)的靈活性，開(kāi)發(fā)者也對(duì)芯片乃至整個(gè)方案的尺寸和成本有著更嚴(yán)苛的要求。
正如白逸所說(shuō)，業(yè)界通用做3D雙目立體視覺(jué)方案時(shí)，都是在傳統(tǒng)的CPU、FPGA等上跑相關(guān)算法，這樣不但導(dǎo)致硬件算力需求過(guò)高，同時(shí)在系統(tǒng)功耗方面也帶來(lái)了挑戰(zhàn)。為此，3D視覺(jué)行業(yè)在借鑒了音視頻編解碼從“通用芯片+軟件”的解決方案到定制芯片方案的發(fā)展歷程，算法芯片化的高集成度方案成為了3D雙目立體視覺(jué)的重要發(fā)展方向。
從技術(shù)方案上看，目前常見(jiàn)的3D視覺(jué)方案主要包括雙目、結(jié)構(gòu)光和TOF 三個(gè)技術(shù)方向。這三種技術(shù)方向各有所長(zhǎng)，國(guó)內(nèi)外也有不少?gòu)S商圍繞著這三個(gè)方向打造其解決方案。在銀牛微電子（下稱“銀牛”）首席產(chǎn)品官白逸看來(lái)，以雙目立體視覺(jué)為核心的多傳感器融合方案，是未來(lái)3D視覺(jué)應(yīng)用的重要發(fā)展趨勢(shì)。
全球唯一量產(chǎn)，單芯片集成
和基于TOF、結(jié)構(gòu)光原理的深度相機(jī)不同，雙目立體視覺(jué)技術(shù)完全依靠同時(shí)拍攝的兩張圖片所產(chǎn)生的視差信息（彩色RGB或者灰度圖）來(lái)計(jì)算目標(biāo)物體的深度信息。為此在實(shí)際的方案打造中，除了對(duì)雙目立體視覺(jué)算法的芯片化要求更高以外，為了整個(gè)設(shè)計(jì)的靈活性，開(kāi)發(fā)者也對(duì)芯片乃至整個(gè)方案的尺寸和成本有著更嚴(yán)苛的要求。
正如白逸所說(shuō)，業(yè)界通用做3D雙目立體視覺(jué)方案時(shí)，都是在傳統(tǒng)的CPU、FPGA等上跑相關(guān)算法，這樣不但導(dǎo)致硬件算力需求過(guò)高，同時(shí)在系統(tǒng)功耗方面也帶來(lái)了挑戰(zhàn)。為此，3D視覺(jué)行業(yè)在借鑒了音視頻編解碼從“通用芯片+軟件”的解決方案到定制芯片方案的發(fā)展歷程，算法芯片化的高集成度方案成為了3D雙目立體視覺(jué)的重要發(fā)展方向。
銀牛順應(yīng)行業(yè)發(fā)展趨勢(shì)，深耕3D算法芯片化的高集成度單芯片解決方案，并致力于成為3D視覺(jué)時(shí)代全球領(lǐng)先的半導(dǎo)體企業(yè)。“我們的自研系列芯片是全球唯一量產(chǎn)單芯片集成3D視覺(jué)感知、AI（人工智能）、SLAM（實(shí)時(shí)定位與建圖）的系統(tǒng)級(jí)芯片”，白逸在日前舉辦的光博會(huì)上告訴筆者。他同時(shí)強(qiáng)調(diào)，銀牛是國(guó)內(nèi)唯一一家把3D雙目立體視覺(jué)算法實(shí)現(xiàn)芯片化的企業(yè)，在國(guó)際上也是唯二的。“我們實(shí)際上是在邊緣端整合了一個(gè)空間計(jì)算和點(diǎn)云的異構(gòu)平臺(tái)，打造了一系列感算一體化的3D視覺(jué)芯片”。
目前，銀牛已經(jīng)推出了基于12nm先進(jìn)工藝打造的NU4000及NU4100這兩顆3D視覺(jué)芯片。
白逸介紹說(shuō)，NU4000芯片的特點(diǎn)在于將雙目立體視覺(jué)技術(shù)的算法芯片化，同時(shí)也集成了全球領(lǐng)先的3D感知處理硬件單元、AI與SLAM硬件引擎，能有效分擔(dān)系統(tǒng)算力、降低系統(tǒng)功耗和成本。
白逸介紹說(shuō)，NU4000芯片的特點(diǎn)在于將雙目立體視覺(jué)技術(shù)的算法芯片化，同時(shí)也集成了全球領(lǐng)先的3D感知處理硬件單元、AI與SLAM硬件引擎，能有效分擔(dān)系統(tǒng)算力、降低系統(tǒng)功耗和成本。
據(jù)了解，通過(guò)芯片內(nèi)建的完全可編程AI CNN引擎，銀牛自研系列芯片最高能提供3.5TOPS算力，不僅提供完整的人工智能/深度學(xué)習(xí)解決方案和算法庫(kù)，同時(shí)提供客制化人工智能算法API接口滿足客戶靈活需求相比業(yè)界通用方法將軟件算法直接運(yùn)行在系統(tǒng)處理器；通過(guò)實(shí)現(xiàn)SLAM的芯片化，銀牛自研系列芯片將SLAM流程分工到不同芯片模塊中運(yùn)行，節(jié)省了系統(tǒng)主控芯片算力。
2022年成功量產(chǎn)的NU4100芯片，與NU4000相比，其深度感知及SLAM引擎保持不變，但額外集成了2路4K的ISP，并對(duì)片上AI引擎進(jìn)行了迭代升級(jí)，使得其AI算力相比NU4000幾乎翻倍，能以更低成本、更低功耗的方式幫助客戶實(shí)現(xiàn)系統(tǒng)升級(jí)。正是得益于這兩項(xiàng)關(guān)鍵性技術(shù)點(diǎn)的提升，讓NU4100在越來(lái)越多的彩色圖像與3D視覺(jué)結(jié)合的場(chǎng)景中 (如無(wú)人機(jī)、3D掃描、智能制造、MR頭顯應(yīng)用等)，處理起來(lái)更加得心應(yīng)手。
作為一系列內(nèi)建包括3D深度處理引擎、SLAM引擎和通用視覺(jué)加速引擎等眾多自研處理器引擎的芯片，銀牛的自研芯片可以直接充當(dāng)系統(tǒng)協(xié)處理器，為系統(tǒng)提供強(qiáng)勁的邊緣感知計(jì)算能力。
擁有了這些領(lǐng)先的芯片和技術(shù)，銀牛能夠針對(duì)不同市場(chǎng)的需求，提供更全面的服務(wù)。
從芯片到方案，全面覆蓋
在與白逸的交流中，他強(qiáng)調(diào)，銀牛不但可以為行業(yè)客戶提供3D視覺(jué)芯片，為加快他們的開(kāi)發(fā)速度，公司針對(duì)不同應(yīng)用的需求，提供端到端芯片、算法、模組和系統(tǒng)的全棧解決方案，以加速3D立體視覺(jué)技術(shù)在泛機(jī)器人等市場(chǎng)應(yīng)用的落地。“我們現(xiàn)在主要瞄準(zhǔn)的方向包括了泛機(jī)器人、元宇宙、物流無(wú)人機(jī)等領(lǐng)域。”白逸補(bǔ)充說(shuō)。
白逸舉例指出，公司的一顆芯片可以支持6路攝像頭，那就意味著只用兩顆芯片就能支持類似蘋果Vision Pro的12路攝像頭方案。在他看來(lái)，搭載銀牛芯片的解決方案，不但擁有功耗低、空間小等優(yōu)勢(shì)，使用銀牛芯片的系統(tǒng)方案成本也擁有現(xiàn)有方案難以比擬的價(jià)格優(yōu)勢(shì)。
在光博會(huì)現(xiàn)場(chǎng)，銀牛除了帶來(lái)了目前市場(chǎng)上唯一一款支持SLAM算法和自主導(dǎo)航避障等多功能于一體的3D雙目立體視覺(jué)模組C158外，公司還帶來(lái)R132、R130和R112等產(chǎn)品的展示。
2022年成功量產(chǎn)的NU4100芯片，與NU4000相比，其深度感知及SLAM引擎保持不變，但額外集成了2路4K的ISP，并對(duì)片上AI引擎進(jìn)行了迭代升級(jí)，使得其AI算力相比NU4000幾乎翻倍，能以更低成本、更低功耗的方式幫助客戶實(shí)現(xiàn)系統(tǒng)升級(jí)。正是得益于這兩項(xiàng)關(guān)鍵性技術(shù)點(diǎn)的提升，讓NU4100在越來(lái)越多的彩色圖像與3D視覺(jué)結(jié)合的場(chǎng)景中 (如無(wú)人機(jī)、3D掃描、智能制造、MR頭顯應(yīng)用等)，處理起來(lái)更加得心應(yīng)手。
作為一系列內(nèi)建包括3D深度處理引擎、SLAM引擎和通用視覺(jué)加速引擎等眾多自研處理器引擎的芯片，銀牛的自研芯片可以直接充當(dāng)系統(tǒng)協(xié)處理器，為系統(tǒng)提供強(qiáng)勁的邊緣感知計(jì)算能力。
擁有了這些領(lǐng)先的芯片和技術(shù)，銀牛能夠針對(duì)不同市場(chǎng)的需求，提供更全面的服務(wù)。
從芯片到方案，全面覆蓋
在與白逸的交流中，他強(qiáng)調(diào)，銀牛不但可以為行業(yè)客戶提供3D視覺(jué)芯片，為加快他們的開(kāi)發(fā)速度，公司針對(duì)不同應(yīng)用的需求，提供端到端芯片、算法、模組和系統(tǒng)的全棧解決方案，以加速3D立體視覺(jué)技術(shù)在泛機(jī)器人等市場(chǎng)應(yīng)用的落地。“我們現(xiàn)在主要瞄準(zhǔn)的方向包括了泛機(jī)器人、元宇宙、物流無(wú)人機(jī)等領(lǐng)域。”白逸補(bǔ)充說(shuō)。
白逸舉例指出，公司的一顆芯片可以支持6路攝像頭，那就意味著只用兩顆芯片就能支持類似蘋果Vision Pro的12路攝像頭方案。在他看來(lái)，搭載銀牛芯片的解決方案，不但擁有功耗低、空間小等優(yōu)勢(shì)，使用銀牛芯片的系統(tǒng)方案成本也擁有現(xiàn)有方案難以比擬的價(jià)格優(yōu)勢(shì)。
在光博會(huì)現(xiàn)場(chǎng)，銀牛除了帶來(lái)了目前市場(chǎng)上唯一一款支持SLAM算法和自主導(dǎo)航避障等多功能于一體的3D雙目立體視覺(jué)模組C158外，公司還帶來(lái)R132、R130和R112等產(chǎn)品的展示。
據(jù)介紹，C158是一款寬基線的3D雙目立體視覺(jué)模組，有U口版和工業(yè)網(wǎng)口版兩個(gè)版本可選。該款模組搭載了高達(dá)2T運(yùn)算能力的NU4000 SOC芯片，集成了3D、Al、SLAM算法，有強(qiáng)大的深度和RGB感知能力，可為不同的應(yīng)用場(chǎng)景提供高精度、高質(zhì)量的深度數(shù)據(jù)，另外，它還搭配了雙魚(yú)眼和六軸IMU，能達(dá)到800Hz采樣，實(shí)現(xiàn)實(shí)時(shí)的高精度建圖和重定位。
銀牛方面也強(qiáng)調(diào)，因雙目立體視覺(jué)技術(shù)的特性，使得C158不但在室內(nèi)有非常好的深度數(shù)據(jù)效果，在室外也表現(xiàn)出色，甚至在強(qiáng)光超過(guò)15萬(wàn)Lux的光照條件下深度數(shù)據(jù)依然精準(zhǔn)。
銀牛方面也強(qiáng)調(diào)，因雙目立體視覺(jué)技術(shù)的特性，使得C158不但在室內(nèi)有非常好的深度數(shù)據(jù)效果，在室外也表現(xiàn)出色，甚至在強(qiáng)光超過(guò)15萬(wàn)Lux的光照條件下深度數(shù)據(jù)依然精準(zhǔn)。
R132則是大廣角的3D雙目立體視覺(jué)系列模組，同樣有U口版、工業(yè)網(wǎng)口版和專注3D掃描的R132-scan版本可選。該款模組體積小但功能強(qiáng)大，內(nèi)部同時(shí)搭載彩色RGB和六軸IMU，可為不同的應(yīng)用場(chǎng)景提供高精度、高質(zhì)量的深度數(shù)據(jù)和彩色數(shù)據(jù)。由于它大廣角的視野和寬廣的測(cè)量范圍，可輕松應(yīng)用到各種感知和測(cè)量解決方案中。“該系列模組可以滿足泛機(jī)器人客戶高度關(guān)注的大視場(chǎng)角需求，同時(shí)，R132系列模組的盲區(qū)小至10cm，能夠更好地支持機(jī)器人在窄小空間進(jìn)行自主避障。”白逸說(shuō)。
本次光博會(huì)上展出的R130和R112則是銀牛在今年發(fā)布的最新視覺(jué)模組。其中R130模組基于雙目立體視覺(jué)技術(shù)獲取物體的深度圖像，同時(shí)利用彩色相機(jī)采集物體的彩色影像，適用于 0.2m-3m 距離進(jìn)行3D物體的感知、測(cè)量等，可廣泛應(yīng)用在機(jī)器人感知、避障、導(dǎo)航等場(chǎng)景；R112則是一款高精度的近距版雙目立體視覺(jué)模組，主打定位是短距深度測(cè)量，探測(cè)距離可低達(dá)5cm，精度在亞毫米級(jí)，能幫助客戶設(shè)備近距離、高精度地拾取和放置小型物體，也可應(yīng)用在缺陷檢測(cè)等場(chǎng)景。
從銀牛的介紹我們可以看到，公司的解決方案已經(jīng)在泛機(jī)器人、元宇宙、物流無(wú)人機(jī)、AIoT、智慧醫(yī)療和消費(fèi)電子等領(lǐng)域落地。展望未來(lái)，白逸認(rèn)為，銀牛的3D雙目立體視覺(jué)方案能在汽車自動(dòng)駕駛市場(chǎng)上找到新的機(jī)會(huì)。
寫(xiě)在最后
白逸表示，縱觀當(dāng)前的汽車自動(dòng)駕駛解決方案，純視覺(jué)解決方案——通過(guò)對(duì)海量的視覺(jué)數(shù)據(jù)進(jìn)行訓(xùn)練并學(xué)習(xí)——具有強(qiáng)大的適用性和競(jìng)爭(zhēng)力，這就讓3D雙目立體視覺(jué)方案找到了發(fā)力點(diǎn)。
但是，要實(shí)現(xiàn)這個(gè)目標(biāo)，就需要終端芯片擁有更強(qiáng)大的AI算力，這也將是銀牛未來(lái)重點(diǎn)發(fā)展的技術(shù)方向之一。
如文章開(kāi)頭所說(shuō)，3D立體視覺(jué)有幾種不同的技術(shù)方向，但在白逸看來(lái)，以雙目立體視覺(jué)為核心的多傳感器融合方案將會(huì)是最有競(jìng)爭(zhēng)力的答案。以單純ToF技術(shù)為例，歸根到底這就不是一個(gè)視覺(jué)感知方案，而是通過(guò)計(jì)算飛行時(shí)間來(lái)實(shí)現(xiàn)的，高度依賴定制器件，這就意味著如果要增大對(duì)感知目標(biāo)深度圖像的刷新率和分辨率要求，就要加大投入去定制傳感器和投射儀，這都是昂貴的系統(tǒng)成本，從而導(dǎo)致可能無(wú)法快速大規(guī)模商用。
“我們芯片的多傳感器融合技術(shù)和異構(gòu)解決方案，擁有很大的發(fā)展?jié)摿?rdquo;，白逸說(shuō)。
