【導(dǎo)讀】計算機(jī)發(fā)展迅猛，在追求性能的同時，計算機(jī)視覺也經(jīng)受著考驗(yàn)，計算機(jī)視覺時代的到來直接影響著硬件性能的極限，本文就叫你如何破除計算機(jī)視覺給硬件性能造成的沖擊。詳細(xì)介紹了工程師的應(yīng)對策略。
計算機(jī)視覺更進(jìn)一步接近人類視覺
新的計算機(jī)視覺時代降臨，促使增強(qiáng)現(xiàn)實(shí)和全息成像等先進(jìn)技術(shù)從臺式電腦環(huán)境步入移動和嵌入式平臺，同時也使得包括CPU和GPU在內(nèi)的現(xiàn)有硬件面臨性能極限的考驗(yàn)。
隨著開發(fā)人員在智能手機(jī)、平板電腦、可穿戴產(chǎn)品、監(jiān)控裝置和聯(lián)網(wǎng)汽車中不斷增加新的多媒體功能，在當(dāng)下的設(shè)計中，CPU和GPU是處理密集型圖像算法的主要承載平臺。然而，在實(shí)現(xiàn)一些諸如雙攝相頭、低光照拍攝和快速自動對焦等創(chuàng)新功能時，OEM廠商和開發(fā)人員也不得不作出一些妥協(xié)。
這種趨勢挑戰(zhàn)了，甚至超越了并非設(shè)計用于處理密集型圖像算法的CPU和GPU的極限，其中一個影響就是使得產(chǎn)品的功耗過高，并最終縮短了電池續(xù)航時間。實(shí)際上，嵌入式CPU和GPU也都必需具有極低的功耗，并針對其主要任務(wù)高度優(yōu)化。這個設(shè)計難題的最終解決方案，就是一個具有通用性構(gòu)架并專門為無縫處理圖像和智能視覺功能而專門設(shè)計的處理器IP。
新相機(jī)時代
有兩個用例可展示消費(fèi)電子產(chǎn)品中相機(jī)數(shù)目和圖像處理量是如何快速增加的，第一個例子是據(jù)悉至少具有6個攝像頭的 微軟HoloLens 增強(qiáng)現(xiàn)實(shí)頭盔。
第二個例子是增加了CMOS傳感器數(shù)量來實(shí)現(xiàn)更精巧相機(jī)功能的華為榮耀 6+ 智能手機(jī)。這款手機(jī)在其正面有一個8百萬像素攝像頭，而在其背面則使用兩個8百萬像素攝像頭以實(shí)現(xiàn)雙攝功能。
圖1: 增加相機(jī)數(shù)目構(gòu)成專用視覺處理器的案例
視覺處理器剖析來自 CEVA Inc.的全新圖像處理器就是這樣的一種平臺，用于在system-on-chip芯片(SoC)設(shè)計中，為CPU和GPU分擔(dān)處理密集型的圖像增強(qiáng)、計算圖像學(xué)和計算機(jī)視覺算法。CEVA-XM4可以實(shí)現(xiàn)類似人的視覺感知能力，用于智能手機(jī)、平板電腦、汽車安全和信息娛樂、機(jī)器人、安防監(jiān)控、增強(qiáng)現(xiàn)實(shí)和無人機(jī)等廣泛的圖像應(yīng)用。
圖2: CEVA-XM4面向多個目標(biāo)市場
CEVA-XM4是CEVA公司的第四代圖像和視覺處理器IP，繼承了CEVA與十多家CEVA-MM3101授權(quán)廠商和合作伙伴共同工作所累積的專業(yè)知識與經(jīng)驗(yàn)。同時，CEVA-XM4是一個全新設(shè)計的完全可編程處理器，以期滿足最嚴(yán)苛的圖像處理和計算機(jī)視覺應(yīng)用的需求。CEVA將一個具有定點(diǎn)和浮點(diǎn)處理能力的可編程大位寬矢量處理架構(gòu)、多個對稱標(biāo)量單元，以及一個專門為視覺處理設(shè)計的低功耗指令集集成進(jìn)XM4，達(dá)到比前代CEVA-MM3101多達(dá)8倍的性能提升和2.5倍的功耗改進(jìn)。
[page]
視覺處理器vs移動GPU
與包括業(yè)界領(lǐng)先的移動GPU在內(nèi)的各種競爭解決方案相比，XM4智能視覺處理器在單位功耗（每mW）性能和單位芯片面積（每mm2 ）性能兩個方面都有突出的表現(xiàn)。與市場上一個公認(rèn)的最為先進(jìn)的移動GPU比較，在目標(biāo)物體檢測與跟蹤應(yīng)用中，CEVA-XM4內(nèi)核完成相同任務(wù)的功耗只是競爭解決方案的大約10%，而芯片面積大約只需5%。而且，與移動GPU(如下圖2所示) 比較多鐘特定算法，顯示 XM4和移動GPU之間存在20倍的巨大功耗效率優(yōu)勢。
圖3：CEVA-XM4 與移動GPU功耗效率對比——越高越好
CEVA-XM4圖像IP廣泛適用于三個視覺領(lǐng)域：圖像采集、圖像處理和視覺感知。圖像采集包括3D視覺、圖像降噪和深度圖生成等功能。圖像處理則與計算圖像學(xué)功能相關(guān)，例如圖像穩(wěn)定、低光照圖像增強(qiáng)、圖像縮放、多幀和多傳感器超分辯率合成。最后，視覺感知能夠執(zhí)行目標(biāo)物體識別與追蹤、視頻分析、增強(qiáng)現(xiàn)實(shí)和用于自然用戶界面（NUI）的人臉、手勢和情緒識別等功能。
圖4: CEVA-XM4支持的視覺領(lǐng)域
CNN時代的XM4XM4視覺處理器支持的算法包括實(shí)時3D深度圖生成、用于3D掃描的點(diǎn)云處理以及目標(biāo)與圖像識別，范圍包括Haar、LBP和ORB，直至卷積神經(jīng)網(wǎng)絡(luò)(CNN, DNN)等神經(jīng)網(wǎng)絡(luò)技術(shù)的深度學(xué)習(xí)算法。此外，XM4對計算圖像學(xué)算法的支持包括重對焦、背景替換、圖像縮放、圖像穩(wěn)定、HDR、圖像降噪和低光照圖像增強(qiáng)功能。
相關(guān)閱讀：
簡述GPU作用原理及對比分析CPU和DSP
揭秘新iPad八核GPU內(nèi)部結(jié)構(gòu)，如何比iPhone 6強(qiáng)？
頂尖工程師分享：FPGA的GPU原型優(yōu)化設(shè)計方案
