訂閱
糾錯(cuò)
加入自媒體

Apple Vision Pro的空間計(jì)算與主要芯片

在WWDC 2023 開發(fā)者大會(huì)上,蘋果宣布了其操作系統(tǒng)和產(chǎn)品的一系列升級(jí)。但最大亮點(diǎn)是Apple Vision Pro,蘋果的首款混合現(xiàn)實(shí)(Mixed Reality,MR,即VR+AR)設(shè)備,一經(jīng)發(fā)布就成為世界熱議的焦點(diǎn)。

“今天標(biāo)志著計(jì)算技術(shù)新時(shí)代的開端。”蘋果CEO庫克說,“如同 Mac將我們帶入個(gè)人計(jì)算時(shí)代,iPhone將我們帶入移動(dòng)計(jì)算時(shí)代,Apple Vision Pro將帶我們進(jìn)入空間計(jì)算時(shí)代。

01

空間計(jì)算

空間計(jì)算是麻省理工學(xué)院Simon Greenwold 在其2003 年的論文中引入的一個(gè)術(shù)語?臻g計(jì)算的實(shí)用化建立在人工智能 (AI) 、計(jì)算機(jī)視覺、芯片與傳感器的技術(shù)進(jìn)步之上。典型的空間計(jì)算包括自動(dòng)化倉儲(chǔ)、自動(dòng)駕駛、工業(yè)制造、教育培訓(xùn)、游戲娛樂等應(yīng)用場(chǎng)景。

例如在自動(dòng)駕駛領(lǐng)域,通過多傳感器融合和多模態(tài)計(jì)算,來識(shí)別周邊環(huán)境、移動(dòng)物體和人就是典型的空間計(jì)算。通過更強(qiáng)的算法和芯片,車輛就可以挑戰(zhàn)更復(fù)雜的地形和駕駛場(chǎng)景。

圖片

空間計(jì)算市場(chǎng)的年復(fù)合增長(zhǎng)率為18.3%(來源:http://market.us

空間計(jì)算可以用人工智能、物聯(lián)網(wǎng)、增強(qiáng)現(xiàn)實(shí)等技術(shù)取代舊場(chǎng)景的計(jì)算。據(jù)國(guó)外市場(chǎng)研究機(jī)構(gòu)評(píng)估,新技術(shù)進(jìn)步的引入、智慧城市項(xiàng)目的發(fā)展以及物聯(lián)網(wǎng)/車聯(lián)網(wǎng)滲透率的不斷提高,空間計(jì)算解決方案的需求會(huì)產(chǎn)生18.3%的年復(fù)合增長(zhǎng)率。

圖片

3自由度與6自由度對(duì)比(來源:Qualcomm)

MR 感知和重建現(xiàn)實(shí)使用SLAM技術(shù)來完成,該技術(shù)經(jīng)常使用在自動(dòng)駕駛和機(jī)器人領(lǐng)域。基于SLAM技術(shù)掃視周圍環(huán)境信息, 使用二維圖像構(gòu)建三維空間。

據(jù)稱Apple Vision Pro 具備6自由度(6 DoF- Degree of Freedom)級(jí)別,用戶視角在虛擬場(chǎng)景中不僅可以在俯仰、偏擺及翻滾三個(gè)維度旋轉(zhuǎn),用戶的身體還可以在前后、上下、左右三個(gè)互相垂直的坐標(biāo)軸上進(jìn)行運(yùn)動(dòng)。

02

傳感器處理芯片R1

Apple Vision Pro的核心芯片包括傳感器處理芯片R1和計(jì)算芯片M2。除了這兩顆核心芯片外,Apple Vision Pro還具有17個(gè)傳感器、6個(gè)麥克風(fēng)和兩塊4K級(jí)別的Micro LED作為顯示。

據(jù)蘋果稱,新的R1芯片可減少 VR 中的暈動(dòng)癥,其多模態(tài)處理時(shí)間僅為 12 毫秒。R1芯片是首次在蘋果產(chǎn)品家族中正式亮相,目前披露的消息還很少。

圖片

R1與M2是Apple Vision Pro的核心處理器(來源:Apple)

在iOS 13 中的代碼,早就揭示了這一新的協(xié)處理器的存在。R是其研發(fā)代號(hào)“Rose”的簡(jiǎn)寫,當(dāng)然我們也可以猜測(cè)R也代表了Reality。Rose 協(xié)處理器的第一個(gè)迭代版本 R1 (t2006) 有點(diǎn)類似于 Apple 的 M 系列運(yùn)動(dòng)協(xié)處理器,可以計(jì)算設(shè)備在空間中的位置,其核心功能是從主系統(tǒng)處理器中卸載大量的傳感器數(shù)據(jù)處理工作。

圖片

R1架構(gòu)與周邊連接估計(jì)(作者團(tuán)隊(duì)繪制,轉(zhuǎn)載請(qǐng)注明來源)

早先的Apple M系列運(yùn)動(dòng)協(xié)處理器可以在系統(tǒng)主芯片休眠時(shí),持續(xù)收集、處理和存儲(chǔ)傳感器數(shù)據(jù)的功能,方便應(yīng)用程序在設(shè)備啟動(dòng)時(shí)檢索數(shù)據(jù)。這減少了設(shè)備的功耗并延長(zhǎng)了電池壽命。我們猜測(cè)R1處理器也有類似的功能。

R1 的特別之處在于比之前的運(yùn)動(dòng)協(xié)處理器接入了更多的傳感器,具備更強(qiáng)的處理能力,以生成更準(zhǔn)確的設(shè)備位置圖。R1處理器目前可集中處理來自陀螺儀、加速度計(jì)、氣壓計(jì)和麥克風(fēng)的多模態(tài)數(shù)據(jù),并增加了慣性測(cè)量單元 (IMU)、藍(lán)牙 5.1、超寬帶 (UWB) 和攝像頭(包括運(yùn)動(dòng)捕捉和光學(xué)跟蹤)傳感器數(shù)據(jù)的多模態(tài)計(jì)算支持。其中藍(lán)牙 5.1 的到達(dá)角 (AoA) 和出發(fā)角 (AoD) 功能可實(shí)現(xiàn)藍(lán)牙測(cè)向。

考慮到R1芯片對(duì)接的傳感器需要實(shí)時(shí)計(jì)算,可以預(yù)估R1是一顆低功耗低延遲的多模態(tài)傳感器融合計(jì)算芯片,其上定制了傳感器常用的算子電路,并且具備NPU來支持基于AI的傳感器算法。

圖片

M2主要指標(biāo)(來源:http://notebookcheck.net

03

應(yīng)用處理器M2芯片

Apple M2 是 Apple 的片上系統(tǒng) (SoC),之前已經(jīng)用于MacBook Air 和 MacBook Pro 13。

圖片

M2架構(gòu)(來源:蘋果)

M2具有8 個(gè)CPU內(nèi)核,分為4個(gè)性能內(nèi)核和4個(gè)能效內(nèi)核。性能內(nèi)核提供 192 KB 指令緩存、128 KB 數(shù)據(jù)緩存和 16 MB 共享二級(jí)緩存。效率內(nèi)核要小一些,僅提供 128 KB 指令緩存、64 KB 數(shù)據(jù)緩存和 4 MB 共享緩存。效率內(nèi)核時(shí)鐘頻率為2.4 GHz,性能內(nèi)核的時(shí)鐘頻率則到達(dá) 3.5 GHz。另外M2 中的集成顯卡提供8-10 個(gè)內(nèi)核以及 3.6 TFLOPs 的峰值算力。此外,SoC 集成了一個(gè)具有 16 TOPS 峰值性能的高速16 核神經(jīng)網(wǎng)絡(luò)加速器(屬于DSA,用于 AI 計(jì)算加速)。

M2算是Vision Pro里的電老虎了,占據(jù)了主要的功耗。

圖片

M2與M1對(duì)比(來源:http://anandtech.com

M2特色是其采用統(tǒng)一的 CPU 和 GPU 內(nèi)核內(nèi)存架構(gòu),支持高達(dá) 24 GB LPDDR5-6400,帶寬高達(dá) 100GB/s。內(nèi)置于 M2 芯片中的統(tǒng)一內(nèi)存架構(gòu)意味著 CPU、GPU 和其他處理器組件無需在彼此之間重復(fù)復(fù)制數(shù)據(jù),并且能夠訪問統(tǒng)一的數(shù)據(jù)池。

圖片

(Blue=GPU, Yellow=P-CPU, Green=E-CPU, Red=Neural Engine, Pink=System Level Cache , Orange=De-/Encode。來源:High Yield)

       原文標(biāo)題 : Apple Vision Pro的空間計(jì)算與主要芯片

聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)