全球IP矽智財授權(quán)廠商Arm宣布推出全新Arm Mali-C52 與Mali-C32影像訊號處理器(ISP)，藉由完整的解決方案提供最高的影像品質(zhì)，實現(xiàn)智慧連網(wǎng)裝置即時處理更高畫質(zhì)影像的需求。

全新Arm ISP技術(shù)打造更銳利的數(shù)位之眼

在人類五種感官中，視覺是演化程度最高、感受最豐富的感官，由超過200萬條神經(jīng)纖維，將視網(wǎng)膜的訊息傳送到大腦。而過去數(shù)十年來，數(shù)位世界一直致力於超越我們自身的視覺處理能力。創(chuàng)造「數(shù)位之眼」處理即時的高畫質(zhì)影像，讓觀看者真實感受環(huán)境的狀況，是Arm的生態(tài)系統(tǒng)致力於推向一兆臺聯(lián)網(wǎng)裝置時所面臨的眾多挑戰(zhàn)之一。

Arm預(yù)測在所有連網(wǎng)裝置中，物聯(lián)網(wǎng)裝置對於嵌入式視覺功能需求最為殷切，安全(監(jiān)控)與IP攝影機市場預(yù)計到2021年的年成長率將達到20%，屆時出貨量可望超過5億臺。個人機器人年成長率達75%，預(yù)計到2021年出貨量將成長到200萬臺。智慧家庭市場預(yù)計到2021年之前，年成長率可望達14%，規(guī)模將成長到8,800萬臺，而其他包括無人機、AR/MR設(shè)備、以及運動攝影機等裝置，將從新興裝置演變成大眾化的產(chǎn)品。

將感知轉(zhuǎn)譯成畫素

上述裝置所採用的影像技術(shù)中，其中一個關(guān)鍵環(huán)結(jié)就是嵌入在裝置內(nèi)的ISP技術(shù)。在這些受到諸多限制的裝置中，ISP的關(guān)鍵功能是在擷取影像感測器的訊號，然後處理每個畫素時，提供最精準與最高畫質(zhì)的影像，特別是涉及到機器學(xué)習(xí)的作業(yè)。

全新Arm Mali-C52 與Mali-C32對每個畫素進行超過25個處理步驟，其中三項關(guān)鍵步驟對影像輸出品質(zhì)起了決定性的影響，這些步驟包括高動態(tài)範(fàn)圍(HDR)、雜訊抑制、以及色彩管理。藉由結(jié)合Arm引領(lǐng)市場的Iridix技術(shù)以及其他領(lǐng)先業(yè)界的演算法，用來消除雜訊以及管理色彩， Mali-C52 與Mali-C32 ISP能有效率地在高解析度以及即時處理(例如4K解析度與60fps更新率)的條件下，達成上述三項目標。

高動態(tài)範(fàn)圍技術(shù)絕不遺漏任何影像細節(jié)

最能凸顯HDR功能必要性的情境，就是裝在戶外有明亮照明處的連網(wǎng)保全攝影機，它輸出的畫面通常交雜著極光亮以及陰暗的影像區(qū)域。人的雙眼能自動調(diào)適高對比的明亮度，而數(shù)位感測器通常需要多次曝光以捕捉這樣的場景。

欲真實呈現(xiàn)HDR場景，採用的影像技術(shù)會要求每個畫素得具備20或24位元的精準度，然而數(shù)位系統(tǒng)的顯示通常只支援到8或10位元，以致能處理的資料量也受到侷限。這也意謂著ISP之後銜接的電腦視覺引擎都侷限於8至10位元的精準度。在此情況下，ISP有必要以更高的位元深度處理HDR資料，之後再進行壓縮以利後續(xù)使用。倘若動態(tài)範(fàn)圍的問題沒有妥善解決，畫面中陰暗區(qū)域影像的細節(jié)就會消失殆盡。

全新Mali ISP融入了Arm的動態(tài)範(fàn)圍管理以及色調(diào)映射技術(shù)，設(shè)計目標正是要克服這些元件的侷限性，以及讓觀看者能看到更清楚的暗部影像，完全無須編修或調(diào)整影像的明亮度。

完整且富彈性的解決方案加快產(chǎn)品上市時程

Mali-C52可自行設(shè)定，進行兩個層面的最佳化：影像品質(zhì)以及佔用空間。這樣的彈性讓晶片夥伴能在多種產(chǎn)品與使用情境中延用相同的IP與軟體。Mali-C32特別針對低功耗、需考量成本的嵌入式視覺裝置進行最佳化，像入門級門禁系統(tǒng)或是休閒用無人機。

此兩款I(lǐng)SP都是完整的解決方案，Arm提供硬體IP都附有ISP軟體驅(qū)動程式，其中包括3A 函式庫 (自動曝光、自動白平衡、自動對焦)以及各種校正和調(diào)校工具。

其中功能特色與利益包括：

1. 更高的ISP影像品質(zhì)：Iridix技術(shù)設(shè)計旨在提供模仿人類視網(wǎng)膜對比調(diào)適的精準模型，讓攝影機能像人眼一樣看到高明暗對比的影像。

2. 更高的效能，ISP每秒能處理6億畫素，這項關(guān)鍵功能能以旗艦款智慧型手機等級的畫面更新率拍出專業(yè)級攝影畫質(zhì)(像是數(shù)位單眼)。

3. 完整的軟體套件用來控制ISP、感測器、自動白平衡、自動對焦、以及自動曝光。另外還提供包括裸機(bare metal)與Linux(Video4Linux 框架v4L2版本)軟體。

4. 彈性調(diào)校：運用全套調(diào)校與校正工具進行客觀與主觀的調(diào)校。專業(yè)的調(diào)校訓(xùn)練課程與支援，協(xié)助用戶針對特殊使用情境與感測器進行專屬的調(diào)校

一兆臺裝置需要銳利的數(shù)位之眼

Arm的願景是打造一兆臺具備視覺功能的裝置。要實現(xiàn)一兆臺連網(wǎng)裝置世界的願景，這些裝置需要更銳利的數(shù)位之眼來看清以及認知周遭環(huán)境，以為機器以及人類提供可靠的訊息來源。一切的開頭就是盡可能達到最高的影像品質(zhì)，Arm全新推出的Mali ISP正是為這個目標而生。