Google、三星、Arm和開放媒體聯盟聯手打造Eclipsa Audio

試想一下，你正坐在客廳里觀看電影，此時畫面中有一架直升機飛過，你可以聽到直升機的聲音仿若就在你頭頂上方移動，從房間的一側到另一側，營造出真正身臨其境的觀影體驗。得益於基於沉浸式音頻模型和格式(IAMF,Immersive Audio Model and Formats) 的新開源音頻技術Eclipsa Audio，上述的聽覺體驗已能實現。無論是搭配了高端電視的高檔影院系統，還是入門級移動設備和電視，該技術能夠在多種常見消費電子產品中快速高效地處理此類需求。

該技術於今年國際消費類電子產品展覽會(CES)上推出，由Google、三星、Arm和開放媒體聯盟（開發了AV1視頻格式的組織）共同打造。

什麼是Eclipsa Audio？

Eclipsa Audio是一種多聲道音頻環繞格式，利用IAMF技術提供沉浸式聆聽體驗。該技術通過垂直和水平傳播音頻，革新了聽覺體驗。這種三維音景高度模擬自然環境，使電影、電視節目和音樂中的聲音表現更為生動逼真。

Eclipsa Audio會根據不同場景動態調整音頻，從而確保呈現最佳音質。此外，該技術還提供定製功能，使聽眾能夠依據個人偏好調節聲音，進而獲得個性化及獨特的聽覺體驗。

一個Eclipsa Audio比特流最多可以包含28個輸入通道，這些通道被渲染到一組輸出揚聲器或耳機。這些輸入聲道可以是固定的，如管絃樂隊中的麥克風；也可以是動態的，如動作電影中直升機穿過聲場。

Eclipsa Audio具備雙耳渲染功能，這對於通過耳機提供沉浸式音頻的移動端應用至關重要。此外，這種新的音頻技術支持跨消費類設備進行內容創建，使用户能夠自行構建沉浸式音頻體驗。

Arm與Google在IAMF開發的合作歷程

在IAMF開發過程中，Arm作為戰略合作伙伴，與Google團隊密切協作，以優化該技術的性能。Arm的工作重點在於提高Opus編解碼器和IAMF庫(libiamf)的效率，確保其在當今廣泛應用於移動設備和電視中的Arm CPU上實現最佳性能。

自2005年以來，Arm CPU已經集成了Neon SIMD擴展，並且在此之后取得了顯著發展，使得音頻和視頻處理等數字信號處理(DSP)任務實現了性能躍升。針對IAMF，Arm的工程師致力於技術優化，使其能夠在最低CPU使用率下實時解碼複雜的比特流，如此一來，即使CPU正在處理體驗中的其他任務，也能確保可靠的性能。這對於注重能效的移動端應用尤為重要。

性能增強

Arm一直在為opus-codec和libiamf升級補丁，專注於浮點實現，以實現最佳性能。這些增強包括：

-Neon Intrinsic優化：該優化支持多種Arm架構（包括Armv7 + Neon、Armv8-A32、Armv8-A64和Armv9），從而加速了浮點到 INT16的轉換和軟削波。此外，還為多通道揚聲器輸出中的矩陣乘法和通道解壓縮提供了 CPU 特定的優化。

-性能提升：在Quartz64和Google Pixel 7等設備上，不同揚聲器配置（如立體聲、5.1、9.1.6）都有顯著的性能提升。舉例來説，9.1.6的輸出在Pixel 7的Arm Cortex-A55 CPU核心上性能提升超過了160%。

-解碼效率：經優化后，所有測試文件在AArch64上的解碼時間少於實時的16%，而在AArch32上則少於實時的 23%，使其在Cortex-A55處理器上極為高效。

核心技術

IAMF支持多種音頻編碼格式，包括LPCM、AAC、FLAC和Opus。其中，Opus是當前最時新的編解碼器，通常被認為是首選。Arm針對Arm架構對Opus進行了進一步優化，從而確保其在IAMF框架內高效運行。

IAMF庫(libiamf)負責解碼IAMF比特流，併爲各類音響系統生成揚聲器輸出。Arm引入了一種CPU專用化框架，通過編譯時特徵檢測，確保該庫針對其運行的平臺進行了優化。

通過對Opus編解碼器和libiamf庫等關鍵組件進行優化，Arm的工程師確保了IAMF在Arm CPU上能夠提供卓越的性能。這不僅提升了用户體驗，也體現了Arm的技術在前沿應用中的重要價值。

開放媒體聯盟支持的IAMF開放標準方法，與Arm提供廣泛可訪問性和推動創新的願景高度契合。此次合作凸顯了Arm在推動沉浸式音頻技術未來方面的重要作用，為包括高端家庭影院系統、入門級移動設備和電視等在內的各種現有及未來設備，提供高質量的音頻體驗。

沉浸式音頻的未來就在這里

IAMF彰顯了沉浸式音頻技術的重大飛躍，通過利用人工智能(AI)和深度學習技術以及Arm支持的強大性能優化，提供多功能和高質量的音頻體驗。

沉浸式音頻的未來已經到來，並且變得更加觸手可及。無論您是普通聽眾還是音響發燒友，IAMF將為您帶來前所未有的沉浸式音頻體驗。

(9376397)