繁體
  • 简体中文
  • 繁體中文

熱門資訊> 正文

聲網:成為OPENAI公司合作伙伴 為AI大模型語音交互提供低延迟能力

2024-10-15 00:00

事件:美國OpenAI 公司發佈Realtime API 公開測試版。LiveKit、Agora、Twilio成為OpenAI 公司合作伙伴,旗下產品可與實時API 集成,為AI 大模型語音交互提供低延迟能力。

點評:

Realtime API 賦予AI 理解人類情感的能力。此前,開發者開發基於語音對話的AI 應用,需要先通過speech-to-text(STT)模型將用户語音轉寫為文字,將文字輸入大語言模型完成推理,再通過text-to-speech(TTS)模型轉換為語音。

這個過程中,用户語音中大量的情緒、語氣和重音強調等信息會丟失,並且延時往往比較高。而Realtime API 可以直接將語音作為輸入與輸出模態,給用户帶來更自然的對話體驗。該過程中,要讓AI 模擬人類的情感和對話流程,需要超低延迟的實時網絡,從而保證自然良好的語音交互體驗。

Agora 為開發者調用Realtime API 提供低延時、高可用、高音質的傳輸服務。

OpenAI 於今年5 月份推出全球首個端到端多模態大模型GPT-4o 並表示此后將開放API 接口,開發者可以將GPT-4o 的基礎能力應用在多個場景。10 月1 日,OpenAI 正式發佈GPT-4o 的低延時多模態API 接口,稱為Realtime API。Agora作為OpenAI 推薦的合作伙伴,在Conversational AI SDK 中集成了OpenAI 的Realtime API,為開發者調用Realtime API 提供了低延時、高可用、高音質的傳輸服務,同時在設備端側提供了回聲消除、降噪等功能。開發者需要分別在OpenAI 與Agora 開通賬號並獲得API key,並基於用量分別向OpenAI 與Agora付費。

Realtime API 調用價格較高,應用場景使用量短期預計有限。OpenAI 按照文字token 數量與音頻token 數量收費,其中音頻token 價格為每100 萬個音頻輸入token 為100 美元,每100 萬個音頻輸出token 為200 美元。大致換算為分鍾數,大約為每1000 分鍾音頻輸入收費60 美元,每1000 分鍾音頻輸出收費240 美元。

Agora 的收費方式為按照時長收費,每1000 分鍾0.99 美元。Agora 和OpenAI將各自向開發者客户發佈賬單,雙方之間互相不做收入分成。我們認為,考慮到目前Realtime API 相對較高的價格,短期內只會在少數高附加值場景如客服、教育、情感陪聊等有實際應用,其他場景的開發者可能初期只會進行集成測試,等待未來價格下降后再進行大規模推廣應用。

與OpenAI 合作體現Agora 公司在海外具有較強的競爭力。人與AI 語音交互同樣面臨網絡時延與最后一公里網絡質量不佳問題。LiveKit、Agora、Twilio 成為OpenAI 公司合作伙伴,為AI 大模型語音交互提供低延迟能力,三家定位有所差異。Twilio 的Voice API 主要用於AI 應用和電信網絡之間的通訊;LiveKit 和Agora的SDK 主要用於基於互聯網傳輸的實時音頻通話場景,其中LiveKit 的定位為開源方案提供商,需要開發者具備一定的二次開發能力。Agora 公司是專業的第三方RTC 服務商,憑藉自身構建的軟件定義實時網(SD-RTN),為企業開發者提 供可調用的實時互動SDK,實現在應用內構建實時音視頻互動場景。根據Agora公司官方披露,公司SD-RTN 具備低延時、高覆蓋、高可用等特性,覆蓋200+國家與地區/1000 萬併發能力/登錄成功率>99%/可用性>99.99%/端到端時延76ms(中位數)。

盈利預測與評級:實時音視頻場景持續擴大以及公司全球市場佈局,公司發展潛力較強。我們預計2024-2026 年公司營收分別為1.36 億美元(yoy -3.8%)、1.48億美元(yoy +8.4%)、1.66 億美元(yoy +12.3%),歸母淨利潤分別為-32.6百萬美元、-19.6 百萬美元和-10.4 百萬美元,Non-GAAP 歸母淨利潤分別為-18.0百萬美元、-5.8 百萬美元和4.0 百萬美元,維持「推薦」評級。

風險提示:國內RTC PaaS 服務市場競爭加劇;新場景落地不及預期;公司技術優勢縮小;公司管理效率下降。

風險及免責提示:以上內容僅代表作者的個人立場和觀點,不代表華盛的任何立場,華盛亦無法證實上述內容的真實性、準確性和原創性。投資者在做出任何投資決定前,應結合自身情況,考慮投資產品的風險。必要時,請諮詢專業投資顧問的意見。華盛不提供任何投資建議,對此亦不做任何承諾和保證。