繁體
  • 简体中文
  • 繁體中文

熱門資訊> 正文

不是OpenAI用不起,而是開源AI模型更有性價比?

2024-11-07 08:30

儘管OpenAI因為不「open」而備受爭議,每一次新模型發佈、每一項功能更新,都能引發全行業的關注與跟進,並且以1570億美元的估值成為「最貴」的AI初創企業,遠超任何一家開源AI公司。同樣的,Anthropic 也憑藉 184 億美元的估值領先大多數開源 AI 企業。

然而,最近的種種跡象表明,企業似乎正悄然向開源 AI 模型傾斜:

Meta的Llama模型下載量同比增長10倍,突破3.5億次;AI基礎設施服務商 Groq 報告稱開源模型用户數量大幅攀升;AWS AI基礎設施副總裁巴斯卡·斯里達蘭也證實:"近幾月開源模型的需求明顯上升"。

是什麼引發了這種轉變?要解答這個問題,我們可以從開源與閉源 AI 模型的核心區別入手。

為更好理解兩者差異,不妨回顧一下軟件領域中的開源和閉源概念。

開源軟件以其源代碼完全公開著稱,任何人都可以自由查看、修改和分發。Linux、Apache 和 Firefox 等廣受歡迎的項目,正是得益於這種開放協作的開發模式。在GPL、MIT等開源許可證的保障下,開發者們不僅獲得了創新和學習的機會,還能快速響應問題修復和功能優化。

與之相對的是閉源(專有)軟件,如Windows操作系統和Adobe Photoshop。它們的源代碼對外部嚴格保密,用户只能在限定範圍內使用,無法進行代碼層面的修改。這種模式雖然有利於保護知識產權,但也限制了用户的自主權,一旦遇到問題只能被動等待官方更新。

我們可以看到開源軟件強調的是共享和協作,而閉源軟件更注重控制和保護知識產權。

開源 AI 的定義在很長時間內較為模糊,直到十月底,開放源代碼倡議(OSI)發佈了《開源 AI 定義》(OSAID)1.0版本,首次為「開源 AI」設立標準。根據OSAID,開源AI模型需滿足兩大核心要求:

1. 提供足夠詳細的信息,確保任何人都能「實質性地」重建模型。

2. 公開披露訓練數據的關鍵細節,包括數據來源、處理方式以及獲取或許可的途徑。

這意味着開源AI模型應具備完全透明性,讓人們不僅能理解其構建過程,還能獲取所有核心組件,如訓練與數據過濾的完整代碼,且這些內容應可用於進一步開發與利用。

不過,按照這個「超嚴格」的標準,市面上許多標榜「開源」的AI模型可能並不符合要求,因為它們通常未公開實際訓練所需的完整數據集。

在 Reddit 關於開源AI模型定義的討論中,不少用户提出了更激進的看法。

他們認為,幾乎沒有AI公司真正「創造」過訓練數據。大多數公司所使用的數據源來自互聯網的公開資源,如Discord、Reddit、Twitter、YouTube、圖片庫、小説平臺、維基百科、新聞網站等。AI公司所做的只是投入大量資金在硬件和算力上,以實現這些數據的高效利用和模型訓練。因此,從公平性角度而言,這些模型理應開源,以便公眾也能訪問和使用,避免資源壟斷。

當然,我們不走極端,今天討論的開源AI模型主要指的是像Llama和Mistral這樣的實際應用中的主流選擇。它們雖然在完全公開所有訓練數據方面尚未達到「極致透明」的標準,但依然向外界提供了相當高的開放度。

以GPT-3為代表的閉源AI模型則完全掌控在內部開發團隊手中,外部開發者難以瞭解其內部機制。閉源模型的架構、優化和參數調整由公司全權控制,開發成本也極為高昂,因為研究、開發和維護全部由內部完成,缺少外部社區的成本分擔和協作支持。

簡單來説,開源AI模型強調透明性和共享,促進社區的協作,而閉源AI模型則注重控制和獨佔技術,以保護公司利益和知識產權。

不是OpenAI用不起,而是開源AI模型更有性價比

先擺結論:整體而言開源AI模型定價更低。

這是因為它的優勢在於靈活性、成本低,企業可以將其部署在自有服務器或雲平臺上,擺脫對第三方API的依賴。同時,開源社區的協作帶來了架構優化和效率提升,顯著降低了單個機構的研發成本,提升了安全性和可控性。

而閉源模型依賴內部資源,缺乏外部協作,疊加數據採集、模型訓練和算力資源等成本高企,導致研發成本偏高,收費標準自然水漲船高以支撐其商業模式。

讓我們來對比開源與閉源AI模型的定價(按每百萬個token計):

● 開源陣營(在亞馬遜Bedrock上的價格)

  • Llama 3 8B:輸入$0.4,輸出$0.6

  • Mistral 7B:輸入$0.15,輸出$0.2

● 閉源陣營

  • GPT-4:輸入$2.5,輸出$10

  • Claude 3.5 Sonnet:輸入$3,輸出$15

從成本上看,GPT-4約為Llama 3 8B的6-16倍,是 Mistral 7B的17-50倍;而Claude 3.5 Sonnet更昂貴,是 Llama 3 8B的7.5-25倍,Mistral 7B的20-75倍。

在參數規模方面,儘管GPT-4和Claude 3.5 Sonnet大於Llama 3 8B和Mistral 7B,但對於大多數企業應用場景而言,8B或7B參數規模的模型已經足以勝任日常 AI 任務,如文本生成、實時問答和數據分析。這些開源模型不僅部署成本更低、響應速度更快,也更符合實際業務需求。

當一款價格僅為GPT-4二十分之一的模型便能滿足80%的業務需求時,企業自然會選擇它。

AI模型成本的下降主要受到技術進步、市場競爭和雲計算優化的推動:更高效的模型架構和訓練方法、激烈的市場競爭促使降價擴展用户羣,雲基礎設施的改進進一步壓縮了運行成本。

這一成本下降在GPT-3.5到GPT-4的定價變化中有所體現,但開源AI模型顯然受益更大,價格優勢更為明顯。

著名風險投資人Marc Andreessen在十月曾指出生成式LLM內容的每個token的成本在過去一年下降了100倍並認為目前「競相壓價」的趨勢無疑會對閉源模型供應商的盈利空間構成挑戰。

在低價競爭的壓力下,OpenAI和Anthropic也分別推出了小模型GPT-4o-mini和Claude 3.5 Haiku,其中GPT-4o-mini的輸入token定價和Mistral 7B持平,但輸出的定價仍然是其3倍之多。

部署門檻一降再降,開源AI模型上手不再難

開源模型的部署成本和難度,近幾年已經大幅下降,中小企業和獨立開發者現在也能更輕松地以較低成本接觸到AI技術。

主流雲平臺,如AWS、Google Cloud和Azure,紛紛降低技術門檻,推出專門的AI模型託管服務。比如亞馬遜的Bedrock和谷歌的Vertex AI,它們支持直接託管開源模型,提供一鍵式服務,從硬件資源管理到安全保障都搞定,讓用户短時間內就能實現模型的部署和管理,完全不必自己搭建基礎設施。

與此同時,隨着GPU、TPU等高性能硬件的技術進步和量產規模的擴大,這些設備的租賃價格也逐年下降。現在,甚至小企業和個人開發者也能負擔得起高性能計算資源,不再是過去遙不可及的高成本投入。

開源社區對模型優化的推動也不容小覷。技術人員不斷創新,優化模型結構、減少參數數量、提升推理效率,讓開源模型在相同計算資源下也能實現更好的性能表現。像Llama、Mistral等新興開源模型已經在不同硬件架構上進行了優化,即便是在資源相對有限的環境下也能高效運行。

最值得一提的是基礎模型服務商的崛起——像Hugging Face、Cohere這樣的公司能夠提供即用型API,用户無需再自己管理硬件和模型維護,只要簡單調用API就能接入開源模型。

它們的平臺聚合了豐富的開源模型庫,企業可以根據業務需求快速選用合適的模型,甚至直接在平臺上完成微調,省去了大量開發時間和人力成本,讓開源模型的商業應用變得更加靈活高效。

正因為有了這些技術和生態的進步,開源AI模型的部署不再是高門檻的挑戰,而是越來越多企業和開發者可以觸手可及的技術選擇。

企業想要更安全可控的AI模型,基礎設施供應商也在跟進

根據美國科技媒體Venture Beat在十月的一篇報道,在數據安全和AI模型控制需求日益增加的背景下,企業對開源AI模型的信任度正在穩步攀升。

閉源 AI 模型的服務模式通常由供應商(如 OpenAI、Anthropic、Gemini 等公司)提供所謂的「私有計算環境」。表面上,這似乎能夠保障數據隱私,但在實際操作中,模型的控制權依然牢牢掌握在供應商手中。核心代碼、模型權重、超參數等要素被嚴格保密,不可能向企業完全開放。這導致企業對模型的內部機制一知半解,缺乏自主管理和調優的能力。

所以即使企業的數據存儲在「私有環境」中,模型供應商的員工卻依然可能接觸到這些數據,一旦擁有訪問權限,企業的數據安全性便大打折扣。對於金融、醫療等數據高度敏感、監管嚴格的行業來説,這種數據泄露風險幾乎無法接受。

如果使用開源AI模型,企業可以完全訪問模型的代碼和參數設置,根據需要對其進行調試和優化,甚至可以在內部完成運行和維護。這樣的自主性不僅提升了數據安全的保障,增強了企業對模型控制的信任,也為企業在特定業務需求下提供了技術上的靈活性和深度定製的可能性。

因此,自主可控的開源AI模式不僅消除了供應商對模型和數據的干預,降低了數據泄露風險,還讓企業可以自由拓展和優化模型的功能,不再受限於供應商的技術框架或版本更新。

這一趨勢也引發了基礎設施供應商的響應,紛紛集成開源AI模型,為客户提供更多選擇。例如,Salesforce最近推出的Agentforce平臺,使企業可以在Salesforce應用中無縫集成任何LLM,使開源模型的使用體驗與閉源模型一樣簡單便捷。

甲骨文公司在九月還在其企業套件中擴展了對最新Llama模型的支持,其中包括ERP、人力資源和供應鏈管理等針對大型企業的應用程序。

另一家商業應用巨頭SAP宣佈通過其Joule AI copilot 全面支持開源LLM,而ServiceNow則支持開放和封閉的LLM集成,以實現客户服務和IT支持等領域的工作流自動化。

甲骨文公司AI與數據管理服務執行副總裁Greg Pavlik在接受Venture Beat採訪時表示,他認為開源AI模型將最終勝出,因為其修改模型和進行實驗的能力(特別是在垂直領域)加上優惠的成本對企業客户非常有吸引力。

開源和閉源AI模型,就像安卓 vs 蘋果?

在AI模型發展的賽道上,以Hugging Face和OpenAI為代表的公司所採取的不同策略,或許可以類比為智能手機市場中的「安卓 vs. 蘋果」競爭模式。

Hugging Face 如同安卓陣營,以開放普惠的策略吸引了大批開發者和中小企業的青睞。

它提供了豐富的工具和資源,包括類似GitHub的AI代碼倉庫、龐大的模型和數據集中心,以及展示AI應用的Web應用程序。平臺上託管了超過100萬個模型和數據集,開發者可以輕松調用Llama、Mistral、Falcon和Bloom等主流開源AI模型,滿足不同層次的使用需求。

通過與AWS的深度合作,Hugging Face讓這些開源模型能夠在亞馬遜的雲基礎設施上高效運行,幫助中小企業和初創公司獲得強大的計算能力,降低了AI技術的進入門檻。

價格合理、開源友好的API服務使得AI民主化成為現實,並形成了一套開放、靈活的生態,這種模式與安卓在智能手機中的角色十分相似。

相對而言,OpenAI則更像「蘋果」,走的是高端、精英化的路線。

作為微軟深度支持的初創企業,OpenAI的客户羣主要是資金雄厚的大型企業:它們不僅能支付高昂的費用,還能充分利用OpenAI提供的尖端AI技術。另外,OpenAI的Foundry平臺還提供了定製化的計算資源,專為需要高性能模型的企業設計。

這種「安卓 vs. 蘋果」的模式,不僅為不同規模的用户提供了更多選擇,也催生了一個互補共生的新格局。

今年八月,總部位於紐約布魯克林的Hugging Face在D輪融資中獲得了2.35億美元的投資,估值達到了45億美元,投資方包括谷歌、亞馬遜、英偉達、英特爾等巨頭。

有趣的是,儘管亞馬遜和微軟分別深度綁定了閉源AI公司Anthropic和OpenAI,兩大巨頭卻同樣在加碼對開源AI模型的佈局。

亞馬遜是Hugging Face的主要投資人,並與其在AWS平臺上進行深度集成;微軟則在今年二月向開源AI模型公司Mistral注資1600萬美元,並推出了自己的Phi系列開源AI模型。

這種開源與閉源的雙線佈局,使得亞馬遜和微軟能夠推動AI市場的多元化發展,無論是尋求普惠AI解決方案的獨立開發者、中小企業,還是追求尖端技術的大型企業,都能找到契合自身需求的AI方案。

開源還是閉源,哪一個纔是生成式AI發展的未來?

今年5月泄露的一份谷歌內部紀要中,一位研究員直言,谷歌和OpenAI都沒有護城河,開源AI模型可能最終纔是真正的贏家。

「儘管我們的模型在質量上依然略勝一籌,但差距正在以驚人的速度縮小。開源模型速度更快、可定製性更強、更私密,且在相同條件下更具競爭力。它們用100美元和13B參數就實現了我們投入 1000 萬美元、540B參數才勉強達到的效果,而且只用了數周,而非數月。」紀要中寫道。

這位研究員認為,Meta當前在這場競賽中已經佔得先機,因為其Llama模型匯集了全球開發者的免費貢獻,大多數開源創新都基於其架構,從而使得Meta的生態系統更為強大。

「擁有生態系統的價值不容低估。」他在紀要中補充道,「谷歌在Chrome和Android等開源產品中成功運用了這種模式,通過掌控創新的平臺,谷歌鞏固了自身的思想領袖地位,並能夠在更廣泛的理念上塑造話語。」他認為,谷歌應更傾向於開放,以實現更好的發展。

不過谷歌DeepMind首席執行官 Demis Hassabis有着不同的看法。在接受美國科技媒體The Verge的採訪時,他表示谷歌的研究團隊具備極強的競爭力,能夠推動公司繼續引領人工智能前沿,谷歌大腦和DeepMind團隊的合併將為未來的突破提供更多可能。

「看看谷歌和DeepMind在創新和突破方面的歷史。我敢打賭,我對此充滿信心,」Hassabis説道,「這種勢頭會在未來十年愈發顯著。我們將像過去一樣取得下一個關鍵性突破。」

儘管開源和閉源AI模型之間存在競爭,但二者未必需要非分出勝負。

正如Linux和Windows長期共存、蘋果和安卓各佔一方,開源與閉源AI模型也有可能在不同領域中相互補充,共同推動行業的進步。

開源模型可以提供創新的「試驗場」,吸引全球開發者的參與和優化,而閉源模型則在數據隱私和性能優化方面具有優勢。無論是個人用户還是企業,都可以根據需求選擇適合的方案,促使技術在開放與保護間取得平衡,最終形成共存共榮的生態系統。

文:王茜茜 / 數據猿

責編:凝視深空 / 數據猿

風險及免責提示:以上內容僅代表作者的個人立場和觀點,不代表華盛的任何立場,華盛亦無法證實上述內容的真實性、準確性和原創性。投資者在做出任何投資決定前,應結合自身情況,考慮投資產品的風險。必要時,請諮詢專業投資顧問的意見。華盛不提供任何投資建議,對此亦不做任何承諾和保證。