微軟投資了一家AI芯片公司

來源：內容由半導體行業觀察（ID：icbank）綜合自siliconangle等，謝謝。

一家名為D-Matrix，專注於為數據中心設計和構建高效芯片和生成人工智能計算平臺的初創公司今天宣佈，在由新加坡全球投資公司淡馬錫牽頭的超額認購 B 輪融資中籌集了 1.1 億美元。

據報告，現有的投資者 Playground Global、微軟公司的 M12 風險基金、Nautilus Venture Partners 和 Entrada Ventures 也參與了本輪融資，新投資者包括 Industry Ventures、Ericsson Ventures、Marlan Holdings、Mirae Asset 和 Samsung Ventures。

D-Matrix在 2022 年 4 月的一輪融資中獲得了 4400 萬美元，由 M12 和韓國半導體制造商 SK 海力士公司領投。該輪融資使該公司的融資總額達到 1.54 億美元。

M12 的 Michael Stewart 表示：「我們正在進入生產階段，LLM 推理總擁有成本將成為決定企業在其服務和應用程序中使用先進人工智能的程度、地點和時間的關鍵因素。」

Sheth 表示，D-Matrix 計劃將新資金投資於其Corsair 平臺的招募和商業化，該平臺使用 DIMC 架構和小芯片，以降低推理成本。Corsair 計劃於 2024 年推出，是一款 PCI 外形卡，可與機器學習工具鏈和用於生產的服務器軟件配合使用，這些軟件主要由廣泛採用的開源軟件構建。只需「按一下按鈕」，人工智能模型就可以快速導入卡中，無需重新訓練。

Sheth 表示：「由於推理成本高昂，目前生成式人工智能的前景還無法實現，而通過今天的公告和我們的資金注入，我們將能夠比該領域的其他任何人更快地將商業上可行的解決方案推向市場。」

此次融資公告是在上個月推出 d-Matrix Jayhawk II 小芯片之后發佈的，該小芯片採用增強型 DIMC 架構。d-Matrix 表示，通過這個基於小芯片的新平臺，其客户可以獲得比圖形處理單元高 10 到 20 倍的效率，並節省 10 到 20 倍的成本。

雖然令人興奮的説法，但我們更希望 d-Matrix 使用行業標準的 MLPerf 同行評審基準來證實這些説法，希望這會在適當的時候出現。

d-Matrix，什麼來頭？

資料顯示，d-Matrix 是一家總部位於硅谷的公司，為生成式人工智能和大型語言模型生產計算平臺。其旗艦產品是 Corsair，這是一款用於人工智能推理的內存計算引擎。該設計能夠將人工智能模型完全保存在內存中，這一點很新穎，並且建立在 d-Matrix 之前的 Nighthawk、Jayhawk-I 和 Jayhawk II 小芯片的基礎上。

d-Matrix 之所以脫穎而出，是因為芯片製造領域競爭激烈，而且許多小公司在融資方面遇到困難。英偉達已經迫使許多小公司和投資者退出人工智能芯片市場。路透社稱，特別是英偉達在硬件和軟件方面的主導地位使得其他公司難以擠入。

d-Matrix之前曾經發布新聞稿表示，隨着大模型推動人工智能推理需求不斷擴大，而內存和能源需求達到閾值限制，d-Matrix 正在將首款基於 DIMC 的推理計算平臺推向市場。d-Matrix 通過一個可擴展的平臺改變了複雜變壓器和生成式人工智能的經濟性，該平臺旨在處理推理人工智能的海量數據（維權）和電力需求，使高耗能的數據中心更加高效。

d-Matrix 的這款新穎的 AI 計算平臺巧妙地結合了智能 ML 工具和集成軟件架構，利用樂高塊網格形式的小芯片，從而能夠將多個編程引擎集成在一個通用包中。

將 d-Matrix 技術與 Project Bonsai （微軟低代碼強化學習平臺 Project Bonsai ）相結合，可以為 DIMC 平臺高效創建編譯器。Project Bonsai 加速了編譯器堆棧中訓練有素的 RL 代理的快速原型設計、測試和部署，以充分利用 d-Matrix 的低功耗 AI 推理技術，該技術可提供比舊架構高出十倍的能效。

d-Matrix 聯合創始人兼首席技術官 Sudeep Bhoja 表示：「d-Matrix 構建了世界上最高效的大規模 AI 推理計算平臺。」 「Project Bonsai 吸引我們的原因是其產品至上的功能和易用性。Microsoft 的獨特產品是圍繞機器教學和 Inkling 語言構建的，這使得 RL 構造可以完全解釋。」

基於 RL 的編譯器預計將成為 d-Matrix 的第一代 DIMC 產品 CORSAIR 的關鍵差異化因素，該產品預計將於 2023 年末推出。

「我們一直在共同開發基於強化學習的編譯器，」微軟Project Bonsai團隊首席應用人工智能工程師 Kingsuk Maitra 説道。「我們從一開始就重視產品思維。包括指令集架構的實施例已在兩個 d-Matrix 測試芯片 NightHawk 和 JayHawk 上經過審查和驗證，並嵌入到 RL 訓練環境中。Project Bonsai 的低代碼屬性使早期開發工作變得容易，並且能夠集成統計控制參數並使其他現實生活芯片設計約束的集成更簡單，迄今為止取得了非常有希望的結果。」

d-Matrix 聯合創始人兼首席執行官 Sid Sheth 在公司新一輪融資新聞稿中表示：「人工智能計算目前的發展軌跡是不可持續的，因為運行人工智能推理的總擁有成本正在迅速上升。」 「d-Matrix 團隊正在通過專為LLM構建的計算解決方案改變部署人工智能推理的成本經濟，這一輪融資驗證了我們在行業中的地位。」

生成式人工智能大型語言模型，例如 Meta Platform Inc. 的 Llama 2 和 OpenAI LP 的 ChatGPT，通過接受大量文本數據的訓練來工作，以便它們能夠理解並用類似人類的語音進行「交談」。訓練需要大量的計算能力，但在部署前只需要進行一次。部署人工智能后，推理用於回答問題、總結文檔等。

「生成式人工智能將永遠改變人們和公司創造、工作以及與技術互動的方式，」該公司首席執行官 Sid Sheth 告訴 SiliconANGLE。「隨着 ChatGPT 的發佈，這一認識在‘大爆炸’時刻得到了具體體現。雖然 ChatGPT 等生成式人工智能模型的性能令人驚歎，但成本卻令人震驚。」

D-Matrix 生產具有專用「小芯片」架構的芯片，該架構使用數字內存計算（DIMC）。這將完全可編程的存儲器直接帶入芯片，以減少推理處理的延迟，使其更快、更高效、更便宜。

使用小芯片，可以使用多個小芯片來構建更大、模塊化和可擴展的集成電路。這兩個流程相結合，使 d-Matrix 能夠生產出各種平臺，這些平臺可以擴展用於生成 AI 推理任務，並提高性能和效率。

然而，我們不知道 Corsair 在較大型號上的性能如何，這些型號會溢出芯片上相對較小的 2GB SRAM。同樣，當前可用的 LLM 推理解決方案使用 NVIDIA NVLink 4.0，速率高達每秒 900 GB (GB/s)。這是 PCIe Gen 5 帶寬的 7 倍多，PCIe Gen 5 是託管 Corsair 加速器的服務器中使用的互連技術。我們的預感是，d-Matrix 將專注於適合的較小模型，而這些較小模型將成為企業採用生成式 AI 的驅動力。

Cambrian AI 分析師 Karl Freund 表示，儘管 d-Matrix 是 AI 計算和推理市場的初創公司，但仍與 AI 硬件/軟件巨頭 Nvidia 競爭。

雖然 Nvidia 在人工智能芯片市場上處於領先地位，但 D-Matrix 提供了一個內存計算平臺，Freund 表示該平臺應該速度快且成本低得多，因為它沒有高帶寬內存，而是使用靜態隨機存取內存。

「只有少數公司真正有機會與英偉達競爭，」Freund 説。「D-Matrix 就是其中之一。他們使用不同的技術、不同的架構，似乎可以產生更好的結果。」

正是這種相信 d-Matrix 將比Cerebras 等其他初創公司持續更長時間的信念，吸引了早期投資公司 Playground Global 加入 d-Matrix。

該公司於 2019 年開始擔任 d-Matrix 的顧問，並在該供應商的第一輪融資期間成為投資者。

風險合夥人 Sasha Ostojic 表示，與市場上眾多初創公司相比，d-Matrix 因其團隊、技術以及其試圖解決的不斷增長的人工智能市場而脫穎而出。

「我們在 D-Matrix 中看到的是，他們很早就把賭注押在了生成式 AI 和法學碩士上，」Ostojic 説。「他們打賭這將成為未來的主要工作負載，他們是對的。世界其他地方基本上都趕上了這種洞察力。」

此外，Freund 表示，市場可能會轉向 d-Matrix 的低成本推理策略。

「現在推理成本太高了，」他説。

「這需要八個H100 或 A100 GPU才能完成推理過程，」他繼續説道，指的是 Nvidia AI 芯片。「每次你回答輸入一個查詢時，都需要八個 GPU 來回答。這是不可持續的。」

d-Matrix 等公司將通過內存計算等技術幫助降低成本。Freund表示，甚至英偉達也可能很快發佈價格更低的推理處理產品。

Freund 表示，d-Matrix 未來面臨的挑戰是如何在 Jayhawk II 開發平臺上啟動並運行其生成式 AI 模型。「客户想要更快、成本更低的解決方案，但他們不想經歷導入和優化代碼和模型的痛苦和痛苦，」他説。

Ostojic 表示，對於 Playground Global 來説，執行是 d-Matrix 下一步要解決的問題。

他説：「現在剩下的就是明年將生產芯片推向市場，並在數據中心和超大規模企業中部署企業級、無摩擦的軟件堆棧。」據供應商稱，D-Matrix 的小芯片預計將於 2024 年上市。