亞馬遜雲科技在Amazon Bedrock上推出100多個新模型

中關村在線消息，亞馬遜雲科技在2024 re:Invent全球大會上，宣佈推出Amazon Bedrock的多項創新功能。Amazon Bedrock是亞馬遜雲科技一項完全託管的服務，旨在利用高性能基礎模型構建和擴展生成式人工智能（AI）應用程序。此次發佈進一步彰顯了亞馬遜雲科技對模型選擇的承諾，同時優化了大規模推理的執行方式，幫助客户從數據中挖掘更多價值。

在新模型目錄中探索Amazon Bedrock Marketplace模型和Amazon Bedrock完全託管的模型

-亞馬遜雲科技即將成為首家提供Luma AI和poolside模型的雲服務提供商。亞馬遜雲科技還將把Stability AI的最新模型添加至Amazon Bedrock，並通過全新的Amazon Bedrock Marketplace功能為客户提供100多個熱門、新興及專業模型的訪問權限，客户可根據自身用例找到最合適的模型組合。

-全新的提示詞緩存功能和Amazon Bedrock Intelligent Prompt Routing提示詞智能路由功能幫助客户更輕松、更經濟地擴展推理業務。

-Amazon Bedrock Knowledge Bases現已提供對結構化數據和GraphRAG的支持，進一步拓展了客户利用自身數據提供定製化生成式AI體驗的途徑。

-Amazon Bedrock Data Automation功能能夠在無需編寫代碼的情況下，自動將非結構化、多模態的數據轉換為結構化數據，以幫助客户將更多數據應用於生成式AI及分析工作中。

-數以萬計的客户信賴Amazon Bedrock運行其生成式AI應用程序，過去一年使用該服務的客户量增長了4.7倍。Adobe、Argo Labs、寶馬集團、Octus、Symbeo、Tenovos和Zendesk等公司已採用Amazon Bedrock的最新技術。

亞馬遜雲科技人工智能和數據副總裁Swami Sivasubramanian博士表示：「Amazon Bedrock服務持續快速增長，因其廣泛而領先的模型選擇、可輕松基於自身數據進行定製的工具、內置的負責任的AI功能以及開發複雜智能體的能力成為越來越多客户的選擇。爲了讓客户充分釋放生成式AI的潛力，Amazon Bedrock一直致力於解決開發人員當前面臨的最大挑戰。通過此次新發布的一系列新功能，我們將幫助客户開發出更智能的AI應用程序，讓他們為其最終用户創造更大價值。」

匯集領先AI公司的廣泛模型選擇

Amazon Bedrock為客户提供豐富的完全託管的模型選擇，這些模型來自領先的AI公司，包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI以及Stability AI等。此外，Amazon Bedrock是客户使用新發布的Amazon Nova模型的唯一渠道。Amazon Nova是新一代基礎模型，以行業領先的性價比為廣泛的任務提供先進的智能能力。通過此次發佈，亞馬遜雲科技在Amazon Bedrock上新增更多行業領先的模型，進一步擴展Amazon Bedrock的模型選擇範圍。

-Luma AI的Ray 2：Luma AI的多模態模型和軟件產品藉助生成式AI推動視頻內容創作。亞馬遜雲科技將成為首家向用户提供Luma AI最先進的Luma Ray 2模型（其著名視頻模型的第二代）的雲服務提供商。Ray 2標誌着生成式AI輔助視頻創作的重大進步，它能夠依據文本和圖像高效且以電影級質感生成高質量、逼真的視頻。用户能夠快速嘗試不同的拍攝角度和風格，創建角色連貫、物理效果準確的視頻，可為建築、時尚、電影、平面設計以及音樂等領域提供創意性輸出。

-poolside的malibu和point：poolside解決大型企業現代軟件工程面臨的挑戰。亞馬遜雲科技將成為首家提供poolside的malibu和point模型訪問權限的雲服務提供商，這兩個模型在代碼生成、測試、文檔編制以及實時代碼補全方面表現出色。這有助於工程團隊提高生產力，更快編寫出更優質的代碼，並加速產品開發周期。這兩種模型還能夠依據客户的代碼庫、實踐操作以及文檔進行安全、私密的微調，使其能夠適配特定項目，幫助客户以更高的準確性和效率處理日常軟件工程任務。此外，亞馬遜雲科技還將成為首家提供poolside Assistant訪問權限的雲服務提供商，該功能可以將poolside的malibu和point模型強大的功能融入開發人員首選的集成開發環境（IDE）之中。

-Stability AI的Stable Diffusion 3.5 Large：Stability AI是視覺媒體領域領先的生成式AI模型開發商，在圖像、視頻、3D和音頻方面擁有先進的模型。Amazon Bedrock即將添加Stable Diffusion 3.5 Large這一Stability AI最先進的文本轉圖像模型。該模型能夠依據各種風格的文本描述生成高質量圖像，加速為媒體、遊戲、廣告以及零售領域的客户創建概念藝術、視覺效果以及詳細的產品圖像。

通過Amazon Bedrock Marketplace訪問100多個熱門、新興和專業模型

儘管Amazon Bedrock中的模型能夠支持眾多任務，許多客户仍希望將新興的專用模型融入到他們的應用程序中，為其獨特的用例，如分析財務文檔或生成新型蛋白質等提供支持。藉助Amazon Bedrock Marketplace，客户如今能夠輕松地從100多個模型中進行查找與選擇，這些模型可部署在亞馬遜雲科技上，並能通過Amazon Bedrock中的統一體驗進行訪問。這涵蓋了諸如Mistral AI的Mistral NeMo Instruct 2407、Technology Innovation Institute的Falcon RW 1B以及NVIDIA NIM微服務等熱門模型，以及眾多專業模型，如用於金融行業的Writer的Palmyra-Fin、用於翻譯的Upstage的Solar Pro、Camb.ai的文本轉音頻MARS6以及用於生物學的EvolutionaryScale的ESM3生成模型等。

客户一旦找到他們想用的模型，就能依據自身擴展需求選擇合適的基礎設施，並通過完全託管端點輕松將其部署在亞馬遜雲科技上。客户隨后可將該模型與Amazon Bedrock的統一應用程序編程接口（API）安全集成，從而使用諸如Guardrails和Agents等工具，並受益於內置的安全和隱私功能。

Zendesk是一家全球服務軟件公司，服務於覆蓋全球10萬個品牌的多元文化客户羣體。該公司可在Amazon Bedrock中使用如用於翻譯的Widn.AI等專用模型，通過電子郵件、聊天、電話以及社交媒體對客户服務請求進行個性化和本地化處理。這將為客服人員提供其所需的數據，比如客户母語表達中的情緒或意圖等，最終提升客户服務體驗。

提示詞緩存和Intelligent Prompt Routing幫助客户大規模處理推理問題

在選擇模型時，開發人員需要權衡多種因素，如準確性、成本和延迟。針對其中任一因素進行優化，都可能意味着在其他因素上做出讓步。爲了在將應用程序部署到生產環境時平衡這些考量因素，客户會採用多種技術，例如緩存常用提示詞或將簡單問題分配給較小模型。然而，運用這些技術既複雜又耗時，需要專業知識來反覆測試不同的方法，以確保終端用户獲得良好的體驗。正因如此，亞馬遜雲科技新增了兩項功能，幫助客户更有效地大規模管理提示詞信息。

通過緩存提示詞功能降低響應延迟和成本。Amazon Bedrock現已支持安全地緩存提示詞，從而減少重複處理，且不會影響準確性。對於受支持的模型，此功能最高可將成本降低90%，並將延迟最多縮短85%。例如，一家律師事務所可以創建一個生成式AI聊天應用程序，用於回答律師有關文件的問題。當多名律師在提示詞中詢問關於文檔同一部分的問題時，Amazon Bedrock能夠緩存該部分內容，使其只需處理一次，之后每當有人想要詢問相關問題時便可重複使用。這通過減少模型每次需要處理的信息量來降低成本。Adobe的Acrobat AI助手通過實現快速文檔摘要和問答功能，提高了用户的工作效率。根據初步測試，藉助Amazon Bedrock上的提示詞緩存功能，Adobe發現其響應時間縮短了72%。

提示詞智能路由功能有助於優化響應質量和成本。藉助該功能，客户能配置Amazon Bedrock自動把提示詞分配至同一模型系列里的不同基礎模型，以優化響應質量和成本。運用先進的提示詞匹配和模型理解技術，提示詞智能路由能夠預測每個請求對應的每個模型的性能，並將請求動態路由至最有可能以最低成本提供所需響應的模型。提示詞智能路由可在不影響準確性的情況下，將成本降低多達30%。Argo Labs為餐廳提供創新的語音代理解決方案，通過提示詞智能路由處理各類客户諮詢和預訂業務。當客户提交問題、下單以及預訂位置時，Argo Labs的語音聊天機器人會動態地將查詢請求路由至最合適的模型，從而優化響應的成本和質量。例如，像「今晚這家餐廳有空桌嗎？」這樣簡單的是非問題，可以由較小模型處理，而「這家餐廳提供哪些素食選項？」這類更復雜的問題則可由較大模型來回答。藉助提示詞智能路由功能，Argo Labs能夠利用其語音代理無縫處理客户交互，同時實現準確性和成本之間的合理平衡。

Amazon Bedrock知識庫的兩項新功能助力客户最大程度發揮數據價值

無論自身數據存儲於何處、採用何種格式，客户都希望利用它們為終端用户構建獨特的由生成式AI驅動的體驗。知識庫是一項全託管功能，客户藉助檢索增強生成（RAG），能夠輕松利用上下文相關及關聯數據自定義基礎模型的響應。雖然知識庫已能便捷地連接至諸如Amazon OpenSearch Serverless和Amazon Aurora等數據源，但許多客户還希望將其他數據源和數據類型融入其生成式AI應用程序中。基於此，亞馬遜雲科技為知識庫新增了兩項功能。

結構化數據檢索支持功能加速生成式AI應用程序開發。Knowledge Bases提供了首批託管式、開箱即用的RAG解決方案之一，使客户能夠直接查詢其生成式AI應用程序中結構化數據的存儲位置。這一功能有助於打破數據源之間的數據孤島，將生成式AI開發周期從一個多月縮短至短短几天。客户能夠構建應用程序，讓應用程序運用自然語言查詢來探索存儲在Amazon SageMaker Lakehouse、Amazon S3數據湖以及Amazon Redshift等數據源中的結構化數據。藉助這項新功能，提示詞信息會轉換為SQL查詢，用於檢索數據結果。Knowledge Bases會依據客户的架構和數據自動調整，從查詢模式中學習，並提供一系列定製選項，進一步提高所選用例的準確性。信用情報公司Octus將運用Knowledge Bases中全新的結構化數據檢索功能，允許終端用户使用自然語言查詢結構化數據。通過將Knowledge Bases與Octus現有的主數據管理系統相連，終端用户的提示詞信息可轉換為SQL查詢，Amazon Bedrock利用這些SQL查詢檢索相關信息，並將其作為應用程序響應的一部分返回給用户。這將幫助Octus的聊天機器人向用户提供精準的、由數據驅動的見解，增強用户與公司一系列數據產品之間的交互。

GraphRAG支持功能可生成更具相關性的響應。知識圖譜允許客户通過將不同的相關信息映射成網狀結構來對數據間的關係進行建模和存儲。將這些知識圖譜融入RAG時會格外有用，系統可依據圖譜輕松審閲並檢索相關信息片段。如今，憑藉對GraphRAG的支持，Knowledge Bases可讓客户無需具備圖數據庫專業知識，即可使用Amazon Neptune圖數據庫服務自動生成圖譜，並跨數據鏈接各實體之間的關係。Knowledge Bases能夠更便捷地生成更準確、更相關的響應，藉助知識圖譜識別相關聯繫，並查看源信息以瞭解模型如何得出特定響應。寶馬集團將為旗下的My AI Assistant（MAIA）實施GraphRAG。MAIA是一款人工智能驅動的虛擬助手，可幫助用户查找、理解並整合託管在亞馬遜雲科技上的公司內部數據資產。藉助由Amazon Neptune支持的GraphRAG自動化圖形建模功能，寶馬集團能夠依據數據使用情況，持續更新MAIA所需的知識圖譜，從其數據資產中提供更具相關且全面的洞察，進而持續為數百萬車主打造優質體驗。

Amazon Bedrock Data Automation將非結構化多模態數據轉換為結構化數據，用於生成式AI和分析

如今，大多數企業數據都是非結構化的，這些數據包含在文檔、視頻、圖像以及音頻文件等內容中。許多客户希望利用這些數據挖掘見解或為客户打造新體驗，但將其轉換為便於分析或RAG所需的格式往往是一個艱難的手動過程。例如，銀行在處理貸款業務時可能會接收多個PDF文檔，需要從每個文檔中提取詳細信息，對姓名、出生日期等特徵進行標準化以保證一致性，然后將結果轉換為文本格式，再輸入數據倉庫進行分析。藉助Amazon Bedrock Data Automation，客户能夠使用單個API從非結構化內容中大規模自動提取、轉換並生成數據。

Amazon Bedrock Data Automation能夠快速且經濟高效地從文檔、圖像、音頻以及視頻中提取信息，並將其轉換為結構化格式，適用於智能文檔處理、視頻分析以及RAG等用例。該功能可以使用預定義的默認設置生成內容，例如視頻片段每個場景的描述或音頻的轉錄內容，客户也可以根據自身的數據架構生成定製化的輸出內容，並將其輕松加載到現有的數據庫或數據倉庫中。通過與Knowledge Bases的集成，Amazon Bedrock Data Automation還可以解析內容以支持RAG應用程序，通過整合嵌入在圖像和文本中的信息，提升結果的準確性和相關性。同時，該功能提供置信度評分，並基於原始內容生成響應，有助於降低生成「幻覺」風險並提高透明度。

Symbeo是一家隸屬於CorVel的公司，提供自動化應付賬款解決方案。Symbeo計劃利用Amazon Bedrock Data Automation，從複雜的文檔（如保險理賠、醫療賬單等）中自動提取數據。這將幫助Symbeo的團隊更快速地處理理賠事務，並縮短向客户回覆的周轉時間。數字資產管理平臺Tenovos正在使用Amazon Bedrock Data Automation在大規模語義搜索中提升內容的複用率，複用率提高了50%以上，節省了數百萬美元的營銷費用。

Amazon Bedrock Marketplace現已正式可用，同時Amazon Bedrock Knowledge Bases中的推理管理功能、結構化數據檢索、GraphRAG以及Amazon Bedrock Data Automation均已預覽可用。此外，Luma AI、poolside和Stability AI的模型也即將上線。

(9249694)