NVIDIA擴展機器人平臺以迎接創生型人工智能的崛起-NVIDIA博客

https://blogs.nvidia.com/blog/2023/10/18/metropolis-jetson-isaac-robotics-edge-ai-developers/

在NVIDIA Jetson平臺上構建的10,000多家公司現在可以使用新的生成性AI、API和微服務來加速工業數字化。

強大的生成性AI模型和雲原生API和微服務正在走向邊緣。

生成式人工智能正在將轉換器模型和大型語言模型的力量帶到幾乎每個行業。這一領域現在包括與EDGE、機器人和物流系統相接觸的領域：缺陷檢測、實時資產跟蹤、自主規劃和導航、人機交互等。

NVIDIA今天宣佈在NVIDIA Jetson平臺上針對EDGE AI和機器人技術對兩個框架進行重大擴展：NVIDIA Isaac Ros機器人框架已經全面上市，接下來是NVIDIA Metropolis在Jetson上的擴展。

爲了在邊緣加速AI應用程序的開發和部署，NVIDIA還創建了Jetson生成性AI實驗室，供更多開發人員使用最新的開源生成性AI模型。

超過120萬名開發人員和10,000多名客户選擇了NVIDIA AI和Jetson平臺，包括亞馬遜網絡服務、思科、John Deere、美敦力、百事可樂和西門子。

隨着快速發展的人工智能領域解決日益複雜的場景，開發人員正面臨着更長的開發周期的挑戰，以構建邊緣的人工智能應用程序。對機器人和人工智能系統進行動態重新編程，以滿足客户不斷變化的環境、生產線和自動化需求，這是一項耗時且需要專業技能的工作。

生成式人工智能提供零命中學習-模型識別以前在培訓中未見過的東西的能力-具有自然語言界面，在邊緣簡化人工智能的開發、部署和管理。

產生式人工智能通過理解人類語言提示進行模型更改，顯著提高了易用性。這些人工智能模型在檢測、分割、跟蹤、搜索甚至重新編程方面更加靈活-並有助於超越傳統的基於卷積神經網絡的模型。

根據ABI Research的數據，到2033年，產生式人工智能預計將為全球製造業務增加105億美元的收入。

NVIDIA負責嵌入式和邊緣計算的副總裁Deepu Talla表示：「生成式人工智能將以比以前更好的通用性、易用性和更高的精確度，顯著加快邊緣人工智能的部署。」這是我們在Jetson上對Metropolis和Isaac框架進行的有史以來最大規模的軟件擴展，結合了轉換器模型和生成式人工智能的強大功能，滿足了這一需求。

在邊緣使用生成式AI進行開發

Jetson Productive AI Lab為開發人員提供了優化的工具和教程，用於部署開源LLMS、擴散模型以生成令人驚歎的交互圖像、視覺語言模型(VLM)和視覺轉換器(VITS)，它們將視覺人工智能和自然語言處理相結合，以提供對場景的全面理解。

開發人員還可以使用NVIDIA TAO工具包為邊緣應用程序創建高效而準確的AI模型。TAO提供了一個低代碼界面來微調和優化視覺AI模型，包括VIT和視覺基礎模型。他們還可以定製和微調NVIDIA NV-DINOv2等基礎模型或OpenCLIP等公共模型，以使用非常少的數據創建高精度的視覺AI模型。此外，TAO現在還包括VisualChangeNet，這是一種新的基於變壓器的缺陷檢測模型。

NVIDIA Metropolis使企業更輕松、更具成本效益地接受世界級的VISION AI解決方案，以提高關鍵運營效率和安全問題。該平臺為開發者帶來了一系列強大的應用編程接口和微服務，以快速開發複雜的基於視覺的應用。

包括寶馬集團、百事可樂、克羅格、泰森食品、印孚瑟斯和西門子在內的1000多家公司正在使用NVIDIA Metropolis開發工具來解決具有視覺AI的物聯網、傳感器處理和運營挑戰-並且採用的速度正在加快。這些工具現在已經被那些希望構建Vision AI應用程序的人下載了100多萬次。

爲了幫助開發人員快速構建和部署可伸縮的Vision AI應用程序，NVIDIA Jetson上的Metropolis API和微服務擴展集將於年底推出。

數以百計的客户使用NVIDIA Isaac平臺開發跨不同領域的高性能機器人解決方案，包括農業、倉庫自動化、最后一英里送貨和服務機器人等。

在Roscon 2023上，NVIDIA宣佈通過新發布的Isaac ROS和Isaac Sim軟件對感知和模擬能力進行重大改進。基於被廣泛採用的開源機器人操作系統(ROS)，Isaac ROS為自動化帶來了感知，給移動的東西提供了眼睛和耳朵。通過利用GPU加速的寶石的強大功能，包括視覺里程計、深度感知、3D場景重建、定位和規劃，機器人開發人員獲得了快速設計針對各種應用定製的機器人解決方案所需的工具。

Isaac Ros在最新的Isaac Ros 2.0版本中達到了生產就緒狀態，使開發人員能夠創建高性能機器人解決方案，並將其與Jetson一起推向市場。

開放源碼機器人基金會的首席技術官Geoff Biggs説：「ROS繼續成長和發展，為整個機器人社區提供開放源碼軟件。NVIDIA隨此版本推出的新的預置ROS 2包將通過使廣大NVIDIA Jetson開發人員社區隨時可以使用ROS 2來加速增長。

開發可投入生產的AI解決方案需要優化針對特定用例定製的AI模型的開發和培訓，在平臺上實施強大的安全功能，協調應用程序，管理車隊，建立無縫的邊緣到雲通信等。

NVIDIA宣佈了基於Metropolis和Isaac框架的AI參考工作流精選集合，使開發人員能夠快速採用整個工作流或選擇性地集成個別組件，從而大幅減少開發時間和成本。這三個截然不同的人工智能工作流程包括：網絡視頻記錄、自動光學檢測和自主移動機器人。

Tirias Research首席分析師吉姆·麥格雷戈表示：「NVIDIA Jetson憑藉其廣泛而多樣的用户基礎和合作夥伴生態系統，幫助推動了機器人和人工智能領域的一場革命。」隨着應用程序要求變得越來越複雜，我們需要從根本上轉變到簡化和加速邊緣部署創建的平臺。NVIDIA的這一重大軟件擴展使開發人員能夠訪問新的多傳感器模型和生成性人工智能功能。

NVIDIA宣佈了一系列系統服務，這些服務是每個開發人員在構建Edge AI解決方案時都需要的基本功能。這些服務將簡化與工作流的集成，並使開發人員不必從頭開始構建它們的艱鉅任務。

新的NVIDIA Jetpack 6預計將於年底上市，它將使AI開發人員能夠保持在計算的前沿，而不需要全面升級Jetson Linux，大大加快開發時間表，並將他們從對Jetson Linux的依賴中解放出來。Jetpack 6還將利用與Linux發行合作伙伴的合作努力，擴大基於Linux的發行選擇的範圍，包括Canonical的優化和認證的Ubuntu、Wind River Linux、Current Real的RedHawk Linux和各種基於Yocto的發行。

Jetson合作伙伴生態系統提供廣泛的支持，從硬件、人工智能軟件和應用程序設計服務到傳感器、連接和開發工具。這些NVIDIA合作伙伴網絡創新者在為市場上銷售的許多產品提供構建塊和子系統方面發揮着至關重要的作用。

最新版本允許Jetson合作伙伴通過採用具有更高性能和功能的人工智能來加快其上市時間並擴大客户基礎。

獨立軟件供應商合作伙伴也將能夠為Jetson擴展他們的產品。