NVIDIA NIM 徹底改變部署模型的方式， 現在可將全球數百萬名開發人員轉換成生成式人工智慧的開發人員

• 150 多家遍布人工智慧生態系統每一層級的合作夥伴納入 NIM 推理微服務，將部署企業人工智慧應用程式的時間從原本的數週縮短到只要幾分鐘
• NVIDIA 開發者計畫成員可免費使用 NIM 進行研究、開發和測試

NVIDIA 今日宣布全球 2800 萬名開發人員現在可以下載以最佳化容器形式提供模型的推論微服務 NVIDIA NIM™ ，並且將其部署到雲端、資料中心或工作站上，使得開發人員能夠在數分鐘裡輕鬆構建用於輔助夥伴（copilot）、聊天機器人等的生成式人工智慧（AI）應用程式，而這個過程原先需要耗費數週的時間。

這些新款生成式 AI 應用程式的日漸複雜，通常要用到有著不同功能的多個模型來生成文字、圖片、影片、語音等內容。NVIDIA NIM 讓使用者能夠透過標準化的方式，簡單將生成式 AI 加入應用程式，顯著提高開發人員的工作效率。

NIM 還能讓企業最大化在基礎設施方面的投資。例如在 NIM 中運行 Meta Llama 3-8B 在加速基礎設施上產生的生成式 AI 詞元（token）數量，是未使用 NIM 時的 3 倍。這使得企業能夠提高效率，使用相同數量的運算基礎設施生成更多回應。

包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 及 Synopsys 在內的近 200 家技術合作夥伴，將 NIM 與個別平台進行整合，以加快在特定領域應用程式裡部署生成式人工智慧，如輔助夥伴、程式碼助理、數位人化身等。Hugging Face 從 Meta Llama 3 開始提供 NIM。

NVIDIA 創辦人暨執行長黃仁勳表示：「每個企業都想要在其營運活動中加入生成式 AI，但又不是每一家公司都有專門的 AI 研究團隊。透過將生成式 AI 技術與隨處可見的平台進行整合，讓全球各地的開發人員都能使用，在任何一個地方運行，NVIDIA NIM 幫助科技業將生成式 AI 普及到每一個組織。」

企業可以透過 NVIDIA AI Enterprise 軟體平台，利用 NIM 在生產環境裡部署 AI 應用程式。NVIDIA 開發者計畫的成員從下個月開始可以免費使用 NIM，在其常用的基礎設施上進行研究、開發和測試。

40 多個 NIM 微服務驅動各式的型態的生成式 AI 模型

為加快部署模型而預先建立的 NIM 容器可用於 GPU 加速推論作業，其中包括 NVIDIA CUDA^® 軟體、NVIDIA Triton 推論伺服器™及 NVIDIA TensorRT™ -LLM 軟體。

超過 40 個 NVIDIA 及社群模型在 ai.nvidia.com 上可當成 NIM 端點進行體驗，其中包括 Databricks DBRX、Google 的開源模型 Gemma、Meta Llama 3、Microsoft Phi-3、Mistral Large、Mixtral 8x22B 及 Snowflake Arctic。

開發人員現在可以從 Hugging Face AI 平台取得適用於 Meta Llama 3 模型的 NVIDIA NIM 微服務。開發人員只要點幾下滑鼠，就能在自行選用的雲端環境裡使用由 NVIDIA GPU 驅動的 Hugging Face Inference Endpoints，輕鬆取得和運行 Llama 3 NIM。

企業可以使用 NIM 運行用於生成文字、圖片和影片、語音和數位人的應用程式。研究人員透過 NVIDIA BioNeMo™ NIM 數位生物學微服務，可以建立新的蛋白質結構以加快藥物探索的速度。

數十家醫療保健領域的業者正在部署 NIM，以在手術規劃、數位助理、藥物發現和臨床試驗最佳化等一系列應用項目中支援生成式 AI 推論。

透過全新的 NVIDIA ACE NIM 微服務，開發人員可以在客戶服務、遠距醫療照護、教育、遊戲和娛樂等應用中輕鬆建立與操作栩栩如生的互動數位人。

數百個 AI 生態系統的合作夥伴嵌入使用 NIM

包括 Canonical、Red Hat、Nutanix 與 VMware（被 Broadcom 收購）在內的平台提供商在開源 KServe 或企業解決方案上支援 NIM。Hippocratic AI、Glean、Kinetica 和 Redis 這些 AI 應用程式業者同樣在部署 NIM，以驅動生成式 AI 推論。

包括 Amazon SageMaker、Microsoft Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights & Biases 在內的領先人工智慧工具和 MLOps 合作夥伴，也已將 NIM 嵌入其平台，讓開發人員能夠建立及部署有著經過最佳化調整推論技術的特定領域生成式人工智慧應用程式。

全球系統整合商與服務交付合作夥伴埃森哲（Accenture）、勤業眾信（Deloitte）、印福思（Infosys）、Latentview、Quantiphi、SoftServe、TCS 和 Wipro 已經建立起 NIM 的能力，以幫助全球企業快速開發和部署生產型 AI 策略。

企業幾乎可以在任何地方運行支援 NIM 的應用程式，包括在全球基礎設施製造商思科、戴爾科技集團、聯想及美超微，以及伺服器製造商永擎電子、華碩、技嘉科技、鴻佰科技、英業達、和碩聯合科技、雲達科技、緯創資通和緯穎科技的 NVIDIA 認證系統上運行。NIM 微服務還與 Amazon Web Services、Google Cloud、Azure 及 Oracle Cloud Infrastructure 進行整合。

產業巨頭利用 NIM 強化生成式 AI

鴻海科技集團、和碩聯合科技、Amdocs、勞氏公司（Lowe’s）、ServiceNow 與西門子（Siemens）等產業重量級企業都在製造、醫療保健、金融服務、零售、客戶服務等領域，將 NIM 用於生成式 AI 應用程式：

• 鴻海科技集團：全球最大的電子產品製造商使用 NIM 開發特定領域的大型語言模型（LLM），並將其嵌入其用於智慧製造、智慧城市和智慧電動車等領域 AI 工廠的各種內部系統和流程中。
• 和碩聯合科技：台灣電子製造公司將 NIM 用於台灣的 Mixtral 混合專家模型 Project TaME，以推動以台灣本地各產業發展大型語言模型。
• Amdocs：為通訊與媒體領域企業提供軟體和服務的全球領先供應商，使用 NIM 運行客戶計費大型語言模型，顯著降低詞元成本，將準確性提高 30%，又將延遲性降低了 80%，能夠以近乎即時的速度給予回應。
• 勞氏公司（Lowe’s）：入選《財富》雜誌 50 強的居家裝修公司正在將生成式 AI 應用於各個項目，例如該零售商透過 NVIDIA NIM 推論微服務來提升員工與客戶的體驗。
• ServiceNow：推動業務轉型的AI平台在今年初宣布該公司是首批使用 NIM 微服務的平台提供商之一，能夠協助客戶以快速、具擴展性及更具成本效益的方式來開發和部署大型語言模型。NIM 微服務與 Now AI 多模式模型進行整合，安裝有 ServiceNow 生成式 AI 體驗 Now Assist 的客戶均可使用。
• 西門子：一家專注於工業、基礎設施、交通和醫療保健領域的全球科技公司，正在將其營運科技與 NIM 微服務整合，用於生產現場（shop floor）的 AI 工作負載。此外，該公司也利用 NIM 為機器操作員建立地端版本的工業 Copilot。

供貨時程

開發人員可以在 ai.nvidia.com 免費試用 NVIDIA 微服務。企業可以利用在 NVIDIA 認證系統及各大雲端平台上運行的 NVIDIA AI Enterprise 部署生產級 NIM 微服務。從下個月開始，NVIDIA 開發人員計畫的成員將可以免費使用 NIM 進行研究和測試。

觀看黃仁勳的台北國際電腦展（COMPUTEX）主題演講