F5 AI Gateway：解決 AI 安全與交付的獨特挑戰

在過去的一年裡，我們對生成式 AI 有了許多新的認識。特別是，我們看到部署模式的最佳實踐逐漸成形，AI 工廠成為新的資料中心構建單元，而對 AI 模型和應用程式的交付與安全性關注也日益增加。

儘管 AI 應用程式被視為『最現代化的現代應用程式』，且高度依賴 API，但 AI 應用程式在安全性、監控和交付方面也帶來了獨特的挑戰。

一個顯著的挑戰源自於 AI 應用程式的非確定性特質。也就是說，輸入和輸出的回應會隨著時間的推移大幅變動。AI 應用程式還可能從多個位置的結構化和非結構化來源中擷取資料。事實上，當我們調查市場時發現 AI 部署計劃呈現公共雲端、本地端和混合模式的多樣化組合，這並不令人意外。

非結構化、不可預測的輸入與輸出所帶來的困難在於，難以判定請求或回應中是否包含機密或錯誤資訊。儘管 API 安全性和 Web 應用防火牆通常正是為此目的而設計，它們卻是針對確定性內容運作的。也就是說，當請求和回應的格式與內容已被理解，就更容易檢測出惡意或機密內容。然而，AI 雖然利用了與 API 和 Web 應用程式相同的構架，其內容卻高度多變，這使得制定掃描或過濾請求和回應的政策變得困難。

在此挑戰中隱含了另一層困難：必須雙向監控 AI 流量。特別是考慮到大量組織計劃利用 AI 即服務，例如 ChatGPT、Azure、Google 或 Hugging Face，這一點尤為重要。

保護 AI 模型所需的安全性

這正是現有的 API 與應用程式安全解決方案不足以保護 AI 模型和應用程式的原因。AI 安全性在這些現有服務的基礎上提供額外且獨特的功能，以保護公司和客戶的安全，例如防範提示注入、模型操控、幻覺現象以及 AI 驅動的攻擊等。

為了管理和保護 AI 模型與應用程式，應用程式交付與安全服務必須做到以下幾點：

• 觀察並記錄所有請求、回應和管理操作，以支援法律與合規要求。
• 通過檢查並處理惡意、機密或不準確的提示和回應，保護組織和使用者。
• 利用流量導向政策和控制（包括防止大規模攻擊）來提高效能。

為什麼選擇F5 AI Gateway?

20 多年來，F5 一直致力於應對應用程式架構轉變帶來的交付和安全挑戰。AI 引入了一種新的應用程式架構，如同以往的架構一樣，這也需要應用程式交付與安全性的同步發展。F5 AI Gateway 保護、加速並監控 AI 驅動的應用程式，是 F5 在應用程式交付與安全性上的自然進化。

這一進化包括支援現今 IT 環境中的混合及多雲現實，因此 F5 AI Gateway 可單獨部署，或與現有的 F5 軟體、硬體或服務整合使用。

最初，F5 AI Gateway 的重點是解決核心交付需求及 OWASP LLM 前十大與即時安全挑戰相關的項目，未來還將有更多功能推出。

額外功能包括透過 OpenTelemetry 報告廣泛的指標、符合稽核日誌需求的仔細設計、語意快取、速率限制以及基於內容的模型路由，這些功能確保滿足 AI 交付與安全性的三大需求：監控、保護與加速。

認識到 AI 正在迅速發展，且每家企業的需求各不相同，F5 AI Gateway 進一步幫助組織通過支持 Python、Rust 和 Go 的軟體開發工具包 (SDK) 來適應自訂及新興需求，並提供一個插件生態系統。

隨時隨地保護任何應用程式和 API

F5 致力於在任何地方交付和保護每個應用程式和 API。隨著應用程式的發展，這意味著我們的產品組合也要不斷發展，以應對新的、獨特的挑戰。當談到人工智慧應用程式時，F5 AI Gateway 提供了組織在任何地方交付和保護這些應用程式所需的功能。 

資料來源：F5官網