AI 推論成企業核心營運,GPU 感知負載平衡成關鍵

發布日期:2026/06/01

F5 發布年度《應用策略現況報告》(State of Application Strategy, SOAS),指出 AI 已跨越實驗階段,正式進入企業營運核心。隨著 78% 企業已自行執行 AI 推論,企業平均使用超過 7 個模型,AI 基礎架構的挑戰也從「如何建置模型」轉向「如何可靠、安全且可規模化地交付推論服務」。

F5 資深產品長 Kunal Anand 表示,現在的問題已不再是企業會不會使用 AI,而是能否以可靠、安全且具規模化的方式運作 AI 。他指出,AI 推論正逐漸成為企業核心業務的一部分,代表 AI 交付已成為流量管理挑戰,AI 安全也演變為治理與控管問題。

AI 推論成為正式工作負載,混合多雲走向預設架構

企業 AI 重心已從模型訓練轉向推論,推論不再只是旁支實驗,而是正式成為應用交付的一部分。 F5《2026 應用策略現況報告》顯示,93% 企業已採用混合多雲環境,86% 企業將應用部署於混合多雲架構中,企業平均在 19 個地點運行混合多雲。

F5 台灣區資深技術總監陳廣融指出,企業 AI 架構正逐漸走向 Hybrid by default,多數企業會結合公有 AI 服務、私有雲、地端或 co-location 機房環境,以管理資料治理、延遲、法遵與成本。他表示,台灣企業過去對雲端服務相對保守,但在 AI 服務取用需求推動下,混合部署將逐漸成為更明確的方向。

F5 台灣區總經理林志方也指出,過去企業採用混合雲或多雲,主要考量彈性、疫情、地緣政治或遷廠轉換;如今數位主權與企業控管意識提高,公有雲、私有雲、地端部署與下雲需求,反而在 AI 時代成為新的趨勢。

網資 0601

推論改變流量型態,AI 工廠需要新的負載平衡

當 AI 推論進入生產環境,企業應用不再只是呼叫服務,而是開始呼叫模型。 F5 指出,AI 營運正從單一模型專案,轉向執行時編排 (Runtime Orchestration) 、模型路由 (Model Routing) 、 API 整合與治理。這也使 AI 流量與傳統 Web 應用流量出現明顯差異。

F5 台灣區資深技術總監陳廣融說明,過去 REST 形式的 API 多屬於問與答,對 Web 應用防火牆 (WAF) 或負載平衡來說相對容易處理;但 AI 推論場景常涉及長連接、串流、 WebSocket 、 gRPC 、 HTTP/3 等型態,安全方案能否處理串流內容,將成為新的技術挑戰。

他進一步指出,AI 工廠的負載平衡與傳統 App Server 或 Web Frontend 不同,不能只依照連線或 session 分配流量。由於不同 AI 請求可能消耗不同 token 與 GPU 資源,負載平衡必須感知後端 GPU 框架與資源使用狀態,因此更接近「GPU 感知負載平衡 (GPU Aware Load Balance)」。

Gartner 預測,到 2029 年,50% 的大型企業與服務提供者將升級應用交付控制器 (Application Delivery Controller, ADC) 基礎設施,配備更高容量硬體,以支援 AI 資料傳遞。針對 AI 資料傳輸、 AI 執行時安全及 AI 工廠負載平衡等應用場景,資料中心擴建投資預計將持續推動 ADC 硬體支出成長。

Agentic AI 擴大安全邊界,Prompt 、 Token 與身分成新控制點

隨著 AI 應用逐步導入代理式 AI,安全邊界也從傳統應用與 API,延伸至提示詞、 token 與 AI 代理身分。 F5 報告指出,88% 企業曾遭遇 AI 相關安全挑戰,98% 企業正為代理式 AI 做準備。這類具自主性的 AI 系統將如同真人使用者,需要具備身分、權限與護欄機制。

企業 AI 工作負載管理模式正在改變,控制核心逐漸轉向提示詞、 token 與 API 。近 29% 企業認為提示層是最重要的 AI 交付機制,23% 企業則將 token 層視為交付與安全的關鍵。

F5 台灣區資深技術總監陳廣融指出,代理式 AI 導入後,企業應用不只是讓聊天機器人回答問題,而是開始導入 agentic framework,讓 AI 代理能呼叫外部工具、資料與服務。在這樣的架構下,MCP 負責連接 Agent 與工具或資料,Agent-to-Agent(A2A) 則連接不同 Agent,企業因此需要重新思考 AI 應用的交付、安全與治理機制。

F5 以 ADSP 整合 AI 交付與 AI 安全

面對 AI 推論、混合多雲與代理式 AI 帶來的新挑戰,F5 將 Application Delivery and Security Platform(ADSP) 定位為跨環境的一致平台。 F5 表示,ADSP 可部署於雲端原生、 DPU 、硬體、 SaaS 與軟體等不同型態,橫跨傳統應用、現代應用、 API 、 AI 應用、 AI 代理、資料中心、公有雲與 AI 工廠。

F5 將 AI 方案分為兩大維度。第一是 AI 資料交付與負載平衡,協助企業進行模型路由、提升 GPU 效率、加速資料管線,並在負載增加的情況下,維持 AI 應用與代理的回應能力。第二是 AI 安全,涵蓋 API 安全、 AI 安全測試、 AI 修復與 AI 執行時安全,用於阻擋提示詞注入、過度授權與資料外洩。

F5 也公布 AI Guardrails 的獨立測試結果。 SecureIQLab 測試顯示,F5 AI Guardrails 面對 2 萬次攻擊時,整體安全分數達 98.36%;對直接提示詞注入攻擊有效防護率為 99.3%,防範 AI 代理過度授權或失控的有效率為 98.7%,防範敏感資料外洩有效率為 99% 。

此外,F5 也透過 AI Red Team 、 AI Remediate 與 AI Guardrails 組成 AI 安全流程。 AI Red Team 用於測試 AI 系統漏洞,AI Remediate 可自動建立與部署自訂護欄,AI Guardrails 則在執行時保護 AI 與代理系統,形成從風險發現到防護落地的完整對策。

網資 0601

後量子安全與可觀測性成為下一階段基礎設施課題

除 AI 交付與 AI 安全外,F5 也將後量子密碼學 (PQC) 與 XOps 納入 ADSP 策略。 F5 指出,量子威脅已成為企業必須提前準備的資安議題,攻擊者可能先蒐集加密資料,等待未來量子運算能力成熟後再解密。

F5 表示,BIG-IP 現已支援混合式 PQC,結合 ECC 與 ML-KEM,並提供抗量子 VPN 隧道技術,以防範「先收集,後解密」風險。 F5 台灣區資深技術總監陳廣融也指出,PQC 對 TLS 與 HTTPS 情境的衝擊尤其明顯,因為瀏覽器與應用連線會產生大量 SSL/TLS 交握,企業在自建環境中將更在意效能影響與加密敏捷性。

在維運面,F5 Insight for ADSP 則提供端到端能見度與維運脈絡,協助企業利用健康度評分、異常偵測、評估報告與自然語言查詢,掌握混合環境中的關鍵指標。 F5 台灣區資深技術總監陳廣融指出,對擁有大量 F5 設備的大型客戶而言,透過自然語言查詢跨設備流量與 Virtual Server 狀態,可望提升維運效率。

企業 AI 成熟度取決於能否安全交付推論

F5 認為,AI 成熟度正快速成為衡量企業營運韌性與市場競爭力的重要指標。當 AI 推論正式進入生產環境,企業不只需要模型,也需要能橫跨雲端、地端、資料中心與 AI 工廠的一致交付、安全、可觀測性與治理能力。

隨著多模型協作、代理式 AI 、長連接 API 與混合多雲成為常態,企業 AI 基礎架構的戰場已從模型訓練延伸至推論交付。能否建立模型路由、 GPU 效率、 AI 執行時安全、身分控管與後量子準備,將決定企業能否把 AI 從實驗導入真正可規模化的營運場景。

資料來源:F5官網

返回上一頁