F5推出容器化AI閘道，強化LLM應用效能與資安防護

生成式AI已成為企業應用程式的重要組成。長期投入應用程式遞送控制器（ADC）產品的F5，於2024年11月推出AI Gateway 0.1，鎖定應用程式、API與大型語言模型（LLM）驅動的企業AI環境，提供一套可在容器環境部署的AI流量管理與防護方案。

F5表示，AI Gateway的設計目標包括最佳化效能、提升可觀測性、提供多層次防護，以及降低企業導入與營運AI服務的成本。最新版本為F5 AI Gateway 1.2，能部署於Kubernetes環境，並涵蓋Nginx Plus、BIG-IP Next LTM與Distributed Cloud App Stack等平台。

以兩大元件處理LLM流量

F5 AI Gateway採用獨立產品架構，主要由AI Gateway Core與AI Gateway Processors兩大元件組成。Core是專門處理生成式AI流量的Proxy代理系統，可透過多個處理器執行流量防護與政策控管。

AI Gateway Core能處理送往LLM後端的HTTP或HTTPS請求，功能包括身分驗證與授權檢查、用戶請求內容剖析與基本驗證，以及修改或拒絕請求。系統支援多種LLM API，包括OpenAI、Microsoft Azure OpenAI Service、Anthropic與Ollama。

在紀錄與觀測方面，AI Gateway可將每筆請求與回應記錄並儲存在硬碟，也能匯出至AWS S3或相容S3的儲存服務；同時透過OpenTelemetry產生及匯出可觀測性資料。1.2版進一步支援由AI Gateway Core匯出OpenTelemetry Metrics量測資訊，並簡化路由綱要的組態設定。

處理器提供請求與回應的防護機制

AI Gateway Processors是獨立於Core的動作處理機制，可檢測使用者請求及LLM後端回應，並依據政策執行修改、拒絕或加上註解等動作。例如，系統可改寫信用卡卡號、終止不符合規範的請求或回應，或加入標籤與詮釋資料。

早期版本提供語言編號、提示管制、提示注入偵測與重複偵測等四種處理器。到了1.0版，內建處理器調整為提示注入、系統提示、語言編號與重複偵測。最新版本則持續擴充處理器套件，加入Data Security、Prompt Guard Labs、Topic Detect Labs與Content Guard Labs等元件。

針對以AI模型為基礎的處理器，F5提供GPU支援。企業若需要自行建立處理邏輯，也能運用F5 AI Gateway Python SDK開發自訂處理器。

兼顧流量效能與營運成本

在AI應用效能方面，F5 AI Gateway可調整內部系統與第三方LLM服務之間的流量負載平衡、流量路由及傳輸率限制，以協助維持服務可用度並改善處理效能。系統也支援語意快取，藉由重複利用相同或相近請求的結果，分攤LLM的重複運算工作，進而改善使用體驗並降低營運成本。

為降低整合複雜度，F5提供單一API介面，讓開發者存取不同AI模型，而不必為各模型服務分別處理底層整合。這種設計可讓開發團隊將較多資源投入AI應用程式開發，同時由閘道集中處理路由、政策與基礎架構管理。

支援企業政策、法規與LLM風險控管

在資安防護方面，AI Gateway可檢測與過濾使用者請求和LLM回應，避免惡意提示進入後端模型，也可降低敏感資訊外洩風險。F5指出，系統提供自動偵測與矯正功能，能防護OWASP所列出的十大LLM應用程式風險類型。

F5也強調，AI Gateway可與既有產品整合，並預計原生支援Nginx與BIG-IP兩大應用程式平台，適用於傳統IT、多雲與邊緣環境。企業可在閘道中開發可程式化功能與強制控管機制，並動態更新與套用相關處理規則，以配合資安政策與法規要求。

部署方式與支援環境

F5 AI Gateway 1.2採用可移植的微服務架構，透過Helm Chart部署於Kubernetes環境。產品可涵蓋Nginx Plus、BIG-IP Next LTM與Distributed Cloud App Stack，並支援AWS、Azure與Google Cloud等公有雲服務。