与 Google Kubernetes Engine 集成

您可以通过服务扩展将 Model Armor 与 Google Kubernetes Engine (GKE) 集成。借助 Service Extensions,您可以将自定义逻辑添加到网络流量处理路径。流量扩展是一类特殊的服务扩展,可让您集成外部服务来处理流量。这些扩展程序可以附加到各种服务(包括负载平衡器) Google Cloud 。���可以���应用负载平衡器(包括 GKE 推理网关)上配置服务扩展,以筛查进出 GKE 集群的流量。这样可确保与 AI 模型的所有互动都受 Model Armor 保护。如需了解详情,请参阅配置流量扩展以调用 Model Armor 服务

工作原理

与 Google Kubernetes Engine 集成

  1. 您可以在负载平衡器上配置服务扩展,将流量路由到 GKE 集群中托管的 LLM。此配置指定应使用模型装甲来筛查提示和回答。
  2. 当提示和响应到达负载平衡器时,服务扩展程序会调用 Model Armor 服务。
  3. 然后,Model Armor 会将安全政策应用于问题和回答,识别并屏蔽任何恶意或有害内容。
  4. 只有通过模型防护检查的提示和回答才能传递到 GKE 集群或返回给您。