Google Kubernetes Engine との統合

コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

Model Armor は、Service Extensions を介して Google Kubernetes Engine（GKE）と統合できます。Service Extensions を使用すると、ネットワーク トラフィック処理パスにカスタム ロジックを追加できます。トラフィック拡張機能は、外部サービスを統合してトラフィックを処理できる特定のタイプのサービス拡張機能です。これらの拡張機能は、ロードバランサなどのさまざまなサービスに接続できます。 Google Cloud GKE 推論ゲートウェイなどのアプリケーション ロードバランサでサービス拡張機能を構成して、GKE クラスタとの間のトラフィックをスクリーニングできます。これにより、AI モデルとのすべてのやり取りが Model Armor によって保護されます。詳細については、Model Armor サービスを呼び出すようにトラフィック拡張機能を構成するをご覧ください。

仕組み

1. GKE クラスタでホストされ��いる LLM にトラフィックを転送するロードバランサにサービス拡張機能を構成します。この構成では、Model Armor を使用してプロンプトとレスポンスをスクリーニングするように指定します。
2. プロンプトとレスポンスがロードバランサに到達すると、サービス拡張機能は Model Armor サービスを呼び出します。
3. Model Armor は、プロンプトとレスポンスにセキュリティ ポリシーを適用し、悪意のあるコンテンツや有害なコンテンツを特定してブロックします。
4. Model Armor チェックに合格したプロンプトとレスポンスのみが、GKE クラスタへの転送またはユーザーへの返信を許可されます。