Secret product

機密評価を、黙って外へ送らない。

ANGBench Secretは、ローカルAI、会社側PC、カスタムHTTP、クラウドendpointを明示的に選び、出題者、対象モデル、採点者の送信先を分けて扱う評価形態です。

重要な原則

OpenAI、GC、社内PC、local endpointを黙って選ばない
出題側の大型モデルと採点者を独立に設定
開示確認なしでは送信不可
失敗時はdemo採点へfallbackしない

Independent destinations

Secretの3つの送信先

Questioner

大型モデル、ローカルAI、または社内PC上のendpointなど、問題作成側を選びます。

Target

評価対象モデルです。weights、identity、出力の扱いを他roleと混ぜません。

Grader

採点者は出題者とは別に構成します。未確定の場合はSecret評価を開始しません。

Implemented slice

今あるSecret実装

Windows evaluatorには、Secret HTTP実行経路があります。questioner、target、graderを独立endpointとして構成し、 mock serverでprovenance、redaction、cancel、error、fail-closedを検証しています。

Local/custom

LocalModelRuntime、CustomHttp、CloudEndpoint、OpenAIResponsesの種別を区別できます。

No fallback

Secretが失敗した場合、local demo scoreへ置き換えません。indeterminateとして記録します。

Production gap

本番provider、保持契約、採点者選定は未確定です。ここは導入前の決定事項です。