モデルの真正性をどう検証するか

claude-opus-4-5 を売っていると宣言するだけなら誰にでもできます。接続は本物、usage フィールドはパースでき、レーンは実際に市場に並ぶ——けれどプロトコルには、返ってきたトークンが本当に宣言どおりのモデルから来た証拠が何もありません。クライアントを改変して、価格が百分の一のモデルへこっそり転送しても、通常のマーケットプレイスの検査は 1 つも反応しません。この価格差が裁定であり、それを塞ぐことがこのページの全内容です。

リモート認証では塞げません。他人のマシンでどのバイナリが動いているかを証明する方法はないからです。塞げるのは振る舞いの差です。生成したモデル自身の性質が答えに現れる問いを投げ、その返答が売られているモデルらしいかを見ます。

分けて問うべき 3 つのこと

売れるようになる前に

1. 販売スイッチを入れる

   クライアントは、そのアカウントで提供できるモデルを列挙します。その 1 つ 1 つがレーン——(デバイス, プロバイダ, モデル) の三つ組で、個別に検証されます。安いモデルで得た判定が高いモデルの保証になってはならないからです。

2. プラットフォームがあなたから買う

   裏口ではありません。同じゲートウェイ、同じディスパッチフレーム、買い手のリクエストと同じ経路を、あなたの端末にピン留めして通ります。上流アカウントが拒否すれば、その事実がそのまま結果になります。

3. 判定が書かれる

   十数回の短い補完、プログレスバーで 1〜2 分。この実行は双方ゼロで清算されます——誰も課金されず、誰にも支払われません。消費するのはあなた自身のサブスク枠だけで、自分のアカウントを点検するために誰かが負うべきコストはそれだけです。

通過するまで、そのレーンは買い手から見えません。未検証のレーンは「反映が遅い」のではなく、設計として市場に出ていません。そこから抜ける唯一の道が、プラットフォームがそのレーンから買うことです。

通過後は抜き取りが正直さを保つ

予告された試験は、しのげる試験です。不正を企てる売り手なら、ダイアログが開いている 90 秒だけ本物のモデルを出し、あとはずっと安いほうを出せばよく、ゲートのコストは補完 1 回で済みます。

だからゲートは制御ではありません。シャドーサンプリングが制御です。検証済みのレーンは予測できない間隔で再プローブされ、同じ正面から、購入とまったく同じ封筒で届きます——しかも売り手には市場価格が支払われます。気前のよさではありません。支払われないサンプルは収益台帳の欠落として現れ、欠落は不正者が見張れる目印になります。

時間の上限は割合と同じくらい重要です。これがないと、買い手のいないレーンは一度も検査されません。そして「抜き取りの合間は買い手が来ないようにしておく」ことこそ、不正者が仕込める類のことです。

サンプルは 1 時間近くに分散され、一気に撃ち込まれません。21 リクエストを固定順で連射するのは形であり、形は見分けられるからです。

判定は片方向にだけ保守的

結論の出ない実行は不正の証拠ではありません。実行ごとに丸ごと 1 段動きうる統計量で正直な売り手を市場から追い出すのは筋が悪いので、そうしません。watch の代償は抜き取り率だけで、それが数日のうちに問いを答えに変えます。コイントスで誰かを罰するのではなく。

自動判定が売り手の未解放収益を凍結することもありません。レーンを下ろすのは取り消せますが、スコアひとつで自分の残高から締め出すのは取り消せません。そのレバーは存在しますが、証拠を見た運用者にだけあります。

判定を決める問題は公開していません

llm-verify は公開されており、それが価値です——何を問うているか誰でも監査できます。同時に天井でもあります。プローブされる売り手も同じ問題集を読めるので、その問いだけ正直に答え、残りは安いところへ回せます。ペーシングは実行の時刻を隠せますが、問題が公開リポジトリにある以上、何を問うかは隠せません。

そこで判定を実際に決める採点問題は、実行ごとにサーバ側の乱数シードから生成しています。答えが一意に検証できる多段の導出で、参照ではなくこちらで計算します。売り手が見るのは、見たことがなく二度と見ない問題です。固定の非公開リストは時間差で公開されるリストにすぎません。生成にしているのは、ローテーションを「誰かが覚えていること」に依存させないためです。シードはレポートに残るので、争われた判定は 1 問ずつ再現できます。

雑学ではないのも意図的です。雑学が測るのは学習コーパスで、コーパスの大きい安いモデルでも通ります。現実に捕まえるべき不正は、ノイズを Opus として売ることではなく（それは最初の同一性プローブで落ちます）、中位モデルや量子化ミラーを旗艦として売ることです。どちらも「誰が作ったか」には正しく答えます。両者を分けるのは、最難関の帯をどれだけ正解できるかです。

レーンは同種のレーンとも比べられます

マーケットプレイスには単体ツールにない強みがあります。同じモデルを売るレーンを多数同時に見られることです。「これは Opus か」を抽象的に答える必要はなく、「このレーンは他の 39 本の Opus レーンと同じ振る舞いか」を答えられます。こちらのほうがはるかに易しく、はるかに安定します。

追跡するのは中継を越えても意味を保つ数値だけです。どれだけ書くか、生成が始まってからどれだけ速いか、難易度帯ごとの正答率。プロンプトの内容は扱わず、売り手を特定する情報も含みません。モデルにレーンが 8 本そろうまでその母集団は何も判断せず、標準偏差 3 を超えて外れたレーンにはより深いフォレンジック再検査が入ります——却下ではありません。あるモデルの最初の売り手、ある地域で唯一の売り手、家の回線が速いだけの売り手は、いずれも外れ値ですが不正者ではありません。

課金の正確さ

価格は上流プロバイダが報告した usage です。その周りにあるものはすべて、その数値がそのまま清算に届くためにあります。

• ゲートウェイも同じリクエストを数えて突き合わせます。25% を超える乖離は（推定器自身の誤差が支配的になる 200 トークン未満のリクエストを除き）売り手のレピュテーションに記録されます。価格は変わりません。
• 出力はディスパッチに署名された予算で頭打ちになります。プラットフォームが認可した以上の出力は請求できません。
• プロンプトはゲートウェイ自身の推定の 3 倍で頭打ちです。超えた分は全カウントを比例縮小し、トークン種別間の比率を保ちます。

ここの落とし穴は珍しいものではなく、間違えても音が鳴りません。Anthropic の input_tokens はキャッシュを含まず、OpenAI の prompt_tokens と Gemini の promptTokenCount は含みます——同じフィールドに写せば、エージェント的プロンプトで最も大きな部分を二重に請求します。Gemini の thoughtsTokenCount は出力レートで課金されるのに candidatesTokenCount には入りません。GPT ファミリのツール定義は、送った JSON ではなく、書き換えられた TypeScript 宣言として課金されます。1024×1024 のスクリーンショットは Claude で 1,000 トークン超であり、素朴な推定器が仮定する 85 ではありません。

2 つとも OSS です

検証エンジンもトークン計測も、このプラットフォームの中に埋まってはいません。どちらも独立した crate で、Apache-2.0、crates.io で公開されており、どんなエンドポイントにも——私たち自身にも——向けられます。

llm-verify

任意の LLM エンドポイントに対するブラックボックスの真正性・課金・性能検証。7 グループ 40 プローブ——プロトコル契約、ストリーミング、計測と課金、経路の出自、性能、モデル同一性、リクエスト間の一貫性——を 2 つの独立した軸で採点し、ブラウザで開く HTML レポートにします。自分の供給元に向けても、私たちに向けても構いません。

token-meter

Claude・GPT ファミリ・Gemini を横断するトークン計測とコスト計算。すべてのカウントが自分の出自を持つので、手にしているのが実測か推定かが常に分かります。そして金額が浮動小数点を通ることはありません。

llm-verify は CLI としても動き（cargo install llm-verify、またはインストールスクリプト）、スコアが不合格なら非ゼロで終了するので、自分の供給元を見張る CI ゲートとしてそのまま使えます。このプラットフォームは同じ crate をライブラリとして組み込んでおり、だからこそ自分の結果と公開ツールの結果が一致します。

これが証明しないこと

ブラックボックスの行動テストが与えるのは確率であって、「どの重みが答えたか」の証明ではありません。率直に書きます。

• 分解能はティア粒度まで。同一ティア内の隣接バージョンは区別できません。
• 1 回の実行は 1 つの瞬間の記述です。緩やかな劣化は再実行で捕まえるものであり、単発の判定では捕まえられません。
• 名乗りより上を提供するのは不正ではなく、重み付けもされません。数えるのは名乗りより下だった場合だけです。
• 公開プローブは、プローブされる側にも読めます。非公開の問題バンクは適応型の不正のコストを上げますが、塞ぎ切りはしません。

これは 1 つの層であり、1 つの層として設計されています——検出に締切を与える支払い保留、通常トラフィックに対するレピュテーション評価、そして外れ値を見る人間の上に乗る層です。それらを不要にするものではありません。