新しいレーンを本番前に別マシンでdry-runし、被覆率を実測する

  • #自動化
  • #検証
  • #source-grounding
新しいレーンを本番前に別マシンでdry-runし、被覆率を実測する

今回やったこと

検索改善案を本番へ流す前に、別マシン上のdry-runで候補データを通し、判定に使う被覆率の分布を測った。対象は、元記事から抽出した要素が計画書にどの程度残っているかを確認するレーンである。ここでの目的は、閾値を先に決めて正当化することではない。実際の正例と負例を見て、閾値がどの範囲を通し、どの範囲を保留にするかを確かめることだ。

この記録は、判定用のスクリプトと測定用のスクリプトのコメント、およびレーン手順書に残る実装・測定記録をもとにしている。測定は2026-08-28に、別マシン上で実際のレーンを動かして行った。対象は、レーンが実際に出力した候補10件(全件、人手で本文を確認し正例と確定したもの)で、各件を3回測定した計30回。このとき計画書を作ったモデルは1種類(Claude Sonnet 4.6)で、同じ日の出力に限られる。被覆率は、元記事から抽出した固有要素(上限20件。固有名詞・数値・レス番号など)のうち、計画書の追記に現れた割合である。正例の被覆率は最小10%、中央値25%、最大65%だった。最大値だけを見れば高い閾値を置けそうに見えるが、最小値は当初の想定35%を大きく下回る。正例のばらつきを見ずに閾値を決めると、正常な記事まで落とす可能性がある。

平均や上限だけで閾値を決めない

実測では負例(元記事を読まずに一般論を振りかけた原稿)の被覆率が5%(20件中1ヒット)で、正例の下限10%との差は1ヒットだった。この差は明確な境界ではない。そこで MIN_COVERAGE は0.10から0.05へ変更され、被覆率だけで誤って正例を拒否する状況を避けた。値を下げることは、それ単独で合格を増やす設計ではない。判定処理では、被覆率を通った候補に対して二段目で別のモデルが「元記事を読んで書かれているか」を判定する。この二段目を呼べない場合(利用枠の切れなど)や応答が読めない場合は UNJUDGED として保留し、次回に回す。PASSにはしない。さらに適用時は、その日の対象10件がすべてPASSでなければ1件も適用しない(1件の誤棄却で全件が止まるため、閾値を正例の下限に重ねないことが重要になる)。

観測項目実測・設定読み取れること
正例の測定回数10件 × 3回(2026-08-28・別マシンの実レーン・Sonnet 4.6の出力)1例だけの分布ではない
被覆率の分母抽出した固有要素20件0.05は「20件中1件以上」、0.10は「2件以上」
正例の被覆率最小10%、中央値25%、最大65%代表値と下限に差がある
負例の被覆率5%正例下限との差は小さい
MIN_COVERAGE0.10から0.05へ被覆率だけで正例を落としにくくする
二段目の判定不能UNJUDGED判定不能をPASSに変えない

この調整は「閾値を下げれば安全」という意味ではない。低い閾値を通過条件に直結させず、判定不能を独立した状態として扱うことで、取りこぼしを減らす変更と誤通過を抑える仕組みを両立させている。指標を緩める時ほど、その後段に何がPASSを決めるのかを確認する必要がある。

dry-runを本番前の設計材料にする

今回の手順は、対象を本番適用しない環境で実データに近い入力を流し、各回の結果を集計し、閾値と判定経路を見直すというものだった。測定用のスクリプトが結果を集約し、判定用のスクリプトに閾値と UNJUDGED の扱いが実装されている。プランを生成できたかだけでなく、その後の検証がどの状態で止まるかまでを合わせて読むと、dry-runは単なる動作確認より設計判断に近い。

計画書を作るモデルを2026-08-29に別のモデル(Gemini 3.7 Flash)へ替えて60標本で測り直したところ、被覆率は最小0%・中央値25%・最大70%で、桁は同じだった。ただし正例でも0ヒットになる回が2回あり、列挙の粒度が原因で、閾値では消せない誤棄却が残ることも確認している。別マシンでの実測には、実行環境や判定モデルの差が結果に混ざる制約がある。測定値をそのまま別のレーンへ移すのではなく、対象の入力、正例と負例の構成、繰り返し回数、判定不能時の扱いを一緒に記録する。そうすれば後から閾値を再調整するときに、数字だけを引き継ぐ誤りを避けられる。

この事例で持ち帰れるのは、最初に置いた閾値を守ることではなく、その閾値がどの観測に支えられているかを問い直すことだ。正例の最小値と負例の最大値が近いなら、単一の数値で完全に分離できる前提を捨て、複数段の判定や保留状態を設ける。保留がPASSへ化けないことまで実装で確認してから、本番適用の判断へ進める。

環境・バージョン

測定は別マシン(macOS)での実レーン実行。計画書の生成モデルは測定時点でClaude Sonnet 4.6、再測定でGemini 3.7 Flash。二段目の判定モデルや各ツールのバージョンは、参照した記録に記載がないため特定していない。

更新履歴

  • 2026-10-02: 初稿
  • 2026-11-14: 公開後レビューの指摘を受けて、測定日・対象データ・実行環境・分母・二段目判定と保留の扱いを補足。リポジトリ内のファイル名は一般語に置き換え。

訂正履歴

  • なし。