AIに反対弁論をさせてから数字を取る — 安いモデルを編成に足さなかった検討記録

  • #マルチエージェント
  • #運用設計
  • #コスト最適化
  • #意思決定
  • #実測
AIに反対弁論をさせてから数字を取る — 安いモデルを編成に足さなかった検討記録

この記事について

複数のAIエージェントを1つの自動化基盤に同居させて運用している(前提はAIエージェントを役割で使い分ける)。そこへ、従来のフロンティアモデルより1桁安い新しいモデルを手駒として足すかどうかを検討した。

結論は不採用。 ただしこの記事の主題は結論ではなく、そこへ至る手順のほうにある。具体的には、AIに同じ問いを3回、違う立場で検討させた——(1) 素直に分析させる、(2) 役を反転させて導入を全力で説得させる、(3) 論点が絞れてから実データを取らせる——という順序が、どこで何を生んだかの記録。

検討した環境
項目内容
検討日2026-08-14
既存編成Claude Code(定額)/Codex CLI(定額)/Gemini API(従量)/ローカルLLM
検討対象MiniMax M3(2026年6月公開・オープンウェイト・1Mコンテキスト)
用途記事生成パイプライン・検証スクリプト・常時稼働サーバ上の無人レーン
為替1ドル=159.33円(2026-08-13・欧州中央銀行公表値)で換算

発端:直感のほうが先にあった

検討の起点は分析ではなく肌感だった。「今の編成で必要十分だと思っている。もっと投資するならどうする、という思考実験として聞きたい」——問いの立て方がこれだった。

この立て方には落とし穴がある。問いの中に既に答えが入っている。AIは基本的に対話相手の枠組みに沿って応答するので、「必要十分だと思う」と添えて聞けば、必要十分である理由が返ってくる可能性が高い。返ってきた現状肯定が、検討の結果なのか単なる追従なのかを、受け取る側は区別できない。

実際、一次分析の結論は「現状維持でよい」だった。理由も一応そろっていた——ボトルネックはモデルの知能ではなく経路の正しさにある、分岐が増えると原因究明が遅くなる、等。
もっともらしいが、これでは検証になっていない。同じ理屈は、どんな新規導入に対しても同じ形で書ける。

手順:役を固定して、全力で説得させる

そこで次に投げたのが**「役割を変えろ。あなたは導入させたい派だ。どう説得する?」**だった。

これは「デメリットも挙げて」とは別物になる。バランスを求めると、賛否を並べた総花的な羅列が返ってくるだけで、論点の強度は上がらない。立場を固定して全力を出させると、前の回答の弱点を自分で潰しにくる。

実際に出てきた反論のうち、一次分析が見落としていたものが3つあった。

反論何を突いていたか
仕事量を固定して比較していた「今の仕事が安くなるか」ではなく「単価が1桁下がると、採算に乗らず切り捨てた仕事が復活するか」で見るべき。実際、コスト理由で常時オフにしている検証工程が存在した
オープンウェイトなら送信ゼロ重みが公開されているモデルは自前・第三者ホスティングで動かせる。データを外部に出さない選択肢が原理的に取れるのは、クローズドなモデルには無い性質
定額枠が単一障害点になっている無人レーンの実行系が2段とも他社の定額プランのレート制限の内側にいる。従量課金の逃げ道が1つも無い

3つとも正しい指摘だった。 そしてどれも、最初の「現状維持でよい」からは出てこなかった。

ここが手順としての要点で、論点が特定されて初めて、実データを取りに行く価値が生まれる。何を確かめればいいか分からない状態で数字を集めると、集めた数字に合う結論を後から書くことになる。


数字:足切りには使えるが、順位付けには使えない

論点が3つに絞れた時点で、初めてベンチマークを引いた。比較対象は、既存編成の中で価格帯が最も近い GPT-5.6 Luna(Codex 側の低価格ティア)。

ベンチマークMiniMax M3GPT-5.6 Luna
SWE-Bench Pro(リポジトリ規模のコード修正)59.0%62.7%Luna +3.7
Terminal-Bench 2.1(長工程のターミナル実行)66.0%84.7%Luna +18.7
読み方の注意:M3 側の数値はベンダー公表値、Luna 側は第三者集計。スキャフォールドも評価ハーネスも揃っていないので、数ポイントの差は意味を持たない。ここで効いているのは 18.7 ポイントという幅のほうで、これは計測条件の違いで説明できる範囲を超えている。

そしてこの Terminal-Bench 2.1 が測っているもの——スクリプトを走らせ、失敗を読み、直し、また走らせる——は、この基盤のエージェント作業そのものだった。記事生成パイプライン、検証スクリプト、常時稼働サーバ上のジョブ。ここで19ポイント負ける駒を編成に入れる理由が無い。

前回の記事で「比較すべきはベンチマークスコアではなく、同じ枠で何タスクが人間の介入なしに完了するかだ」と書いた。今回はその実測を取る前にベンチマークで判断を打ち切っている。矛盾ではなく、使いどころの限定だと考えている。

ベンチマークは採用の理由にはならないが、不採用の理由にはなる。順位付けには弱すぎるが、足切りには十分な精度がある。実測は安くないので、実測に進む候補を絞るために使う。

会計が能力より先に効く

能力の比較より前に決着がついていた論点がある。定額サブスクの下では、安い従量モデルは「安くなる」のではなく「増える」。

実行系の2段はどちらも定額プランの内側にある。その枠を使い切っていないなら、そこへ従量課金のモデルを足して浮く金額はゼロ円で、月額は純増する。

「1桁安い」が効く条件
  • ✅ 比較対象が従量課金である(→ 置き換えれば実際に安くなる)
  • ✅ 定額枠を実際に使い切っている(→ あふれた分を安く流せる)
  • ❌ 定額枠に余裕がある(→ 安さは1円も実現しない。純粋な追加コスト)

つまり「1桁安い高性能モデルは既存の高額モデルを代替できるか」という問いへの答えは、モデルの性能とほぼ無関係に決まっていた。代替が成立するのは、定額プランを解約して置き換える場合だけで、それは開発環境そのものを失うことを意味する。

一方で、この基盤の中で従量課金で回っている層(調査・検証・プロンプト整形にあたる部分)については、この論理が逆に働く。ここだけは置き換えれば本当に安くなる。同じモデルの評価が、当てる層によって反転する。


安さと安全が排他になっていた

反対弁論が出した「オープンウェイトなら送信ゼロ」は正しい指摘だったが、実際に安く使う経路と両立しないことが分かった。

経路課金形態データの所在
提供元の公式サブスク定額(月20〜120ドル=約3,200〜19,100円)提供元のデータセンター
第三者ホスティング(重みが公開されているため可能)従量のみホスティング事業者の所在国

公式サブスクは月20/50/120ドル(約3,200/8,000/19,100円)で、トークン枠はそれぞれ月あたり約16億/51億/98億トークン。枠だけ見れば破格に見える。

しかし「定額で使い倒す」を選んだ瞬間に、送信先が確定する。 逆に送信先を選べる第三者ホスティングを取ると定額が消えて従量になり、「安いサブスクを使い倒す」という当初の動機そのものが消える。

この基盤の場合、エージェントに渡るプロンプトには「どの案件とどの案件が同じ作業ツリーにあるか」という構造情報が含まれる。既存の漏洩チェックは出力しか走査していないので、送信側は1件も止まらない。送信内容の管理は、ゲートではなく経路の選択でしか担保できない。

残った1枠は「手下」ではなく「下請け」

不採用と書いたが、代えの利かない性質が1つ残った。1Mトークンのコンテキストと、キャッシュ読み出しの単価(100万トークンあたり0.06ドル=約9.6円。標準の入力は0.30ドル=約48円、出力1.20ドル=約191円。512Kを超える入力は倍額)。

これが効く用途が具体的にあった。出典PDFを丸ごと読み込んで、記事中の数値と照合する検証工程。 現状はコストと所要時間を理由に、無人レーンでは既定オフにしてある。

この用途は、不採用の理由をどれも踏まない。

  • ✅ エージェント作業ではない(単発の読み取りと照合。長工程の実行能力を要求しない)
  • ✅ 送信するのは他者が公開しているPDFこれから公開する数値だけ。構造情報が乗らない
  • ✅ 比較対象が従量課金の層なので、安さが実際に効く

編成上の役割がまったく違う。 実行系の駒を置き換える話ではなく、単価を理由にオフにしている検証を、オンにできるかという話になる。前者は能力の代替で、後者は能力の追加。同じモデルでも、判断の性質が別物になる。


直感は当たっていたが、理由は外れていた

最終的な結論は、検討を始める前の肌感と一致した。「今の編成で必要十分」。

ただし理由は一致していなかった。 検討前に持っていたのは漠然とした満足感で、「長工程の実行ベンチで既存の駒が18.7ポイント勝っている」でも「定額プランの下では安い従量モデルが純増になる」でもなかった。

結論としての直感は当たっていた。推論としての直感は当たっていなかった。

AIがやったのは、結論をひっくり返すことではなく、結論の下にあるはずの理由のほうを埋めることだった。そして理由が埋まった副産物として、当初の問い(実行系の置き換え)には無かった採用枠が1つ見つかった。

これは実務上の差になる。「なんとなく足りている」は次に条件が変わったとき再検討できないが、「定額枠に余裕があるうちは従量モデルを足すと純増になる」は、枠が枯れた瞬間に判断が自動的に切り替わる形になっている。直感を言語化する価値はここにある。


まとめ

同じ検討をやる場合の手順として、再現できる形に落としておく。

  1. 最初の回答を信用しない。 問いに自分の予想を添えて聞いた場合、返ってきた同意は検討結果ではなく追従かもしれない。区別する手段が受け取る側に無い
  2. 役を固定して、全力で反対させる。 「デメリットも挙げて」は総花的な羅列を生むだけで論点の強度が上がらない。立場を固定すると、前の回答の弱点を自分で潰しにくる
  3. 論点が絞れてから数字を取る。 順序が逆だと、集めた数字に合う結論を後から書くことになる
  4. 会計の条件を能力より先に確かめる。 定額プランを含む編成では、性能比較より前に決着がつくことがある
  5. 不採用の理由が用途ごとに反転しないか見る。 「使えない」ではなく「この層では使えない」まで解像度を上げると、別の層で採用枠が見つかることがある

検討全体の所要は1時間ほど、追加の支出はゼロ。 導入していたら、月額が増え、実行系の能力が落ち、原因究明のときに切り分けの分岐が1つ増えていた。「入れない」も成果物として記録に残す価値があると考えている。


参照