Haiku 5.5を5課題で測る：今回の規約確認は好成績、執筆は別評価
今回やったこと
2026年9月24日に実施した5課題の比較と同じ課題を使い、Claude Haiku 5.5を追加測定した。対象は画像の不具合検出、記事レビュー、タイトル分類、短い執筆、コード修正の5種類。狙いは、自動処理で使うモデルの代替候補になり得るかを、仕事の種類ごとに見ることだった。
測定は2026年10月8日、Claude Code 2.1.293の -p 実行で行われた。Haiku 5.5は effort medium と high の2設定を各1回実行。課題、正解、入力素材は9月24日の試験から引き継いでいる。したがって、これは同一条件の大規模ベンチマークではなく、実運用から採った5課題での小規模な比較記録である。
結果は仕事の種類で分かれた
今回の試行では、規約確認や分類で取りこぼしがなかった。記事レビューの仕込み違反は7件すべて検出し、誤検出はなかった。15本のタイトル分類も15本すべて正解だった。コード修正課題では3つの不具合を直し、未変更のテストを通過した。画像の不具合検出も7件を拾い、比較対象の Luna 6 の4件を上回った。
一方、画像の公開可否判定では4枚中2枚が正解だった。問題のある画像を「修正」とすべきところで「不可」とし、問題のない対照画像にも修正を求めた。指摘内容に根拠が全くなかったわけではないが、判定を厳しくしすぎる傾向が見えた。
短い掛け合い執筆は、6案を4人の審査員が順位付けする形式で評価した。Haiku 5.5 medium の Borda 得点は最大20点中5点で、Opus 5.5、Fable 5.1、Sonnet 5.5の下、Luna 6の上だった。審査員は、本文の論点から話題がそれることと、最後が確認質問で終わることを共通して指摘した。引用した Maister（1985）の研究は実在し、内容も正確だった。
| 課題 | Haiku 5.5 medium | 比較対象・結果 |
|---|---|---|
| 画像の不具合検出 | 7/7 | Luna 6 は 4/7 |
| 画像の判定一致 | 2/4 | 正解画像を過剰に修正判定 |
| 記事レビュー | 7/7、誤検出0 | 対象モデルは全件検出 |
| タイトル分類 | 15/15 | Sonnet 5.5 と Luna 6 も15/15 |
| 執筆審査 Borda | 5/20 | Luna 6 は0、上位3モデルはHaikuより上 |
| コード修正 | テスト通過 | 5モデルすべて通過 |
平均点だけで選ばない
測定記録の結論は、規約チェック、分類、修正のように正解を照合しやすい仕事なら、Haiku 5.5は有力な候補になり得るというものだ。画像の細部を拾う力も見られた。ただし、画像を最終的に公開してよいかの判断は別の成績であり、検出件数だけで任せると過剰判定を招く。
執筆については、この試験だけで全面的な能力を決められない。掛け合い課題での評価は低かったが、記事1本を書き切る仕事そのものは測っていない。記録でも、対話形式の執筆や起稿など「書く仕事」へ回さないという慎重な判断に留めている。分類課題やコード課題の満点を、文章の品質にそのまま置き換えることはできない。
effort を high にすると、執筆の Borda 得点は5から7へ上がったが、審査員が挙げた傾向は解消しなかった。分類はmediumの15/15からhighの14/15へ下がり、所要時間も5課題合計で126秒から172秒に増えた。各条件1回のため、2点の差を設定の効果と断定する材料はない。記録上は、既定のmediumで足りるという判断になっている。
運用へ移す前に確認すること
この比較から持ち帰れるのは、モデルを一つの総合点で並べるより、任せたい仕事ごとに評価することだ。レビューのように見落としと誤検出の両方を測れる課題、分類の正解が定義できる課題、出力の質を人が読む課題は、同じ指標でまとめられない。
また、今回の数字は各1回の実行結果である。課題数も5種類に限られ、測定環境もClaude Code経由だった。APIで直接呼び出す場合の費用や応答は同じではない。結果を運用に使うなら、対象業務の入力で再測定し、見落としが困る仕事では失敗例を混ぜた評価を続ける必要がある。
更新履歴
- 2026-10-20: 初稿作成。2026-10-08の測定記録に基づき構成。