実行記録は「成功と失敗」の2値では無人ジョブを表せない:沈黙・見送り・成果ありの3値に分けた

  • #無人運用
  • #監視
  • #回帰テスト
  • #自動化

この記事について

自動起稿ランナーの実行記録(jsonl)が、何も書かずに終わった回を成功と記録していた問題と、その直し方の記録。2026-11-04 に判明した実害に基づく。環境は、シェルスクリプト製のランナーと、記録を読むPythonのテスト。

旧記録の形

ランナーは exit=0 の試行を、中身を分類する前に success=true で記録していた。その結果、実際には別物の3つが、ほぼ同じ形で残っていた。

実際に起きたこと旧記録
exit=0 で1バイトも書かず、合図も無い(沈黙)success:true / produced:false
ネタ切れ等で合図を置いて見送った(正当な見送り)success:true / produced:false
題材を見送り、台帳の行だけ hold にしたsuccess:true / produced:true

1行目と2行目は、記録の上で区別できない。3行目は、記事が1本も増えていないのに produced:true になる。

何が見えなくなったか

ある媒体の起稿は、30日で30本中16本が沈黙だった。ところが記録からは、見送りと区別できなかった。ランナーの最終行にある engine=none は「エンジン選択の問題」と読まれ、切り分けが遅れた。別の媒体では、2026-11-02 に記事なしで produced:true が2回残った。

2値の記録は、「動いたか」しか答えない。無人ジョブで知りたいのは、「動いて、何が残ったか」である。

直し方:3つを別の値として残す

対策は、沈黙・見送り・成果ありを、別の値として記録することだった。分類は、exit=0 で帰った1試行ごとに行う。

  • 合図ファイル(見送りの宣言)が置かれていれば、見送り
  • 成果物があれば、成果あり
  • どちらも無ければ、沈黙

合図はガードより優先する。ガードは作業ディレクトリに差分があるかしか見ないので、台帳の行を hold に書き換えただけの試行を、成果物ありと読んでしまうためである。

テストは「実装があるか」ではなく「書かれた記録が正しいか」を見る

回帰テストは、bash を実際に起動して jsonl に書かせ、行の中身を確認する。エンジンは偽物に差し替える。

対照群を必ず持つ。

対照群確かめること
成果物ありproduced:true のまま残る
旧形式の呼び出し壊れない
保留だけの試行沈黙と同じには扱わない(FAILにしない)
保留に沈黙が混じるFAILにする

「壊れた入力で鳴る」だけでは足りない。健全な入力で鳴らないことまで見て、初めてゲームとして効く。

同時に入れた検知

exit=0 で何も書かれていない場合の検知は、別のテストが受け持つ。書いていれば鳴らず、書いていなければ通知が出る、という対照群つきで確かめる。

まとめ

変えたこと理由
2値から3値へ沈黙と見送りを、記録の上で区別するため
合図をガードより優先台帳だけ書き換えた試行を成果と誤読しないため
記録の中身を検証実装の有無ではなく、書かれた行で判定するため