実行記録は「成功と失敗」の2値では無人ジョブを表せない:沈黙・見送り・成果ありの3値に分けた
この記事について
自動起稿ランナーの実行記録(jsonl)が、何も書かずに終わった回を成功と記録していた問題と、その直し方の記録。2026-11-04 に判明した実害に基づく。環境は、シェルスクリプト製のランナーと、記録を読むPythonのテスト。
旧記録の形
ランナーは exit=0 の試行を、中身を分類する前に success=true で記録していた。その結果、実際には別物の3つが、ほぼ同じ形で残っていた。
| 実際に起きたこと | 旧記録 |
|---|---|
| exit=0 で1バイトも書かず、合図も無い(沈黙) | success:true / produced:false |
| ネタ切れ等で合図を置いて見送った(正当な見送り) | success:true / produced:false |
| 題材を見送り、台帳の行だけ hold にした | success:true / produced:true |
1行目と2行目は、記録の上で区別できない。3行目は、記事が1本も増えていないのに produced:true になる。
何が見えなくなったか
ある媒体の起稿は、30日で30本中16本が沈黙だった。ところが記録からは、見送りと区別できなかった。ランナーの最終行にある engine=none は「エンジン選択の問題」と読まれ、切り分けが遅れた。別の媒体では、2026-11-02 に記事なしで produced:true が2回残った。
2値の記録は、「動いたか」しか答えない。無人ジョブで知りたいのは、「動いて、何が残ったか」である。
直し方:3つを別の値として残す
対策は、沈黙・見送り・成果ありを、別の値として記録することだった。分類は、exit=0 で帰った1試行ごとに行う。
- 合図ファイル(見送りの宣言)が置かれていれば、見送り
- 成果物があれば、成果あり
- どちらも無ければ、沈黙
合図はガードより優先する。ガードは作業ディレクトリに差分があるかしか見ないので、台帳の行を hold に書き換えただけの試行を、成果物ありと読んでしまうためである。
テストは「実装があるか」ではなく「書かれた記録が正しいか」を見る
回帰テストは、bash を実際に起動して jsonl に書かせ、行の中身を確認する。エンジンは偽物に差し替える。
対照群を必ず持つ。
| 対照群 | 確かめること |
|---|---|
| 成果物あり | produced:true のまま残る |
| 旧形式の呼び出し | 壊れない |
| 保留だけの試行 | 沈黙と同じには扱わない(FAILにしない) |
| 保留に沈黙が混じる | FAILにする |
「壊れた入力で鳴る」だけでは足りない。健全な入力で鳴らないことまで見て、初めてゲームとして効く。
同時に入れた検知
exit=0 で何も書かれていない場合の検知は、別のテストが受け持つ。書いていれば鳴らず、書いていなければ通知が出る、という対照群つきで確かめる。
まとめ
| 変えたこと | 理由 |
|---|---|
| 2値から3値へ | 沈黙と見送りを、記録の上で区別するため |
| 合図をガードより優先 | 台帳だけ書き換えた試行を成果と誤読しないため |
| 記録の中身を検証 | 実装の有無ではなく、書かれた行で判定するため |