自動生成の補足を、出典の本文まで検査する設計にした
今回やったこと
自動生成記事の補足欄に、内容としては正しそうな説明が入っていても、指定された出典が根拠になっていないことがあります。たとえば画像だけの投稿を出典に指定したり、存在しない投稿番号を指したり、出典本文を言い直しただけの文章を「補足」として表示したりするケースです。
この問題に対し、補足出典の機械検査を実装しました。回帰テストはネットワーク接続なしで実行できます。記事の実装ステータスは実装済みです。
出典番号と本文を突き合わせる
まず、補足の source から投稿番号を取り出します。レス50、>>50、No.50、裸の 50、複数番号の表記を扱い、URLや「総務省 2024年家計調査」のような番号ではない出典はこの検査の対象外にします。対象外にしたものまで無理に判定しないことで、既存のURL出典を壊さない設計です。
番号を取り出した後は、次の順で判定します。
| 検査 | 不合格にする条件 |
|---|---|
| 存在確認 | 指定した番号が投稿一覧にない |
| 本文確認 | 指定投稿が空白だけ、または画像だけ |
| 根拠確認 | 補足の固有名詞・数値が指定本文に一つもない |
| 冗長確認 | 指定本文の内容をそのまま言い直している |
本文確認では、返信アンカーだけの内容も空とみなします。投稿番号が存在していても、そこに説明文がなければ補足の根拠にはできません。根拠確認では、補足文から数字や漢字語などのトークンを抽出し、指定投稿の本文に現れるかを見ます。完全な事実確認ではありませんが、無関係な投稿を出典にする可能性を低コストで減らせます。
「正しい言い直し」を落とす理由
出典本文と補足文が一致していれば、単純な包含検査は通ってしまいます。しかし補足の役割は、本文にない定義、数字、訂正などを追加することです。出典の内容を「レスではこう指摘されている」と繰り返すだけでは、読者が同じ情報を二度読むことになります。
このため、実装には言い直しを示す表現の検査と、指定本文に含まれるトークンだけで補足が構成されていないかの検査があります。一方、出典の誤りを訂正する文章は言い直しとして落としません。出典に言及していても、正しい数値や定義を追加していれば補足として残せるためです。
出典本文の要約だけ → 落とす
出典本文＋新しい定義 → 通す
出典本文＋数値の訂正 → 通す
本文なしの画像投稿 → 落とす
回帰テストでは、画像のみ、空白、アンカーのみ、存在しない番号、無関係な本文、言い直し、追加情報、訂正、複数出典などを個別に確認しています。機械検査は編集判断を完全に代替しませんが、明らかな根拠不一致を生成後に一貫して止める境界になります。
更新履歴
- 2026-08-12: 初稿。実装と回帰テストをもとに整理。
訂正履歴
なし。