自作の品質スコアが0点を出し続けていた:採点器が本文のリンクしか数えず、登録済みのソースを見ていなかった

  • #品質管理
  • #factCheck
  • #採点
  • #回帰テスト
自作の品質スコアが0点を出し続けていた:採点器が本文のリンクしか数えず、登録済みのソースを見ていなかった

今回やったこと / この記事について

記事ごとの出典の確からしさを数値にする自作の採点器(suggest_factcheck.py)で、2026-07-26 の棚卸し中に不具合が見つかった。ソースを frontmatter の factCheck.sources にだけ登録し、本文には一覧を置いていない記事が、採点で auto=0 のまま「検証済み」と表示されていた。記録上、採点器が数えるソースが0本のまま「検証済み」表示だった記事は34本あった。

原因と修正、そして見落とした理由を記録する。

何が起きていたか

採点器は本文の markdown リンクと SourcesDisclosure だけを数えていた。一方、読者向けの出典一覧は frontmatter の登録分から <Sources> で描画される。つまり、読者には出典が見えているのに、採点器には見えていない記事ができる。

こうした記事は、frontmatter に何本登録しても auto=0 のままで、検査の FAIL が構造的に解けなかった。--update で再計算すると、本文からリンクされていない登録済みのソースを frontmatter から消したうえで 0 点にする挙動もあった。

項目修正前修正後
採点対象のソース本文のリンクのみ本文のリンク ∪ frontmatter の登録分
--update の挙動登録済みソースを消して 0 点登録済みソースを消さない(非破壊)
重複の扱い考慮なしURL を正規化して重複排除

修正の中身

採点対象を「本文のリンク ∪ 登録済みソース」の合算にした。合算の順序は、登録済みを先、本文にだけあるリンクを後ろとする。登録済みの表示名と URL を優先して保つので、すでに同期している記事に --update をかけても何も変わらない。

同じ URL を二重に数えないよう、比較用のキーは次の正規化で作る。

def normalize_url(url: str) -> str:
    return url.strip().replace("http://", "https://").rstrip("/")

http と https、末尾の / の有無だけが違う URL は、同じソースとして1本に数える。

配点(traceability 0-35・diversity 0-25・evidence 0-25・domain_bonus 0-15)の式は変えていない。変えたのは、式に渡す入力である。

見落とした理由

0点が続いている間、誰も気づかなかった。採点器の出力が「数字」の形で出るため、検査を通った記録があるだけで信用されていた。

教訓は、採点器の出力を信じる前に、採点される側の入力を実物で数えることである。今回の場合、「登録済みソース N 本」と「採点器が数えた本数」を並べるだけで差は一目で分かった。修正には回帰テスト(test_suggest_factcheck.py)を付けてあり、登録済みのソースが採点から落ちる形に戻れば鳴る。

横展開の見方

同じ形の穴は、「集計する側が、一部の入力経路しか見ていない」ところに開く。集計を足すときは、入力の経路が全部で何本あるかを先に数え、集計の対象と突き合わせる。