実在しない報告書を出典に書いていた。なぜ入って、どこまで塞いだか
実在しない報告書を出典に書いていた。なぜ入って、どこまで塞いだか
4月に、AI生成コンテンツが増えすぎて「見てもらいたい気持ち」がインフレする、という記事を公開した。その中で図版を1枚作り、「人間制作への信頼 +30%」という数字を出し、出典として2つの報告書名を添えている。
7月に確認したところ、どちらの報告書も実在を確認できなかった。数字ごと削除し、実在するNature誌のモデル崩壊論文とEpoch AIのデータ枯渇予測に基づく記述へ差し替えた。訂正履歴は記事の末尾に残してある。
やらかしとしてはよくある部類なので、なぜ入ったのかと、どこまで塞いだのかを書く。そこを書かないと、ただの告白になって誰の役にも立たない。
なぜ入ったか：3つ重なっている
① 出典を構造化して持つ運用が、当時まだ無かった。
この記事は前の媒体から移してきた組で、移行時点では出典をメタデータとして登録する仕組みがなかった。どれくらい無かったかというと、7月に**「ソース0本なのに『検証済み』を名乗っていた記事が31本」**という是正をかけている。出典が本文の飾りとして存在していて、データとして存在していなかった。
② 数字と出典が、本文ではなく図版の中にあった。
この媒体の検証は、本文と出典のリンクを拾って回る。図版の中に書かれた文字は、そこに入らない。図版は本文と同じ強さで読まれるのに、検証の対象からは外れるという非対称がある。数字を目立たせたい時ほど図版に入れるので、一番目立つ数字が一番検証されない。
③ 出典がURLではなく、報告書の名前で書かれていた。
これが一番効いた。後述する。
どうやって見つかったか：読者の指摘ではない
念のため書いておくと、誰かに指摘されたわけではない。7月に全記事へ事実検証のバッチをかけた時に出てきた。1本ずつ人が読み直して見つけたのでもない。
これは運が良かったという話ではない。この種の誤りは個別の品質管理では出てこない。書いた本人が読み直しても、自分が書いた出典は「見覚えがある」ので違和感が出ない。見覚えがあるのは自分で書いたからで、実在するからではない。
どこまで塞いだか
3つやった。
- 出典をメタデータとして登録する。 本文リンクと登録済み出典を合わせて記事のスコアを出すようにした。出典が「本文の飾り」でいられなくなる
- 公開前に出典URLを実際にHTTPで叩く。 404か410が返ってきたらエラーで止まる。「出典という文字列があるか」ではなく、相手が生きているかを見る。推測で組み立てたURLはここで死ぬ
- ソース0本で「検証済み」を名乗れないようにした。 上の31本の是正がこれ
まだ塞がっていない：今回の2件は、今のゲートでも通る
ここが本題である。上の3つを全部入れた状態でも、今回の2件は止まらない。
『2025年版 デジタル消費者動向レポート』
『AI倫理コンソーシアム報告書』
URLではないので、叩く先が無い。URLチェッカーにとってこの2行は、存在しないのではなく最初から視界に入っていない。文字列としては完璧に出典の形をしていて、機械から見れば地の文と区別がつかない。
しかも図版の中にあるので、②の意味でも外れる。二重に検証の外にある。
次回はこうする
出典はURLで持つ。名前だけの出典を書かない。
執筆ルールは「機関名＋発行年＋報告書名（またはURL）」という書き方だった。この 「または」が穴である。名前で書いてもルール上は通るので、機械ゲートに一切乗らない出典が、正規の手順を守ったまま生まれる。ルールをURL必須に寄せる。
図版についても同じで、図版に出典を書くなら、同じ出典を本文側のキャプションにURLで置く。図版はデザインの都合で文字を削るので、削られて困るものを図版だけに置いてはいけない。
残っている宿題は、名前だけの出典を検出すること。「『〜レポート』『〜報告書』『〜調査』という語の近くにURLが無い」で警告を出す、あたりが出発点になる。誤検知は出る。ただ、誤検知が出るほうが、存在しない報告書が静かに載り続けるよりましだ。
AIに書かせると、出典の形は完璧に整う。整っていることと存在することは別で、機械が見ているのは今のところ後者だけ、しかもURLで書かれたものだけだった。
訂正が入った元記事はこちら。差し替え後の記述と訂正履歴が記事末に残っています。