報告された数字を元のデータで検算する

前のレッスンで、議論マップを作って論文同士の対立を整理しました。ここでは視点を変えて、1本の論文の中に踏み込みます。報告されている数字そのものが、元のデータと本当に一致しているかを検算する方法です。

抄読会で発表される論文の中には、報告された平均値や検定結果が、公開されている補足データと微妙にずれているものがあります。査読を通っていても、計算過程の誤りがすべて弾かれるわけではありません。前のレッスンまでで扱った文献レビューの計画や議論マップは、複数の論文を横から見る作業でした。ここからは1本の論文を縦に、数字の根拠まで割って確かめる作業に移ります。

論文の主張を、渡したデータで検算させる

やり方はシンプルです。論文の本文と、公開されている補足データ（Supplementary DataやExcelの生データ）を両方渡し、報告されているすべての統計値を抽出させたうえで、Claudeに同じ計算を独立にやり直させます。

添付した論文と補足データを使います。
論文中で報告されているp値・平均値・サンプルサイズをすべて抽出してください。
次に、補足データから同じ値を独立に計算し直してください。
最後に、論文の主張・あなたの再計算・両者が一致するかどうかを、表にして示してください。
一致しない箇所は、考えられる原因（単位換算、サンプルサイズの取り違え、検定手法の選択など）も添えてください。

ここで効いてくるのは、論文の主張を信じた上で説明させるのではなく、データから独立に計算させるという順序です。この違いが、検算としての価値を左右します。

3列で照合する

出てきた結果は、表として見ると照合しやすくなります。

「一致するか」の列に「判断できない」が並ぶこと自体も収穫です。補足データが計算を再現するには足りていない、という論文側の情報開示の弱さを示しているからです。不一致が見つかった場合も、結論を急がないでください。再計算の元になったのがClaudeの読み違いなのか、補足データの列名の解釈違いなのか、原因を1つずつ潰していく作業が、そのあとに続きます。

見つかりやすい不整合の型

検算で見つかる不整合には、よくある型があります。

3つ目の型は特に見つけにくく、数字そのものは合っていても、検定の前提が崩れているために結論が揺らぐケースです。Claudeにこの種の前提の妥当性まで判断させるのは荷が重いので、検定手法が適切かどうかは、最終的に人間が確認する部分として残してください。

抄読会でこの検算をやると、発表そのものの質が変わります。「結論はこうでした」で終わらせず、「この数字は補足データから再現できました、ただしこの表だけは再現できませんでした」まで話せると、批判的吟味という言葉が名ばかりでなくなります。

自分の専門分野から始める

だからこそ、この検算という技法は、まず自分がすでに専門知識を持っている分野の論文から試すのが安全です。畑違いの分野でいきなり検算に頼ると、Claudeの誤った指摘も、正しい指摘も、区別がつかないまま受け取ることになります。

自分の専門分野で何度か試して、どんな種類の指摘なら信頼できるか、どんな指摘は疑ってかかるべきかの感触をつかんでおくと、その感触は苦手な分野に検算を広げるときの判断材料になります。自分の専門でどこまで信頼できるかを確かめてから、苦手な分野に広げるときは確かめ方を増やす、という順番については、AIの答えを確かめるでさらに扱っています。

やってみよう

演習1：検算を試すのに向いている論文を1本選ぶ

自分の専門分野の論文の中から、補足データが公開されていて、検算を試すのに向いていそうなものを1本思い浮かべてください。なぜその論文を選んだか、理由も書いてみましょう。

演習2：見つかりそうな不整合を予想する

その論文で、もし不整合が見つかるとしたら、単位・サンプルサイズ・検定手法のどれである可能性が高いと感じますか。予想してから実際に検算すると、答え合わせの精度が上がります。

今日のまとめ

3行で振り返ります。

• 論文と補足データを渡し、報告された統計値を独立に再計算させると、報告と実データのずれを検算できる
• 結果は論文の主張・再計算・一致するかの3列で照合すると見やすい
• 検算はまず自分の専門分野から始め、Claudeの指摘そのものが誤っている可能性も忘れない

次のレッスンでは、臨床試験の登録情報とプレプリントを探す、2つのコネクタの使い方を見ていきます。