AITech Trends

AIが91%の精度で250,000件以上の疑わしいがん研究論文を検出

The BMJに掲載された大規模な研究によると、1999年から2024年の間に発表された2.6百万件のがん研究論文のうち、250,000件以上が、捏造の疑いで既に撤回された研究に見られるものと類似した文章パターンを含んでいた。研究チームは、偽造または低品質の研究を産業規模で販売するビジネスである「paper mill(論文工場)」の成果物を検出するためにBERT言語モデルを訓練し、このモデルは疑わしい論文を91%の確率で正しく識別した。チームはこのシステムを「科学的スパムフィルター」と呼んでおり、すでに3つの学術誌が試験運用している。

重要なポイント

  • この研究は1999年から2024年までの2.6百万件のがん論文を調査し、撤回された不正研究に似た文章パターンを持つ論文が250,000件以上あることを発見した
  • paper millのテキスト上の「指紋」を見つけるよう訓練されたBERT言語モデルが、疑わしい論文を91%の精度で検出した
  • 検出された論文は2000年代初頭の約1%から2022年には16%超のピークに急増。3つの学術誌がこのツールを試験運用中

paper mill問題は認識されているよりも深刻

この研究は、Queensland University of Technology (QUT)のAdrian Barnett教授が国際的な共同研究者グループとともに主導した。paper millは著者名義のポジションを販売し、場合によっては完成済みの科学論文そのものを販売する。こうした研究には、使い回しのテキスト、不自然またはぎこちない表現、捏造されたデータや画像が含まれることがある。Barnett教授は、paper millはおそらく定型テンプレートに依存しており、テキストのパターンを分析する言語モデルによって検出できると述べている。

91%の精度を持つ「科学的スパムフィルター」

研究チームは、既知のpaper mill製品に繰り返し現れる微妙なテキスト上の「指紋」を識別するBERTモデルを訓練した。検証済みの事例を用いて評価したところ、このモデルは疑わしい論文を91%の確率で正しく検出した。Barnett教授はこれを電子メールのスパムフィルタリングに例えている。このツールは、撤回された不正研究に見られる文体と構造に一致する論文を検出する。

傾向と応用

この大規模分析により、いくつかの主要な傾向が明らかになった。検出された論文は過去20年間で急増し、2000年代初頭の約1%から2022年には16%超のピークに達した。疑わしい論文は、強い評判と高いインパクトを持つ学術誌を含む、大手出版社が発行する数千の学術誌に出現している。この問題は特に分子がん生物学と初期段階の実験室研究で顕著であり、胃がん、肝臓がん、骨がん、肺がんの研究が特に高い割合で検出されている。3つの科学学術誌がすでに編集査読プロセスでこのシステムを試験運用しており、チームは他の科学分野にも応用する計画だ。研究者らは、検出された論文を自動的に不正とみなすべきではないと強調している。結果は警告信号であって、不正行為の確定した所見ではなく、各ケースは依然として人間の専門家による審査が必要だ。

なぜ重要か

Barnett教授は、がん研究は臨床試験、医薬品開発、患者ケアに影響を与えると指摘する。捏造された研究がエビデンスベースに紛れ込めば、実際の科学者を誤解させ、最終的には患者の進歩を遅らせる可能性がある。だからこそ、問題に先手を打つことが極めて重要だ。

出典: ScienceDaily · 研究はThe BMJに掲載