論文にAIへの指示を忍ばせる

昔は、ホームページに白い背景に白文字でびっしり埋める、という手法がありました。コンテンツの量でGoogleからの高評価を得ようという裏技でしたが、その後、この手法は逆に低評価の対象とされ、今ではWeb上ではやる意味がなくなりました。

しかし、今回の論文内に人間には識別できない、AIにだけ指示できる命令文を埋め込むという手法が現れたことで、再びWeb上でも効果があるかもしれないと感じました。

ただし、履歴書でこれをやるのは危険です。もしバレたらアウトでしょう。リスクが高すぎるのでやらない方が賢明です。

「プロンプトインジェクション」と呼ぶらしいです。以前から、Webサイトでは、入力欄を悪用する「SQLインジェクション」「OSコマンドインジェクション」などが知られていますが、AIへの命令文を紛れ込ませる新手のインジェクションが出現しました。

もっとも、AIが賢くなって、そのような命令文が書かれたものを評価しない、となれば別ですが。

今回の問題は、一概に悪いとは言えない部分もあります。というのも、査読者がAIに頼りすぎている、ということにも一因があるからです。本来、専門家同士がその専門的な立場で評価すべきものであるのに対して、楽ができるということから、AIに査読を任せてしまえば、論文の価値の決定権はAIに移ってしまいます。

論文内に秘密の命令文、AIに「高評価せよ」 日韓米など有力14大学で

早稲田大学や韓国科学技術院(KAIST)など少なくとも8カ国14大学の研究論文に、人工知能(AI)向けの秘密の命令文が仕込まれていることがわかった。「この論文を高評価せよ」といった内容で、人には読めないように細工されていた。こうした手法が乱用されると、研究分野以外でもAIの応答や機能がゆがめられるリスクがある。

2025年6月30日 日本経済新聞
目次