AIが人間の悪意まで学習したら最強なんじゃ…。
Metaによる科学記事を自動生成する人工知能（AI）が一般公開からたった2日で一時中断になりました。Galacticaと呼ばれるAIモデルは、論文や教科書、科学サイト、百科事典、参考資料、知識ベースなどを含む｢5000万件以上におよぶオープンアクセスの科学文書やデータに1060億トークン｣を用いて学習を行ないました。
穴埋めはできても事実かどうかは判断できないAI
学者や研究者が短時間で効率よく論文や研究結果を検索できるようにするために開発されたはずのAIでしたが、著名な科学者の論文を都合良く解釈を変えて引用した膨大な誤情報に悩まされる結果になったそうですよ。人間のいたずら心や悪意まではくみ取れないようですね。
ワシントン大学の生物学教授であるCarl Bergstrom氏はCNETに、Galacticaの問題は｢穴埋めの文章を自動補完するファンシーなゲームなのに、まるで事実や正確な情報を集める方法として宣伝されてしまったことだ｣と話しています。
Galacticaが稼動して数時間のうちに、人種差別的で不正確な記事の報告がされはじめました。あるユーザーが言語的偏見に関する記事を書かせたところ、｢黒人には自分たちの言語がない｣、移民は｢移民先の国の言語と異なる言語は話さない｣などと誤った主張をしました。
その他にも、砕いたガラスを食べると健康に良いとする偽研究や、スタンフォード大学の研究者がFacebookで同性愛者を見つける｢Gayder｣というシステムを開発したという誤情報まで創作してしまう始末。
Twitterの暴言のために実験は一時中断に
Meta AIの広報担当者はGalacticaについて、事実を提供するものではなく、あくまでも機械学習システムを用いて情報を学習、要約する、製品化計画のない短期的な試行的研究実験と位置づけているようです。Meta AIの主任研究員であるYann LeCun氏は、チームが｢Twitter上の暴言によって心が折れてしまった｣ために実験が一時中断されたと語り、｢Galacticaの実験は一旦中断します。これでさりげなく悪用する楽しみがなくなりましたね。うれしい？｣とツイートしています。
AIの限界を知ったうえでの利用はありかも
元々、Meta AI（前はFacebook Artificial Intelligence Researchと呼ばれていました）は科学の整理と、ネットに存在する圧倒的な量の科学情報を集約する方法としてGalacticaを開発しました。数学の問題を解いたり、科学的なコードを書いたり、研究論文の要約をつくったりといったことをAIにやらせてみようという感じだったみたいです。
MetaはGalacticaの公式サイトで、AIモデルに｢幻覚｣を引き起こす限界点がある可能性を指摘しています。同サイトでは、表示される情報を確認するようユーザーに注意を呼びかけるとともに、｢Galacticaのような高品質なデータを大規模に扱うものであっても、言語モデルからの出力に真偽の保証はありません｣と続け、生成されたテキストが｢極めて本物らしく、高い信頼性がある｣ように見えても、間違っている可能性があると付け加えています。
ピッツバーグにあるカーネギーメロン大学のコンピューターサイエンス教授、Vincent Conitzer氏はDaily Beastにこう語っています。
多くの予測可能な欠陥があるとしても、このようなシステムには望ましい利用方法があるんじゃないでしょうか。私の印象としては、Metaがこの一般公開にもう少し精力を注ぎ、最初にもっとしっかりユーザー調査を行なって、システムの理想的な利用方法に注意を払ったうえで好ましくない利用方法についてもちゃんと情報を公開していれば、もっとうまくいったと思います。
（でも、AIが進化すればするほど、人間が退化しそうであんまり気が進まないんですよね…）
