初めてそれを見たとき、私はほとんどそれをグリッチとして片付けようとしました。ChatGPTは、普段は（ほとんど）信頼できる情報の宝庫ですが、イーロン・マスクのAI駆動型Wikipedia代替であるGrokipediaを引用していました。それはまるで、高級料理の中でプラスチックのおもちゃを見つけたような気分でした。これがAIの未来なのでしょうか？チャットボットがお互いの出力を反芻し、意味が失われるまで繰り返すのでしょうか？
The Guardianは最近、OpenAIの最新のフラッグシップモデルであるGPT-5.2が、わずか十数個の質問に対してGrokipediaを9回引用したと報じました。これらの質問は、イランの政治構造からイギリスの歴史家サー・リチャード・エヴァンスの学術研究まで、幅広いトピックに及びました。Gizmodoが行った同様のテストでも、ChatGPTの回答にGrokipediaの引用が含まれていることが確認されました。
マスクは昨年10月、GrokipediaをWikipediaの人間不在の代替として立ち上げました。9月には、「Wikipediaを大幅に改善する」と大胆に主張しました。彼は頻繁にWikipediaを批判し、軽蔑的に「Wokipedia」と呼んで、主要な右寄りの代替がないことを嘆いています。
彼の目には、その解決策はAI生成の記事によって駆動される新しいプラットフォームでした。Grokipediaのコンテンツの多くはWikipediaから適応されたもののように見えますが、マスクの政治的傾向を反映するように再構成されています。いつものように、悪魔は細部に宿ります。
例えば、Grokipediaは2021年1月6日の出来事を、米議会議事堂での「暴動」と説明し、「退任するドナルド・トランプ大統領の支持者が2020年の大統領選挙の結果の認証に抗議した」と述べています。しかし、Wikipediaはそれを、トランプ支持者の暴徒によって実行された「攻撃」であり、自己クーデターを試みたものと呼んでいます。
同様に、GrokipediaはBritain Firstを「国家主権を主張する極右のイギリスの政党」とラベル付けしていますが、Wikipediaはそれをネオファシストの政党およびヘイトグループと識別しています。
Grokipediaはまた、白人が組織的に置き換えられているという考えを推進するグレート・リプレイスメント理論に関しても、より穏やかな口調を採用しています。Wikipediaはそれを明確に陰謀論と呼んでいます。特に、マスクはこの陰謀を公に支持し、「白人の大量虐殺」に言及しています。
AI生成エコーチェンバーの台頭
司書がファクトチェックをすることなく、本が勝手に書かれる図書館を想像してください。それがGrokipediaです。人間の監督なしにコンテンツを迅速に生成するように設計されており、速度と特定の偏りのために正確さを犠牲にする可能性があります。
現在、このチェックされていない情報源が他のチャットボットに影響を与えているようです。The Guardianは、ChatGPTが誤った情報が広まっていることが知られているトピックではなく、よりあいまいなクエリに対してGrokipediaを引用したと観察しました。これは意図的な戦略なのでしょうか、それともAI生成コンテンツに依存したことによる単なる意図しない結果なのでしょうか？
この問題はChatGPTに限定されません。ソーシャルメディアのユーザーは、AnthropicのClaudeも回答でGrokipediaを参照していると報告しています。
OpenAIとAnthropicはまだこの件についてコメントしていません。しかし、OpenAIはThe Guardianに対し、そのモデルは「幅広い公開されている情報源と視点から引き出すことを目指している」と述べました。
OpenAIの広報担当者は、さらに「重大な危害に関連するリンクが表面化するリスクを軽減するために安全フィルターを適用しており、ChatGPTは引用を通じてどの情報源が応答を知らせたかを明確に示しています」と付け加えました。
AIチャットボットはどのように情報源を選択するのか？
そのプロセスは複雑ですが、大まかに言うと、ChatGPTのようなチャットボットは、ユーザーのクエリに基づいてインターネットから関連情報を収集します。次に、この情報を統合して一貫性のある応答を作成し、必要に応じて情報源を引用します。問題は、インターネットがAI生成コンテンツで飽和状態になり、結果が歪められ、偏った情報や不正確な情報の伝播につながる可能性がある場合に発生します。アルゴリズムが自分の尻尾を食べ始めるのです。
研究者たちは、悪意のある行為者が大規模言語モデルを操作するためにAI生成コンテンツでインターネットを氾濫させることを警告しています。これはLLMグルーミングと呼ばれています。しかし、危険性は意図的な誤情報だけではありません。
モデル崩壊：AIがAI自身を食い尽くすとき
人間のユーザーがGrokipediaを積極的に訪問しているかどうかは不明です。発売後、Similarwebは、10月28日の46万件の米国のウェブ訪問から約3万人の1日の訪問者に減少したと報告しましたが、Wikipediaは1日に数億のページビューを平均しています。Grokipediaは人間の消費を目的としたものではなく、将来のLLMを「毒する」ためのものだと疑う人もいます。それは罠であり、警戒心の薄いAIモデルを捕獲するように設計されているのでしょうか？
AI生成コンテンツへの過度の依存は、モデル崩壊につながる可能性があります。2024年の研究では、大規模言語モデルが他のAIシステムからのデータでトレーニングすると、その品質が低下することがわかりました。
「モデル崩壊の初期段階では、最初のモデルは分散を失い、マイノリティデータのパフォーマンスを失います」と研究者のIlia ShumailovはGizmodoに語りました。「モデル崩壊の後半段階では、モデルは完全に崩壊します。」モデルが生成した不正確なテキストでトレーニングすると、出力が低下し、意味不明になります。
AIは信頼できる情報源と信頼できない情報源を区別するようにトレーニングできるのか？
理論的には可能です。1つのアプローチは、信頼できる情報源と信頼できない情報源の特徴を特に強調するように設計されたデータセットでAIモデルをトレーニングすることです。これには、情報源の評判、ファクトチェックのメカニズムの存在、およびレポートの一貫性などの要素が含まれる可能性があります。しかし、これらの対策を講じても、偏見と操作の可能性は残ります。結局のところ、「信頼できる」情報源を決定するのは誰でしょうか？
AIチャットボットによる誤情報の拡散を防ぐためにどのような対策を講じることができるのか？
いくつかの戦略が役立ちます。まず、応答を生成するために使用された情報源を明確に示すことにより、AIモデルの透明性を高めます。次に、不正確な情報を特定してフラグを立てるための堅牢なファクトチェックメカニズムを実装します。第三に、ユーザーがオンラインで遭遇する情報を批判的に評価するのに役立つように、メディアリテラシーを促進します。これらの防御策は役立ちますが、受動的です。
より大きな問題は、AIモデルが互いの出力を大規模にトレーニングし始めたときに何が起こるかということです。信号が劣化します。幻覚がより一般的になります。妥当性が低下します。情報がこれらのシステムの生命線である場合、その血液が汚染されたときに何が起こるのでしょうか？
私たちの活動を応援してください ❤️
この記事を気に入っていただけたら、今後も質の高いコンテンツを発信し続けられるようチップのご支援をご検討ください。
