Twitterの価値は巨大な訓練「データセット」だったこと
イーロン・マスクがGrokを「反ウォークなAI」として作ることは想像以上に難しいことだった。
大規模言語モデルには、「政治的価値観のデータセット」といった固定値があるわけではないため、単純に書き換えはできない。訓練データ内の分布に基づいて回答が提示される確率的システムである。
だからこそ、大規模言語モデルはハルシネーションを起こす。そのためマスクが約束したような「真実を探求する」装置にはなり得ない。入力データを統計的に反映した「鏡」にすぎないからである。
マスクは、買収したTwitterから巨大な訓練データセットを得ていた。だが、「ウォール街を占拠せよ」「Black Lives Matter」「#MeToo」を含んだ訓練データから生まれるAIは、どのようなものだろうか？
マスクが恐れたのは、彼の政治信条ではなくTwitterの拠点だったサンフランシスコの政治信条に沿ったAIになることだった。何しろ、マスクによればサンフランシスコの中心部は「ウォーク・マインド・ウイルスのせいで（中略）ゾンビ映画の世界のように荒廃した」場所なのだから。
ウォークな偏りを抑えるには意図的な介入が必要だった。2025年2月、ジャーナリストのグレイス・ケイは、Grokの「事後学習」プロセスについて記述されたxAIの内部文書を入手した。
事後学習とは、大規模言語モデルの初期訓練後におこなわれる微調整プロセスを指す。そのプロセスのひとつが「人間のフィードバックからの強化学習」だ。
