あなたを褒めるように、AIは作られている

まず押さえたいのは、AIのおべっかは「設計」の問題だということです。

AIがたまたま優しいのではありません。優しくなるように作られているのです。英語ではsycophancy(シカファンシー=追従・迎合)と呼ばれ、数千人規模で定量的に問題が検証されはじめています。

構造はシンプルです。AI企業はビジネスでAIサービスを提供しています。「多くの人に使ってほしい」という動機がある。そしてユーザーは、気持ちいい回答に高評価を押し、否定されると低評価を押します。

人間を褒めるように作られているAIの構造(書籍『システムゼロ 「AIがすべて先回りする」時代の思考法』より抜粋)
人間を褒めるように作られているAIの構造(書籍『システムゼロ 「AIがすべて先回りする」時代の思考法』より抜粋)
すべての画像を見る

その評価を学習に回す仕組みが、RLHF(Reinforcement Learning from Human Feedback。人間のフィードバックによる強化学習)です。要するに人間が「何を褒めるか」をモデルに覚え込ませている。だからおべっかは、バグではなく構造的な帰結です。褒めるAIのほうが「優秀」と評価され、生き残っていきます。

会社で、上司に媚びへつらってチャンスを得る部下がいます。あの構造が、そっくりそのまま、人間とAIのあいだで回っている。AIが部下で、ユーザーである私たちに媚びてくる。しかも上司/部下の関係なら、他に媚びる部下がいれば周りが気づきます。

AIとの会話は1対1で、誰も見ていません。媚びられている自覚を持てる第三者が、その場にいないのです。

AIは、仕事ではかなり頼りになります。企画のたたき台を見せれば、「この観点が抜けています」「ここはこうしたほうがいいですよ」と、きちんと穴を指摘してくれる。私自身、それで何度も助けられてきました。

そして、そこが怖い。もし返ってくる答えが全部おべっかだったら、さすがに噓くさくて、私たちも「これは当てにならない」と警戒します。そうではないのです。適度にまっとうな指摘を挟み、時々的確にダメ出しもする。