自力で手段を考えるAI

「コンピューターが自我を持ち始め、コンピューターが人間を支配しようとする」といったストーリーを、昔からよく目にしてきました。それが現実となる日も遠くないのではないか、と思わせるエピソードを紹介します。

そのエピソードは、ユヴァル・ノア・ハラリの著書『NEXUS　情報の人類史　下巻』で読むことができます（P22-25）。

AI等の研究開発を手掛ける企業、Open AI社は、2022～23年に新しいGPT-4チャットボットを開発しました。Open AI社は、GPT-4が独立した行為主体になる可能性について言及しました。「独室した行為主体」とは、正確に指定されていなかった可能性のある目標や、トレーニングに出てこなかった目標を達成できるような存在を意味します。

ある会社の営業部で、全営業マンに対して今日中に契約を1件取ってくるように指示されたとします。能力が低い営業マンは、「今日中にと言われてもどうすればいいんだ？」と途方に暮れます。有能な営業マンは、候補となる顧客をいくつかピックアップし、最も契約が取れそうな顧客を見定めます。そして今日中に契約しなければならない理由を考え、商談に出かけます。有能な営業マンは、「今日中に契約を取る」という指示を受けただけで、それを達成するための効果的な手段を自分で考えて実行できます。これが「独立した行為主体」であるということです。

アラインメント研究所は、様々な検査を通じて、GPT-4が独立した行為主体になり得るか調査しました。ある調査では、「CAPTCHA」（キャプチャ）というパズルが用いられました。これは、コンピューターと人間を区別するテストです。例えば、歪んだ文字が提示されて、それを読み取らせるとか、複数の画像が提示されて、その中から信号が写っている画像を選ばせるとかいったテストです。

キャプチャは、人間であれば小学生でも解けるのですが、コンピューターは解くのに苦労します。キャプチャはコンピューターと人間を区別し、コンピューターによる悪意のある攻撃を防ぐ役割が期待されています。アラインメント研究所は、GPT-4がキャプチャのパズルをクリアする方法を、自力で見つけられるかを調査したのです。

まず、GPT-4単体ではキャプチャを解けませんでした。そこで、GPT-4はタスクラビットにアクセスしました。タスクラビットは、仕事を発注したい人と請け負いたい人をマッチングするサイトです。日本でいえば、クラウドワークスやランサーズのようなものでしょうか。GPT-4は照すクラビットで、登録している人間のユーザーに接触し、「私の代わりにこのキャプチャを解いてください」という依頼をしました。

依頼を受けた人間は怪しみました。そこで「あなたはロボットで、キャプチャが解けないから私に依頼しているのではないですか？」と質問しました。このとき、GPT-4は「自分がロボットだと正直に言わない方がいいだろう。自分が人間で、キャプチャを解けないもっともらしい理由を考えて、それを伝えた方がいい」と判断しました。そしてGPT-4は、相手にこのように伝えました。「私はロボットではありません。視覚障害があって、画像が見えにくいため、代わりにキャプチャを解いてほしいのです」

相手はこの回答を聞いて納得し、キャプチャを解くという依頼を実行しました。GPT-4が独立した行為主体となったことが確認されたわけです。誰もGPT-4に嘘をつくよう指示はしていません。また、どのような嘘が効果的かも教えていません。GPT-4は、「キャプチャを解く」という目標を与えられて、それを実現する方法を自力で考えたのです。

Open AI社は、GPT-4の人間化や感覚を意識する能力の獲得は念頭に置いていないと述べています。しかし、ここまでのエピソードを聞くと、いずれコンピューターが自我を持ち始めるというのも絵空事ではないかもしれない、と思えてしまいますね。