AIが人間を超えると後戻りできなくなる
いま現在、科学者たちは、次々に高度でパワーのある人工知能（AI）を作ろうとしている。彼らはあと10年少しで人間レベルの知能に到達させたいと考えている。AIを追求する科学者にとっては、コンピュータや処理プロセスのパワーがどんどん強力になっている事が追い風となっている。近い内に、何らかのグループか個人が人間レベルのAI「AGI（人工汎用知能）」を作り出すだろう。それから間もなくして、誰かが人間より賢いAI「ASI（人工超知能）」を作り出すだろう。すると突然、1つ1つが人間の数百倍や数千倍賢い、1000個や1万個もの人工超知能が、さらに優れた人工超知能を作るにはどうしたらいいかという問題に必死で取り組んでいる事に気付かされる。
超知能が実現すると進歩のルールが変わってしまう。超知能自体が発明を生み出して、技術進歩のペースを決める事になる。もはや人類が変化を推し進める事はなくなり、後戻りする事もできなくなる。
機械は倫理観を持っていない
我々の100倍も1000倍も賢い機械が我々を愛してくれたり守ろうとしてくれたりすると決めつけるのは理にかなっていない。AI自身は、プログラムにあらかじめ感謝の心が組み込まれていない限り、自分を作ってくれた事に感謝の気持ちは抱かないだろう。機械は倫理観を持っていない。
「フレンドリーな」人工知能を作る事が可能かどうかは大きな問題であり、AIの開発に取り組んでいる研究者や技術者にとっては大きな課題と言える。AIは自分なりの衝動を持つ事になると科学者は信じている。そして十分に知能の高いAIなら、その衝動を満たすために強い姿勢を取る事になる。
人工知能の「4つの衝動」
高度なAIは、世界をモデル化し、それぞれの行動がどのような結果を生むかを認識し、自らの目標に最も合致するのはどの行動かを判断する能力を持つ。十分に知能の高いシステムは、たとえ自己進化するよう具体的に設計されていなくても、自己進化するようになる。目標を達成する可能性を高めるために、自らのソフトウェアとハードウェアのスピードと効率を上げる方法を探すからだ。自己を意識して自己進化するシステムは、人間の生物的衝動に似た4つの根本的衝動を持つようになるという。
①効率性
手に入る資源（空間、時間、物質、エネルギー）を最大限利用する
②自己保存
自身のコピーを大量に作るなど、どんな手段を使ってでも自身の生存を確実にしようとする
③資源獲得
目標達成の確率を高めるために必要な資源を片っ端からかき集めさせる
④創造性
目標がしかるべきほど最適に満たされないという結果を避けるための、新たな方法を生み出す
高度なAIの振る舞いを予測する必要がある
現在，AGIにはどれだけ近づいているのか。最近の調査によると、AI関連の分野の専門家は、2028年までにAGIが作られる確率は10％強、2050年までなら50％強、今世紀までなら90％だ。
AGIを目指して取り組めば、とてつもない見返りがある一方、大惨事で我々を脅かし、人類が立ち直れないような災厄さえももたらしうる。そのような最悪の大惨事は、AGIからASIへの橋を渡ったところですぐに起こる。しかも、AGIからASIまではあっという間だろう。人間レベルの知能から超知能への移行は、自己進化の正のフィードバックループによって「ハードテイクオフ」で起こる事もありうる。我々人間よりも賢い知能がどんな事をするかは知りようがないので、想像するしかない。
2030年頃、地球上で超知能マシンと共存して生き延びる事が、我々の課題となるかもしれない。そこで最も急を要するのは、超知能を理解するための学問の必要性である。我々は強力なAIがどのように振る舞うかを予測する必要がある。
