生命の3つの段階
生命は、情報（ソフトウェア）によってその振る舞いとハードウェアの設計図が決定される、自己複製する情報処理システムととらえることができる。生命の進化は以下の3つの段階に分けることができる。
①LIFE1.0：細菌のように生きている内はハードウェアもソフトウェアも設計しなおせないが、何世代もの進化の過程で変化していくことができる生命
②LIFE2.0：人間のように、ハードウェアは進化に任せるしかないが、自らのソフトウェアは設計（学習）できる生命
③LIFE3.0：自らのハードウェアも設計できる生命。進化上の制約から解放されて運命を自ら決めることができる。地球上にまだ存在しないが、多くのAI研究者は、今世紀中にこの段階に到達する生命が登場すると見込んでいる。
LIFE3.0は何をもたらすか。この疑問は激しい論争の的になっており、世界を代表するAI研究者たちの見解は、楽観から深刻な不安に至るまで、互いに激しく食い違っている。
ライフ3.0が実現する可能性は否定できない
ライフ3.0をめぐる論争は、2つの別々の疑問を中心に渦巻いている。・ライフ3.0はいつ出現するか？
・人類にとってどういう意味を持つのか？
これに対して、学派が3つある。
①ユートピア論者
超人的なAGI（人間レベルのAI）は今世紀中にも生み出されると考えて、ライフ3.0を進化における自然で望ましい次のステップと捉えて、心から待ち望んでいる。
②技術懐疑論者
超人的なAGIを作るのは極めて難しく何百年も先まで実現しないから、今から懸念を抱くのは馬鹿げている。
③有益AI運動の活動家
超人的なAGIは今世紀中にも生み出されると考えているが、良い結果が保証されてはおらず、AI安全性研究に真剣に取り組むことで、良い結果を確実なものにする必要があると捉えている。
研究者の間では、超人的AGIの実現がどれだけ先のことか、その予測には大きな幅がある。しかし、技術懐疑論的な予測がこれまでことごとく外れてきたことを考えると、今世紀中のその確率がゼロであると言い切ることは決してできない。
AIをめぐり解決しなければならないこと
我々が文明の良いところをAIによって高められるのであれば、人生をさらに良いものにできる可能性は明らかにある。AIが少し進歩しただけでも、科学や技術の大きな前進につながって、事故や病気、不正義や戦争、苦役や貧困が減るかもしれない。しかし、新たな問題を生み出さずにこのようなAIの恩恵を手にするには、いくつもの重要な疑問に答えを出す必要がある。
①未来のAIシステムを現在のものより堅牢にして、クラッシュや故障やハッキングを防ぐためには、どうすればいいのか？
②現在の法体系をもっと公平で有効なものに改良して、急速に変化するデジタル環境と歩調を合わせるためには、どうすればいいのか？
③自律型殺戮兵器をめぐる歯止めの利かない軍拡競争を引き起さずに、無辜の市民を殺さないもっと賢い兵器を作るには、どうすればいいのか？
④収入や目的を持たない人を出さずに、自動化によってさらに社会を繁栄させるには、どうすればいいのか？
哲学や倫理の問題を議論すべき
我々人類は地球上の他の生物よりも賢かったおかげで地球を支配するようになったのだから、最終的に我々も同じく超知能に賢さで追い抜かれて支配されることは十分にありうる。
AIをめぐる最も厄介な論争は「目標」である。どうすればAIに目標を持たせられるのか？ 我々の究極の目標は何なのか？ これらの疑問は答えるのが難しいだけでなく、生命の未来にとって極めて重要な意味を持っている。そして、我々と共通の目標を持たないAIに支配権を譲り渡したら、我々は望んでもいないような目に遭う可能性が高くなる。
