深層学習
機械学習は様々なAI技術の中で最も成功した応用例を生み出したが、その最大の進歩が深層学習だ。深層学習ネットワークは「目的関数」の値を最大化するように数学的に訓練される。訓練された深層学習ネットワークの中身は、巨大な数学方程式と言える。深層学習は汎用的な技術で、認識、予測、分類、意思決定、合成など、ほとんどの分野でも応用ができる。
深層学習は人間の脳に触発されたものだが、両者の働きは全く異なる。深層学習は人間よりはるかに多くのデータを必要とする。しかし一度ビッグデータで学習してしまえば、そのタスクにおいては人間よりはるかに高い能力を発揮する。特に得意なのが定量的最適化だ。人間は一度に注意を向けられる対象数に限度があるが、深層学習のアルゴリズムは膨大な情報を同時処理できる。そしてデータの曖昧な特徴から関連性を見出すことに長けている。さらに、大量のデータで訓練された深層学習はユーザーごとのカスタマイズも可能である。
但し、深層学習はとても強力だが万能ではない。うまく機能するためには必須の3つの条件がある。
- 関連性のある大量のデータ
- 単一の領域
- 最適化のための明確な目的関数
これらのいずれが欠けても深層学習は使いものにならない。AIの頭脳である深層学習は、人間の脳とは全く異なることを理解すべきである。このような強みと弱みを深層学習が持つことを踏まえれば、AI技術の最初の受益者がインターネット業界の大手企業だったのは当然と言える。
強力な技術は常に諸刃の剣だ。深層学習の短所には次のことがある。
- 個人を知りすぎることによる弊害（単一の目的関数、例えば収益に最適化し、ユーザーの福祉を考慮しない）
- 不公平と偏見（データが人種やジェンダーの人口比を十分に適切に反映していない場合など）
- 説明不能であること
しかし、どんな技術にも欠点はあるものだ。歴史を見ても、新しい技術は常に初期の失敗から学び、改良されていく。AIの不公平、偏見、不透明といった問題も、技術と政策によっていずれ解決策が見出されるはずだ。
自然言語処理
自然言語処理（NLP）はAIの一分野だ。発話と言語は人間の知性、コミュニケーション、認識プロセスの中心であり、自然言語の理解はAI開発の最大のチャレンジとされることもある。
深層学習ベースのNLPニューラルネットワークは、数年前までほぼすべてが標準的な「教師あり学習」で言語を習得していた。ラベル付きの対になったデータ（入力と正しい出力）を提供されることで、AIは任意の入力に対しても正しい出力をできるように学習する。この教師あり学習で、音声認識、光学文字認識、音声合成も実現できる。自然言語認識における教師あり学習は既に有効で、AIはほとんどの人間を上回っている。
自然言語認識の先には、より複雑なタスクである自然言語理解がある。人間の言葉の意図を理解しないとコンピュータは次のステップに進めない。これを教師ありの専用NLPが理解できるように構築しようとすると、長い道のりになる。たとえ同じ意図や用件でも人間は様々な言い方をする。
しかし近年、単純でエレガントな自己教師あり学習という新しい手法が出てきた。自己教師あり学習はAIが教師役を務めるので、人間によるラベル付けは必要ない。この手法は「シーケンス導入」と呼ばれる。これを訓練するには、入力はあるところまでの単語の連なりで良い。出力はそこから後の単語の連なりになる。これの単純なバージョンは、Gメールのスマート機能や、Google検索のオートコンプリート機能として現在すでに使われている。
GoogleのTransformerの後、さらに有名な拡張版としてGPT-3が登場した。イーロン・マスクなどの投資家が設立した人工知能研究所OpenAIが2020年に発表したものだ。GPT-3は巨大なシーケンス導入エンジンで、これが言語を分析、学習したモデルは、考えられるあらゆる概念を飲み込んでいる。世界最高峰のスーパーコンピュータを使い、45テラバイト以上のテキストで訓練され、毎年10倍のペースで増えている。
GPT-3はまだ多くの基本的誤りを犯すが、既に知性の片鱗を見せている。20年後のGPT-23は、人類が書いたものをすべて読み、制作した映像をすべて見て、独自の世界モデルを構築しているだろう。この全知のシーケンス導入モデルには人類の叡智がすべて詰まっていて、適切な質問には何でも答えられるだろう。
では、深層学習はいずれすべての面で人間の知能に匹敵する汎用人工知能（AGI）になるだろうか。いわゆるシンギュラリティは来るのだろうか。
それは2041年にはまだ難しいだろう。大きな進展が見られない分野や、基本的な理解すらできていない分野がいくつも残っている。例えば、創造性、戦略的思考、推理、反事実的思考、感情、意識をどうモデル化するのかだ。これらの難題解決には、深層学習のような技術的ブレークスルーが10回以上必要だと考えられる。この25年のAI開発史においてブレークスルーは1回だけと言っていい。それが深層学習だ。20年では無理だ。
