ゼロを加える精神
アルトマンは先見者であり、伝道者であり、交渉人である。アルトマンが有力なスタートアップ養成機関「Yコンビネータ」を手伝い、後に運営する間に培った強みは、不可能に近いアイデアを可能だと思わせ、巨額の資金を調達して実際に実現してみせる手腕にあった。
シリコンバレーの「ゼロを加える」精神を、誰よりも地で行なっているのがアルトマンだ。彼にこれを叩き込んだのは、彼の初めてのメンターとなった、Yコンビネータ共同創業者のポール・グレアムである。グレアムは支援するスタートアップに「小さく考えすぎるな、ビジネスモデルを磨いて、プレゼン資料の収益予想を百万ドルから十億ドルに変える方法を考えろ」と助言した。
シリコンバレーの権力中枢に入る
アルトマンは1985年生まれのミレニアル世代で、2000年代初頭のドットコムバブル崩壊と2008年の金融危機の狭間という絶好期にこの業界に参入した。
スタンフォード大学在学中に出会った仲間と、位置情報を利用したSNSを開発する最初のスタートアップ「ループト」を立ち上げた。ループトの最大の偉業は、アルトマンをポール・グレアムとYコンビネータに引き合わせたことだ。グレアムはアルトマンの中に、スタートアップの成功に必要なすべての素養を見た。ループトは2012年に売却されたが、アルトマンはその後もYコンビネータと親密な関係を保ち、Yコンビネータのスタートアップに助言しながら、ピーター・ティールの支援を得た自身の投資ファンドを運営していた。その後グレアムは引退を決意し、後継にアルトマンを指名する。これによってアルトマンは、シリコンバレーの権力中枢に躍り出た。
Yコンビネータはアルトマンの指揮下で、養成するスタートアップの数を年間数十社から数百社に増やし、物理学や化学などのハードサイエンス分野に進出し、ムーンショット専門の部門を新設し、この部門を通して、「オープンAI」と呼ばれる非営利の研究所を生み出した。
オープンAI研究所の設立
アルトマンは、AI研究所を新時代の「ベル研究所」にしたいと考えていた。ベル研究所とは、1930年代から70年代にかけて、トランジスタやレーザー、UNIX、C言語などを生み出した伝説の研究所だ。
研究者が開発する知的財産は、公開することが安全でないと判断されない限り、すべて無償で公開される。この「非営利組織」という構造が、AI研究者を集める際の大きなセールスポイントになった。「利益目的ではない」という売り込みは、最終的にイーロン・マスクをも動かした。マスクは資金提供を約束し、研究所を「オープンAI研究所」と命名した。オープンAIは、2015年12月に非営利組織として設立された。
生成AIの誕生
社内ではアレック・ラドフォードという一匹狼の研究者が、重大な影響を及ぼすことになるプロジェクトに黙々と取り組んでいた。彼が関心を持っていたのは、命じたタスクを実行するエージェントよりも、人が話す言葉の内容を学習できる「言語モデル」を開発することだった。
彼が最初に手がけたのは、ソーシャルニュースサイト「レディット」の20億件の投稿を使用してモデルを訓練するプロジェクトだったが、規模が大きすぎてうまくいかなかった。そこで規模を絞って、1億件のアマゾンレビューという小さなデータセットを与え、単にレビューの文章の中で「ある文字の次にどの文字が来るか」を予測させようとした。
このモデルは飛躍を遂げ、あるレビューが好意的なのか、否定的なのかまで判断できるようになった。2017年4月には、これを「感情ニューロン」と名付け論文を発表した。その2ヶ月後、イリヤ・サツキヴァーはグーグルの研究者が書いた「注意こそすべて」という論文の査読前原稿を読み、それがまさにラドフォードの研究を飛躍的に効率化できる手法であることを瞬時に見抜いた。
この論文は、テキストを1文字ずつ処理する代わりに「注意機構」と呼ばれる仕組みを使うことによって、どの情報に重点を置くべきかを動的に判断し、膨大なテキストを並行して処理する方法を示していた。画期的だったのは、並列計算によって長いテキスト全体を学習できるため、従来の主流モデル「RNN」よりもはるかに大量の計算資源を利用した、効率的な学習が可能になるからだ。おかげで、データ量と計算資源を飛躍的に増やしてモデルの性能向上を図るという、次のステップへの扉が開かれた。
訓練を終えたモデルは、単に学習したデータに関する質問で基準を上回っただけでなく、訓練されていない質問にまで答えられるように思われた。このモデルを「生成的事前訓練済みトランスフォーマー」、略して「GPT」と名付けた。
