AI・ビッグデータの暗黒面
現在、ビジネスから刑務所まで、社会経済のあらゆる局面の細かな管理が、設計に不備のある数理モデルによって遂行されている。それらの数学破壊兵器は、中身が不透明で、一切の疑念を許さず、説明責任を負わない。規模を拡大して運用されており、何百万人もの人々を対象に、選別し、標的を絞り、「最適化」するために使用されている。算出された結果と地に足の着いた現実とを混同することによって、有害で悪質な数学破壊兵器のフィードバックループを生み出しているものも多い。
アルゴリズムによって大量の統計処理が施され、ある人物が、採用しない方がいい候補者、リスクの高い借り手、テロリスト、無能な教師である可能性が算出される。この「可能性」はスコアに変換される。そして、時に、そのスコアが1人の人間の人生をひっくり返す。しかも、人生をひっくり返された人物が反撃に出ても、「示唆的」な証拠だけではどうにもならない。犠牲者はみな、アルゴリズムそのものに要求されるよりも遥かに高い水準で証拠を求められる。
プログラムは、ある一定の割合で誤解することを避けられない。しかし、数学破壊兵器を運用する人々は、そのようなエラーについてあまり深く考えない。
動的モデル＝良いモデル
数学破壊兵器を作っている人々の間では、自分たちが本当に知りたい物事の動向に直接関連するデータが十分に揃わない状態でモデルを作成するのが当たり前になっている。直接的なデータがないので、彼らは代理データを使用する。例えば、ある人物の居住地や話せる言語の種類と、その人物のローン返済能力や仕事能力との間には統計学的相関がある、などと言い出す。このような相関付けは差別的であり、場合によっては違法でもある。その点、野球のモデルでは、ボール数、ストライク数、ヒット数など、予測したい対象に直結するデータがあるので、代理データが使用されることはほとんどない。
そして何より重要なのは、野球モデルの場合はデータが絶えず更新されるという点だ。統計学者は、モデルによる予測と実際の試合結果を比較し、モデルの不備を修正することができる。何か発見があればフィードバックとして反映し、モデルの精度を向上させることができる。信頼に値するモデルとは、このように運用されるものだ。予測と現実の間を絶えず行き来し、状況が変わったなら、モデルも変わらなければならない。
モデルには盲点があり、作成者の判断が反映される
モデルというのはそもそも、物事を単純化したものなので、どうしても間違いを伴う。万人に理解されやすく、重要となる事実や行動が伝わりやすいように、現実の世界を単純化して玩具のような世界を作り上げていく。たくさんの盲点があるため、時折、いかにも機械らしい馬鹿げた動作をするだろうことも受け入れている。
モデルの「盲点」には、作成者の判断や優先順位が反映される。公平なはずのモデルも、実は作り手の目的や信条を反映したものとなる。そのモデルが役に立っているかどうかという判断も、「見解」の問題だと言える。公式化されていようがいまいが、すべてのモデルには「成功の定義」がある。どのモデルについて考える時も、誰がデザインしたのかだけでなく、作り手であるその人物、企業は、何を達成しようとしているのかを問う必要がある。しかも、モデルは、絶えず更新し続けなければ、すぐに古くなってしまう。
数学破壊兵器の三大要素
①不透明である不透明で不明瞭なモデルは世の中に溢れており、透明性の確保された明快なモデルの方が例外と言える。多くの企業は、自社のモデルが出した結果やモデルの存在自体を隠そうとする。
②規模拡大が可能である
規模が拡大すれば、被害は局所的な波紋のレベルから津波レベルに増大し、私たちの生活は規定され、制限されるようになる。
③有害である
そのモデルは、モデル化の対象となる人々の利益に反していないだろうか。人々を苦しめる一番の要因は、有害な悪循環を生むフィードバックループにある。
