ビッグデータの時代
データを発生させるという点で、私達は極めて多産だ。携帯電話、ノート型PC、クレジットカードを使いこなしている人々は、ただ生活をするだけで、自分の電子的な身上調書のページを増やしていく。
私達の生活が微細にわたって記録される1つ1つの情報のかけらには、単独ではほとんど意味がない。ところが、そのかけらが集まると、人々の好き嫌いや、仕事を進める手順や、ショッピングモールを歩く道順のパターンが浮かび上がる。この電子的メッセージを広範にわたって収集し、整理する事ができたら、私達の日常はたちどころに明確になる。データを手に入れれば、何を望み、何を恐れ、何を必要としているのかが分析できる。そうすれば、今欲しがっているものを正確に特定し、売る事につなげられる。
最も、その実現は途方もなく難しい。1ヶ月の間に顧客から集めるデータは、ヤフーだけで1100億件にのぼる。広告主のサイトを訪れる1人1人が平均して2520件の足跡を残す。だが、個別のデータを継ぎ合わせたところで、私達の姿は買い物客としても、ビジネスマンとしても浮かび上がってはこない。
ニューメラティの野望
ほとんど底なしのデータの海から意味のある情報をすくいあげるには、知恵をかなり絞る必要がある。データから意味を引き出す事ができる人々は、一流の数学者とコンピュータ科学者に限られる。なぜなら、日常生活の細々とした出来事を記号に置き換える知識が必要になるからだ。
私達の全てのデータ、つまり人々の生活そのものが、0と1だけを文字とする人工言語に翻訳される。そのため、数学者とコンピュータ科学者は、世界中で交換される豊富な情報を扱うようになり、今や彼らは、人々の生活の情報を自由に使いこなせる立場にいる。このような学者をニューメラティと呼ぶ。
ニューメラティは、はるかに大胆な野望を抱いている。私達1人1人に変数と方程式を当てはめ、大規模で複雑な計算を試みている。その目的は「数学モデル」と呼ばれるものの構築だ。個人の少数のデータから予想を立てるモデルは、既に実用化されているが、これから10年の間に、私達の日常生活のほとんど一挙手一投足から、時には本人の知らない内に、個人のモデルがいくつも生み出されていくだろう。
日々の生活が統計モデルに支配される時代
ニューメラティは着実に進歩を続けている。行動予測は先週よりも今週の方が少しだけ正しい。失敗はちゃんと生かされる。データはますます集められる。実験は何度も繰り返される。これからの時代には、日々の生活が統計的モデルによって記述され、分析され、予測されるだろう。
その事に人々は様々な不満を覚えるかもしれない。科学的根拠を理由にして、疑わしいばかりか、全く間違った結論さえ、たびたび突きつけられる危険性もある。時には選択の幅を狭められる結果にもなるだろう。既に、保険会社は費用や生存率を統計的に分析して、かつては医師の裁量に任せていた契約者の健康診断に、あれこれ注文をつけるようになっている。そして、DNAの解析が進むにつれて、病院も保険会社も政府機関も、コンピュータの指示による差別をはじめる。
私達はどうやって反撃するのか。答えはデータを使う事だ。そのためには、分析手法を理解すると共に、ある程度は自分で活用しなければならない。極端な場合には、ニューメラティの手法に精通している弁護士を雇い、会社が統計的な曲線や相関から引き出した評価を手前勝手な結論だと証明しなければならない。このような闘いは職場であろうと法廷であろうと、データマイニングを巡って繰り広げられる。
新しい時代には、私達全員が、最も個人的なデータを少なくとも限られた人々には見せる事になる。こうなると、プライバシーや秘密について考え直す必要が生じてくる。データに支配されたくなければ、自分の利益のために活用する方法を学ばなければならない。
