Subscribed unsubscribe Subscribe Subscribe

BigDataとは何を象徴しているか?

データマイニング」という言葉を初めて聞いた(見た)のは、M1の時、工学部の図書館でうろうろしていた時だ。その時の感想は、また変てこな言葉作ったなー、だった。データの中から知識を発見するという試みは、もう随分と前から行われていた。学部生の時に複雑系や人工知能に片足の小指を浸したことがあり、そこには統計的な手法や、強化学習といった計算機屋が大好きな手法が存在することは知っていたし、別に目新しいものでは無いものに名前を付けたんだなーと感じた。実際に目新しくはないが、それらをひっくるめて「データマイニング」という言葉はその後急速に市民権を得たように思える(って実は相当昔から存在していた言葉かもしれないけれど…)。


その当時(10年ぐらい前)からGoogleやAmazonなどの企業は巨大なデータを解析することに意欲的だった。その理由は、彼らはとにかく規模を拡張することを追求していて、少しの最適化が大きなリターンとなるためだ。例えば、Webデータの構造とユーザの検索ワードの関連をうまいこと解析することにより、検索結果に更にフィットした広告が打てるようになればGoogleとしてはハッピーだ。過去の書籍の購入履歴を似た人同士でグループ化して、オススメを割り出せば本の売上が上がるかもしれない。ユーザが100人だったらその効果は限定的だろうが、1億人のユーザに対しては絶対的なリターンはかなり大きい。それは、研究開発のために世界中の頭脳を集めまくっても余りあるほどの利益だといえるだろう。


しかし、それらの試みは、実は、巨大リソースを持つごく限られた企業に限定されていた。なぜなら、こういう種類のデータの解析には一般的にスゴクたくさんのコンピュータリソースが必要であるからだ。そんな大きなコンピュータリソースを確保できるのは、実質的にはITのビッグネームに限られていたのである。Googleはその検索エンジンを支えるため、Amazonはその世界一巨大なオンラインショッピングサイトを運営するため、世界で有数のコンピュータリソースを保有していた。


ところが、数年前から状況は一変した。「クラウド」というコモディティ化を追求した概念が普及し、コンピュータリソースの低価格化が一気に進んだのである。加えてGoogleやAmazonは内部で利用していた技術やミドルウェアを外部に公開した。これにより、大規模分析(分散)環境が誰しも利用可能になってきたのだ。つまり今まで一部のプレイヤーだけが享受してきたデータマイニングによる最適化が、その他大勢の手の届くところまで降りてきたのだ。今や、それはスモールビジネスでも利用できるぐらいコモディティ化したといえる。BigDataという言葉が流行っている今の状況である。自分は、この文脈で語れば、BigDataはデータマイニングインフラのコモディティ化を象徴している、と考えている。


更には、ここには新たなビジネスが生まれつつある。データを扱うインフラが揃ったところで、それを分析するスキルというのはまだ不足しているし、今まで関心が無い層を教育すること(営業、といえるのかな?)にも芽はある。自社システムとのインテグレーションや、既存BIやいわゆる情報系システムとの連携、そこからのダウンサイジングというのもありそうだ。規模の小さいビジネスでは大きいところに比べて、最適化が絶対的に効きにくいというのはあるかもしれないが、導入コストが圧倒的に下がればメリットがそれを上回り、それを入れない理由はないかもしれない。


個人的な疑問、興味は、メジャープレイヤーの次なる一手である。彼らはデータマイニング(のインフラ)をコモディティ化させてそこにビジネスを作った。さて、次はどうでるのか。やっぱソーシャル系の分析で先行して、ゆくゆくはそれもまた、コモディティ化させるのだろうか。

    • -

今回は、CEIBSのましうさんのBigDataに関する示唆に富むエントリにインスパイアされて、思うところを綴ってみました。(特に同業者の方は)是非ご一読を!