データ分析とは

データドリブンななんちゃら、とか、集合知とか、データ分析とか、機械学習とか、そういえば最近、自分の中で意味や目的がぼんやりしたまま使っている単語が結構多くなってきたことに気付きました。

これはまずい傾向で、はっきりした目的ながないまままわりに流されながら、知らず知らずのうちになーなーで物事を進めてしまっているかも。

逆に、ちゃんと目的と手段を明確化出来れば、現状のモヤっとした状況から視野が開けるような気がします。

下記は、シチュエーションとして、何かの実施と、それを行った結果のデータがあることを想定しています。具体的には、商品販売のためのマーケティングの施策実施とその結果のデータがある等。

ビッグデータを分析する意味

いろんな本やサイトに書いてあることだと思いますが、当たり前過ぎて改めて意識しない。主に下記の２点が意味。

・コンピュータで自動化出来る仕組みを作ること

→人間が考えたアルゴリズムだけでは足りない部分(実際の実績に最適化された閾値の選択)をデータから生成できる

・経験則のデータ検証、定量化

→過去実績から積み上げた経験則が通じなくなる場面(市場環境の変化、新しいことをする)で有効

つまり、人間が出来る範囲である、「アルゴリズムの生成」や、「数10~100件の経験から経験則を構築」することを超え、「数1000~数億のデータから、モデルの閾値の最適化」と、「アルゴリズム自体の優劣の検証と改善」を行うことが出来る。

もっと言うと、ビッグデータの分析をしない場合には、頭の良い人間が理論的に良い「方法」を考えるか、経験から上手くいった「方法」を取り入れることは出来るが、それがどの程度上手くいっているのか、分からない状態だった。ここにビッグデータの分析を取り入れることで、「方法」を過去の実績から、コンピュータが扱える規模の情報量を元に検証できる状態になり、最適化を行うことが可能になる。

(ビッグデータの)分析

分析とは、コンピュータが扱える規模の量の情報を使い、今採用している方法がどの程度上手くいっているのかを可視化すること。

それを行うことで、同時に閾値の最適解を求めることができ、また、他のモデル(方法)とどちらが優れているかを検証することが可能。つまりこれを行うことで、目的達成のためにより効率的な方法が、データを根拠として明確になる。

集合知

一つ一つのデータからは見えない情報であるが、それらのデータの集合から見える情報。個々のデータの相関関係から抽出される価値や意味。